DBMS51 HTAP OLAP과 OLTP 지원 DBMS의 기술 분석 - 1[HTAP Databases: What is New and What is Next] 이 글에서는 DBMS벤더에서 OLAP과 OLTP를 어떻게 효율적으로 지원하는지를 연구한 논문에 대해서 설명합니다. 아래의 두 가지 논문에 대해서 정리하는데, 오늘은 첫 번째 논문 먼저 보겠습니다. 1. HTAP Databases: What is New and What is Next 2. Parallel Replication across Formats in SAP HANA for Scaling Out Mixed OLTP/OLAP Workloads : OLAP과 OLTP간의 이중화 병렬 복제 HTAP Databases: What is New and What is Next https://dl.acm.org/doi/pdf/10.1145/3514221.3522565 ACM의 다음 논문을 참고합니다. "HTAP D.. 2023. 11. 28. NoSQL이란 무엇인가? 데이터 저장소는 기존의 RDBMS에서 처리해왔다. RDBMS에 데이터를 넣기 위해서는 데이터를 일반화 시켜서 정해진 컬럼으로 정규화하고 관계를 정의해야한다. 그러나, 최근의 서비스들은 크기와 구조를 예측할 수 없는 비정형 데이터에대한 요구가 증가하고 있습니다. 비정형 데이터 비정형 데이터의 예를 들어보면, JSON과 같은 데이터는 구조에 따라 저장된 데이터지만 데이터 내용 안에 구조에 대한 설명이 함께 존재합니다. 그렇기 때문에 데이터 내용에 대한 설명인 구조를 파악하는 파싱 과정이 필요합니다. 웹에서 데이터를 교환하기 위해 작성하는 많은 HTML, XML, JSON 문서나 웹 로그, 센서 데이터 등은 모두 비정형 데이터에 속합니다. 이러한 데이터를 기존의 RDBMS에 적재하기 위해서는 많은 정규화 과정.. 2023. 11. 27. 알리바바 클라우드 폴라 디비 - PolarDB HTAP(Hybrid Transactional Analytical Processing) 이 글에서는 PolarDB HTAP 구조에 대해서 설명합니다. 목차 PolarDB HTAP 소개 Basic Principles of HTAP Distributed Optimizer Parallelism of Operators SQL Statement-level Scalability Transactional Consistency PolarDB HTAP 소개 PolarDB의 공유 스토리지는 스토리지 풀로 구성됩니다. 읽기/쓰기 분할이 활성화된 경우, 공유 스토리지가 지원하는 이론적인 I/O 처리량은 무한대입니다. 하지만 대용량 쿼리는 개별 컴퓨트 노드에서만 실행할 수 있으며, 단일 컴퓨트 노드의 CPU, 메모리, I/O 사양이 제한되어 있습니다. 따라서 단일 컴퓨팅 노드로는 공유 스토리지가 지원하는 높은 I.. 2023. 11. 25. PolarDB 아키텍처 세부: Low-latency Replication 이 글에서는 PolarDB 아키텍처 세부: Low-latency Replication에 대해서 설명합니다. Issues of Conventional Streaming Replication Optimization Method 1: Replicate Only the Metadata of WAL Records Optimization Method 3: Optimize the Log Apply of DDL Locks Issues of Conventional Streaming Replication Shared-nothing 아키텍처의 경우 로그를 복제하는데 많은 네트워크 부하가 걸립니다. 관련해서 일반적인 Shared-nothing 환경에서 다음과 같이 진행 될 수 있습니다. 로그 동기화 링크의 I/O 부하가 많고.. 2023. 11. 25. PolarDB 아키텍처 세부: 컴퓨팅-스토리지 분리 (Compute-Storage Separation Challenges of Shared Storage) 이 글에서는 Compute-Storage 분리 관련한 세부 사항에 대해서 설명합니다. Challenges of Shared Storage1 공유 스토리지의 기본 원칙 Data Consistency Challenges of Shared Storage 컴퓨팅-스토리지 분리를 통해 PolarDB 클러스터의 컴퓨팅 노드가 동일한 물리적 스토리지를 공유할 수 있습니다. 공유 스토리지에는 다음과 같은 문제가 있습니다: 데이터 일관성: 컴퓨팅 클러스터의 데이터 복사본 N개와 스토리지 클러스터의 데이터 복사본 1개 간에 일관성을 보장하는 방법. 읽기/쓰기 분할: 짧은 지연 시간으로 데이터를 복제하는 방법. 고가용성: 복구 및 장애 조치를 수행하는 방법. I/O 모델: 버퍼링 I/O에서 직접 I/O로 파일 시스템을 최적.. 2023. 11. 25. 이전 1 ··· 6 7 8 9 10 11 다음
