본문 바로가기

분류 전체보기148

MPP DBMS Greenplum(그린플럼) Architecture (1) - opensource 이 글에서는 MPP DBMS 인 Greenplum 에 대해서 설명합니다. Table Of Contents Introduction To Greenplum Architecture Greenplum Overall Architecture Introduction To Greenplum Architecture 데이터베이스 관리 시스템의 발명은 효과적인 데이터 관리 및 쿼리에 대한 수요를 기반으로 합니다. 데이터베이스 관리 시스템이 있기 전에는 파일 기반 스토리지가 사용되었습니다. 다음 예에서 두 테이블은 바의 정보와 다른 바의 판매 정보를 나타냅니다. 이 두 가지 정보가 파일에 저장되어 있다면 두 개를 루프에 사용하여 각 매장의 맥주 판매량을 계산할 수 있습니다. 이 작업의 코드는 매우 짧지 만 알고리즘 복잡성은 .. 2023. 11. 30.
NoSQL의 처리 방식에 따른 분류, 순위 | Key-Value vs Document 전통적인 relational DBMS가 서비스 확장의 부하를 견디지 못하는 상황에서 확장성을 고려한 제품이 필요한 시대가 도래하였습니다. 이러한 요구는 스마트폰, IOT(사물인터넷)등으로 인한 빅데이터 시대가 도래하면서 서버의 데이터 저장용량 뿐 아니라 사용자 증가에 대한 확장성을 요구하고 있기 때문입니다. Table Of Contents NoSQL의 급부상 NoSQL 개념과 데이터 처리 방식에 따른 분류 1. Key-Value Database 2. Document Database 레디스 CRUD 몽고 DB CRUD Key 관련하여 NoSQL의 사용사례 NoSQL의 급부상 설명드린것처럼 사용자 증가와 빅데이터에 대한 요구사항으로 인해서 확장성을 요구하는 시스템을 찾기 시작하였습니다. 그에따라, NoSQL.. 2023. 11. 29.
NoSQL을 사용하는 이유와 Scale-out, Scale-up - 레디스(redis) vs 멤캐시드(memcached) 웹 서비스에서 client가 증가하면 WAS와 DB 서버에 많은 부하를 가져옵니다. WAS에 부하가 몰려서 시스템 한계에 다다른 경우에는 WAS를 하나 더 복제하여 client를 분산해서 처리할 수 있습니다. WAS는 데이터를 가지지 않기 때문에 분산이 쉽습니다. 그러나 DBMS가 한계에 다다르면 골치아파집니다. Table Of Contents client 증가가 backend에 미치는 영향 DBMS 서버의 처리량을 늘리는 방법 Scale-up vs Scale-out 데이터 캐시 사용 Sub-millisecond latency Developer ease of use Data partitioning Support for a broad set of programming languages Advanced da.. 2023. 11. 29.
HTAP OLAP과 OLTP 지원 DBMS의 기술 분석 2 [Parallel Replication across Formats in SAP HANA for Scaling Out Mixed OLTP/OLAP Workloads] 이 글에서는 DBMS에서 OLAP과 OLTP를 지원하기 위한 방법들 중 SAP HANA의 논문을 분석해 보겠습니다. 관련 기술을 참고하기 위해서 다음의 논문을 참고합니다. "Parallel Replication across Formats in SAP HANA for Scaling Out Mixed OLTP/OLAP Workloads" Table Of Contents Parallel Replication across Formats in SAP HANA for Scaling Out Mixed OLTP/OLAP Workloads 배경 ETL을 이용한 OLAP의 문제점 OLTP와 OLAP을 하나의 시스템에서 운영하는 문제점 문제 해결을 위한 시스템 설계 - Asynchronous Parallel Table Re.. 2023. 11. 28.
HTAP OLAP과 OLTP 지원 DBMS의 기술 분석 - 1[HTAP Databases: What is New and What is Next] 이 글에서는 DBMS벤더에서 OLAP과 OLTP를 어떻게 효율적으로 지원하는지를 연구한 논문에 대해서 설명합니다. 아래의 두 가지 논문에 대해서 정리하는데, 오늘은 첫 번째 논문 먼저 보겠습니다. 1. HTAP Databases: What is New and What is Next 2. Parallel Replication across Formats in SAP HANA for Scaling Out Mixed OLTP/OLAP Workloads : OLAP과 OLTP간의 이중화 병렬 복제 HTAP Databases: What is New and What is Next https://dl.acm.org/doi/pdf/10.1145/3514221.3522565 ACM의 다음 논문을 참고합니다. "HTAP D.. 2023. 11. 28.

티스토리툴바