컬럼 기반 스토리지: 빅데이터를 위한 Parquet 최적화 마스터하기

빅데이터 시대에는 효율적인 저장 및 검색이 가장 중요합니다. Apache Parquet와 같은 컬럼 기반 스토리지 형식은 현대 데이터 웨어하우징 및 분석의 초석으로 부상했습니다. Parquet의 컬럼 구조는 특히 대규모 데이터 세트를 처리할 때 데이터 압축 및 쿼리 성능에서 상당한 최적화를 가능하게 합니다. 이 가이드는 데이터 엔지니어, 분석가 및 아키텍트의 글로벌 청중을 대상으로 Parquet 최적화 기술에 대한 포괄적인 탐구를 제공합니다.

컬럼 기반 스토리지 및 Parquet 이해

컬럼 기반 스토리지란 무엇입니까?

기존의 행 기반 스토리지 시스템은 데이터 레코드를 행 단위로 순차적으로 저장합니다. 이는 전체 레코드를 검색하는 데는 효율적이지만 분석에 필요한 열의 하위 집합만 필요한 경우에는 비효율적입니다. 반면 컬럼 기반 스토리지는 데이터를 열 단위로 저장합니다. 즉, 특정 열의 모든 값이 연속적으로 저장됩니다. 이 레이아웃은 다음과 같은 여러 가지 이점을 제공합니다.

• 향상된 압축: 열 내의 유사한 데이터 유형은 런렝스 인코딩(RLE) 또는 딕셔너리 인코딩과 같은 기술을 사용하여 보다 효과적으로 압축할 수 있습니다.
• I/O 감소: 몇 개의 열만 쿼리할 때 시스템은 관련 열 데이터만 읽으면 되므로 I/O 작업이 크게 줄어들고 쿼리 성능이 향상됩니다.
• 향상된 분석 성능: 컬럼 기반 스토리지는 특정 열에서 데이터를 집계하고 필터링하는 분석 워크로드에 적합합니다.

Apache Parquet 소개

Apache Parquet은 효율적인 데이터 저장 및 검색을 위해 설계된 오픈 소스 컬럼 기반 스토리지 형식입니다. 특히 Apache Spark, Apache Hadoop 및 Apache Arrow와 같은 빅데이터 처리 프레임워크와 함께 사용하기에 적합합니다. Parquet의 주요 기능은 다음과 같습니다.

• 컬럼 기반 스토리지: 논의된 바와 같이 Parquet은 데이터를 열 단위로 저장합니다.
• 스키마 진화: Parquet은 전체 데이터 세트를 다시 작성하지 않고도 열을 추가하거나 제거할 수 있는 스키마 진화를 지원합니다.
• 압축: Parquet은 Snappy, Gzip, LZO 및 Brotli를 포함한 다양한 압축 코덱을 지원하여 스토리지 공간을 크게 줄일 수 있습니다.
• 인코딩: Parquet은 딕셔너리 인코딩, 일반 인코딩 및 델타 인코딩과 같은 다양한 인코딩 체계를 사용하여 데이터 특성에 따라 스토리지를 최적화합니다.
• 프레디케이트 푸시다운: Parquet은 프레디케이트 푸시다운을 지원하여 필터링이 스토리지 계층에서 발생하도록 하여 I/O를 더욱 줄이고 쿼리 성능을 향상시킵니다.

Parquet의 주요 최적화 기술

1. 스키마 설계 및 데이터 유형

Parquet 최적화를 위해서는 신중한 스키마 설계가 중요합니다. 각 열에 적절한 데이터 유형을 선택하면 스토리지 효율성과 쿼리 성능에 큰 영향을 미칠 수 있습니다.

• 올바른 데이터 유형 선택: 데이터를 정확하게 나타낼 수 있는 가장 작은 데이터 유형을 사용하십시오. 예를 들어 열이 나이를 나타내는 경우 최대 연령이 더 작은 범위 내에 있으면 `INT32` 대신 `INT8` 또는 `INT16`을 사용하십시오. 마찬가지로 통화 값의 경우 부동 소수점 부정확성을 피하기 위해 적절한 정밀도와 스케일로 `DECIMAL`을 사용하는 것이 좋습니다.
• 중첩된 데이터 구조: Parquet은 중첩된 데이터 구조(예: 목록 및 맵)를 지원합니다. 신중하게 사용하십시오. 복잡한 데이터를 나타내는 데 유용할 수 있지만 과도한 중첩은 쿼리 성능에 영향을 미칠 수 있습니다. 중첩된 구조가 너무 복잡해지면 데이터를 비정규화하는 것이 좋습니다.
• 큰 텍스트 필드 방지: 큰 텍스트 필드는 스토리지 공간과 쿼리 시간을 크게 늘릴 수 있습니다. 가능하면 큰 텍스트 데이터를 별도의 스토리지 시스템에 저장하고 고유 식별자를 사용하여 Parquet 데이터에 연결하는 것이 좋습니다. 텍스트를 저장해야 하는 경우에는 적절하게 압축하십시오.

예: 위치 데이터 저장을 고려해 보세요. 위도와 경도를 별도의 `DOUBLE` 열로 저장하는 대신 지리 공간 데이터 유형(처리 엔진에서 지원하는 경우)을 사용하거나 잘 정의된 형식(예: "위도,경도")으로 단일 `STRING`으로 저장하는 것을 고려할 수 있습니다. 이렇게 하면 스토리지 효율성이 향상되고 공간 쿼리가 단순화될 수 있습니다.

2. 올바른 인코딩 선택

Parquet은 다양한 인코딩 체계를 제공하며 각 체계는 다양한 유형의 데이터에 적합합니다. 적절한 인코딩을 선택하면 압축 및 쿼리 성능에 큰 영향을 미칠 수 있습니다.

• 일반 인코딩: 이것은 기본 인코딩이며 단순히 데이터 값을 있는 그대로 저장합니다. 쉽게 압축할 수 없는 데이터에 적합합니다.
• 딕셔너리 인코딩: 이 인코딩은 열에 대한 고유 값의 딕셔너리를 만들고 실제 값 대신 딕셔너리 인덱스를 저장합니다. 고유 값의 수가 적은 열(예: 국가 코드, 제품 범주 또는 상태 코드와 같은 범주형 데이터)에 매우 효과적입니다.
• 런렝스 인코딩(RLE): RLE는 반복되는 값의 긴 시퀀스가 있는 열에 적합합니다. 값과 반복 횟수를 저장합니다.
• 델타 인코딩: 델타 인코딩은 연속 값 간의 차이를 저장합니다. 값들이 서로 가까운 경향이 있는 시계열 데이터 또는 기타 데이터에 효과적입니다.
• 비트 패킹 인코딩: 이 인코딩은 여러 값을 단일 바이트로 효율적으로 압축하여 특히 작은 정수 값의 경우 스토리지 공간을 줄입니다.

예: 전자 상거래 트랜잭션의 "주문 상태"(예: "보류 중", "배송됨", "배달됨", "취소됨")를 나타내는 열을 고려해 보세요. 딕셔너리 인코딩은 열에 제한된 수의 고유 값이 있으므로 이 시나리오에서 매우 효과적입니다. 반면에 고유한 사용자 ID가 포함된 열은 딕셔너리 인코딩의 이점을 얻지 못합니다.

3. 압축 코덱

Parquet은 스토리지 공간을 줄이기 위해 다양한 압축 코덱을 지원합니다. 코덱 선택은 압축 및 압축 해제 중에 스토리지 크기와 CPU 사용률 모두에 큰 영향을 미칠 수 있습니다.

• Snappy: Snappy는 압축률과 속도 간에 균형이 잘 맞는 빠른 압축 코덱입니다. 종종 좋은 기본 선택입니다.
• Gzip: Gzip은 Snappy보다 높은 압축률을 제공하지만 더 느립니다. 자주 액세스하지 않는 데이터 또는 스토리지 공간이 주요 관심사인 경우에 적합합니다.
• LZO: LZO는 Hadoop 환경에서 자주 사용되는 또 다른 빠른 압축 코덱입니다.
• Brotli: Brotli는 Gzip보다 훨씬 더 나은 압축률을 제공하지만 일반적으로 더 느립니다. 스토리지 공간이 부족하고 CPU 사용률이 덜 중요한 경우에 좋은 옵션이 될 수 있습니다.
• Zstandard (Zstd): Zstd는 다양한 압축 수준을 제공하므로 속도에 대한 압축률을 절충할 수 있습니다. 종종 유사한 압축 수준에서 Gzip보다 더 나은 성능을 제공합니다.
• 압축 해제: 디버깅 또는 특정 성능에 중요한 시나리오의 경우 데이터를 압축 해제된 상태로 저장하도록 선택할 수 있지만 일반적으로 대규모 데이터 세트에는 권장되지 않습니다.

예: 실시간 분석에 사용되는 자주 액세스하는 데이터의 경우 Snappy 또는 Zstd를 낮은 압축 수준으로 사용하는 것이 좋습니다. 자주 액세스하지 않는 보관 데이터의 경우 Gzip 또는 Brotli가 더 적합합니다.

4. 파티셔닝

파티셔닝은 하나 이상의 열의 값을 기반으로 데이터 세트를 더 작고 관리하기 쉬운 부분으로 나누는 것을 포함합니다. 이를 통해 쿼리를 관련 파티션으로만 제한하여 I/O를 크게 줄이고 쿼리 성능을 향상시킬 수 있습니다.

• 파티션 열 선택: 쿼리 필터에서 자주 사용되는 파티션 열을 선택하십시오. 일반적인 파티셔닝 열에는 날짜, 국가, 지역 및 범주가 포함됩니다.
• 파티셔닝 세분성: 파티션의 세분성을 고려하십시오. 파티션이 너무 많으면 파일이 작아져 성능에 부정적인 영향을 미칠 수 있습니다. 파티션이 너무 적으면 처리하기 어려운 큰 파티션이 발생할 수 있습니다.
• 계층적 파티셔닝: 시계열 데이터의 경우 계층적 파티셔닝(예: 연도/월/일)을 사용하는 것이 좋습니다. 이를 통해 특정 시간 범위에 대한 데이터를 효율적으로 쿼리할 수 있습니다.
• 높은 카디널리티 파티셔닝 방지: 고유 값의 수가 많은 열(높은 카디널리티)에 파티셔닝하는 것을 방지하십시오. 이렇게 하면 작은 파티션이 많이 생길 수 있습니다.

예: 판매 트랜잭션 데이터 세트의 경우 `연도` 및 `월`별로 파티셔닝할 수 있습니다. 이렇게 하면 특정 월 또는 연도의 판매 데이터를 효율적으로 쿼리할 수 있습니다. 국가별로 판매 데이터를 자주 쿼리하는 경우 `국가`를 파티션 열로 추가할 수도 있습니다.

5. 파일 크기 및 블록 크기

Parquet 파일은 일반적으로 블록으로 나뉩니다. 블록 크기는 쿼리 처리 중 병렬 처리 정도에 영향을 미칩니다. 최적의 파일 크기 및 블록 크기는 특정 사용 사례와 기본 인프라에 따라 다릅니다.

• 파일 크기: 일반적으로 최적의 성능을 위해서는 더 큰 파일 크기(예: 128MB~1GB)가 선호됩니다. 파일이 작으면 메타데이터 관리로 인한 오버헤드가 증가하고 I/O 작업이 증가하여 오버헤드가 증가할 수 있습니다.
• 블록 크기: 블록 크기는 일반적으로 HDFS 블록 크기(예: 128MB 또는 256MB)로 설정됩니다.
• 압축: 성능을 향상시키기 위해 작은 Parquet 파일을 더 큰 파일로 정기적으로 압축하십시오.

6. 프레디케이트 푸시다운

프레디케이트 푸시다운은 데이터를 메모리로 읽기 전에 필터링이 스토리지 계층에서 발생하도록 하는 강력한 최적화 기술입니다. 이렇게 하면 I/O가 크게 줄어들고 쿼리 성능이 향상됩니다.

• 프레디케이트 푸시다운 활성화: 쿼리 엔진(예: Apache Spark)에서 프레디케이트 푸시다운이 활성화되어 있는지 확인하십시오.
• 필터 효과적으로 사용: 쿼리에서 필터를 사용하여 읽어야 하는 데이터의 양을 제한하십시오.
• 파티션 제거: 프레디케이트 푸시다운은 파티션 제거에도 사용할 수 있으며, 이 경우 쿼리 필터를 충족하지 않으면 전체 파티션이 건너뜁니다.

7. 데이터 건너뛰기 기술

프레디케이트 푸시다운 외에도 다른 데이터 건너뛰기 기술을 사용하여 I/O를 더욱 줄일 수 있습니다. 최소/최대 인덱스, 블룸 필터 및 영역 맵은 열 통계 또는 미리 계산된 인덱스를 기반으로 관련 없는 데이터 읽기를 건너뛰는 몇 가지 전략입니다.

• 최소/최대 인덱스: 데이터 블록 내의 각 열에 대한 최소값과 최대값을 저장하면 쿼리 엔진이 쿼리 범위 밖에 있는 블록을 건너뛸 수 있습니다.
• 블룸 필터: 블룸 필터는 요소가 집합의 구성원인지 테스트하는 확률적 방법을 제공합니다. 일치하는 값을 포함할 가능성이 낮은 블록을 건너뛰는 데 사용할 수 있습니다.
• 영역 맵: 최소/최대 인덱스와 유사하게 영역 맵은 블록 내의 데이터에 대한 추가 통계를 저장하여 보다 정교한 데이터 건너뛰기를 가능하게 합니다.

8. 쿼리 엔진 최적화

Parquet 쿼리 성능은 사용 중인 쿼리 엔진(예: Apache Spark, Apache Hive, Apache Impala)에 따라 달라집니다. 특정 쿼리 엔진에 대한 쿼리를 최적화하는 방법을 이해하는 것이 중요합니다.

• 쿼리 계획 최적화: 쿼리 계획을 분석하여 잠재적인 병목 현상을 식별하고 쿼리 실행을 최적화하십시오.
• 조인 최적화: 조인되는 데이터 세트의 크기를 기반으로 적절한 조인 전략(예: 브로드캐스트 해시 조인, 셔플 해시 조인)을 사용하십시오.
• 캐싱: 자주 액세스하는 데이터를 메모리에 캐싱하여 I/O를 줄이십시오.
• 리소스 할당: 최적의 성능을 보장하기 위해 쿼리 엔진에 리소스(예: 메모리, CPU)를 적절하게 할당하십시오.

9. 데이터 로컬리티

데이터 로컬리티는 데이터와 처리 노드의 근접성을 나타냅니다. 데이터가 이를 처리하는 동일한 노드에 로컬로 저장되면 I/O가 최소화되고 성능이 향상됩니다.

• 데이터 및 처리 공동 배치: Parquet 데이터가 쿼리 엔진을 실행하는 동일한 노드에 저장되었는지 확인하십시오.
• HDFS 인식: HDFS 토폴로지를 인식하고 로컬 노드에서 데이터를 읽는 것을 우선시하도록 쿼리 엔진을 구성하십시오.

10. 정기적인 유지 관리 및 모니터링

Parquet 최적화는 지속적인 프로세스입니다. Parquet 데이터 세트의 성능을 정기적으로 모니터링하고 필요에 따라 조정하십시오.

• 쿼리 성능 모니터링: 쿼리 실행 시간을 추적하고 느리게 실행되는 쿼리를 식별하십시오.
• 스토리지 사용량 모니터링: Parquet 데이터 세트에서 사용하는 스토리지 공간을 모니터링하고 압축 및 최적화 기회를 식별하십시오.
• 데이터 품질: 데이터가 깨끗하고 일관성이 있는지 확인하십시오. 데이터 품질 문제는 쿼리 성능에 부정적인 영향을 미칠 수 있습니다.
• 스키마 진화: 스키마 진화를 신중하게 계획하십시오. 열을 추가하거나 제거하면 제대로 수행하지 않으면 성능에 영향을 미칠 수 있습니다.

고급 Parquet 최적화 기술

Apache Arrow를 사용한 벡터화된 읽기

Apache Arrow는 인 메모리 데이터를 위한 교차 언어 개발 플랫폼입니다. Parquet을 Apache Arrow와 통합하면 데이터가 더 큰 배치로 처리되어 쿼리 성능이 크게 향상되는 벡터화된 읽기가 가능합니다. 이를 통해 행 단위 처리 오버헤드를 피하고 훨씬 더 빠른 분석 워크로드를 사용할 수 있습니다. 구현에는 종종 기존의 행 기반 반복을 우회하여 Parquet 파일에서 직접 Arrow의 컬럼 인 메모리 형식을 활용하는 것이 포함됩니다.

열 재정렬

Parquet 파일 내의 열의 물리적 순서는 압축 및 쿼리 성능에 영향을 미칠 수 있습니다. 유사한 특성(예: 높은 카디널리티 대 낮은 카디널리티)을 가진 열이 함께 저장되도록 열을 재정렬하면 압축률이 향상되고 특정 열 그룹에 액세스할 때 I/O가 줄어들 수 있습니다. 특정 데이터 세트 및 워크로드에 대한 최적의 열 순서를 결정하려면 실험 및 프로파일링이 중요합니다.

문자열 열에 대한 블룸 필터

블룸 필터는 일반적으로 숫자 열에 효과적이지만 특히 동일성 프레디케이트에서 필터링할 때 문자열 열에도 유용할 수 있습니다(예: `WHERE product_name = '특정 제품'`). 자주 필터링되는 문자열 열에 대해 블룸 필터를 활성화하면 일치하는 값을 포함할 가능성이 낮은 블록을 건너뛰어 I/O를 크게 줄일 수 있습니다. 효과는 문자열 값의 카디널리티와 분포에 따라 달라집니다.

사용자 지정 인코딩

고도로 전문화된 데이터 유형 또는 패턴의 경우 데이터의 특정 특성에 맞춘 사용자 지정 인코딩 체계를 구현하는 것을 고려하십시오. 여기에는 사용자 지정 코덱을 개발하거나 전문화된 인코딩 알고리즘을 제공하는 기존 라이브러리를 활용하는 것이 포함될 수 있습니다. 사용자 지정 인코딩의 개발 및 유지 관리에는 상당한 전문 지식이 필요하지만 특정 시나리오에서 상당한 성능 향상을 가져올 수 있습니다.

Parquet 메타데이터 캐싱

Parquet 파일에는 데이터의 스키마, 인코딩 및 통계를 설명하는 메타데이터가 포함되어 있습니다. 이 메타데이터를 메모리에 캐싱하면 특히 많은 수의 Parquet 파일에 액세스하는 쿼리의 쿼리 대기 시간을 크게 줄일 수 있습니다. 쿼리 엔진은 종종 메타데이터 캐싱을 위한 메커니즘을 제공하며 성능을 최대화하려면 이러한 설정을 적절하게 구성하는 것이 중요합니다.

Parquet 최적화를 위한 글로벌 고려 사항

글로벌 환경에서 Parquet을 사용할 때는 다음 사항을 고려하는 것이 중요합니다.

• 시간대: 타임스탬프를 저장할 때는 모호성을 피하고 다양한 시간대에서 일관성을 보장하기 위해 UTC(협정 세계시)를 사용하십시오.
• 문자 인코딩: 다양한 언어의 광범위한 문자를 지원하기 위해 모든 텍스트 데이터에 UTF-8 인코딩을 사용하십시오.
• 통화: 통화 값을 저장할 때는 일관된 통화를 사용하고 부동 소수점 부정확성을 피하기 위해 십진수 데이터 유형을 사용하는 것을 고려하십시오.
• 데이터 거버넌스: 다양한 지역 및 팀에서 데이터 품질 및 일관성을 보장하기 위해 적절한 데이터 거버넌스 정책을 구현하십시오.
• 규정 준수: 데이터 개인 정보 보호 규정(예: GDPR, CCPA)을 알고 Parquet 데이터가 이러한 규정을 준수하여 저장 및 처리되도록 하십시오.
• 문화적 차이: 데이터 스키마를 설계하고 데이터 유형을 선택할 때 문화적 차이를 염두에 두십시오. 예를 들어 날짜 형식과 숫자 형식은 지역마다 다를 수 있습니다.

결론

Parquet 최적화는 데이터 특성, 인코딩 체계, 압축 코덱 및 쿼리 엔진 동작에 대한 깊은 이해가 필요한 다면적인 프로세스입니다. 이 가이드에서 설명한 기술을 적용하면 데이터 엔지니어와 아키텍트가 빅데이터 애플리케이션의 성능과 효율성을 크게 향상시킬 수 있습니다. 최적의 최적화 전략은 특정 사용 사례와 기본 인프라에 따라 달라진다는 점을 기억하십시오. 지속적인 모니터링과 실험은 끊임없이 진화하는 빅데이터 환경에서 가능한 최상의 결과를 얻는 데 중요합니다.