Delta Lake 3.0: 유니폼과 리퀴드 클러스터링
학습할 내용
이 간단한 시연에서는 Delta Lake 3.0의 주요 기능을 처음으로 살펴보게 됩니다.
유니버설 포맷
Delta Universal Format (UniForm)은 응용 프로그램이 필요로 하는 형식으로 Delta를 읽을 수 있게 해주어 호환성을 향상시키고 생태계를 확장합니다. Delta는 Apache Iceberg 또는 Apache Hudi에 필요한 메타데이터를 자동으로 생성하므로 사용자가 형식 간에 선택하거나 수동으로 변환할 필요가 없습니다. UniForm을 사용하면, Delta는 여러 생태계에서 작동하는 보편적인 형식입니다.
Liquid Clustering
Liquid Clustering은 Delta 테이블을 위한 스마트 데이터 관리 기법입니다. 이는 유연하며 클러스터링 키에 따라 데이터 레이아웃을 자동으로 조정합니다. Liquid Clustering은 데이터 패턴에 기반하여 동적으로 데이터를 클러스터링하여 Hive 파티셔닝에서 발생할 수 있는 과도한 파티셔닝 또는 부족한 파티셔닝 문제를 피할 수 있습니다.
