Unity 카탈로그에서 Hive 메타스토어와 AWS Glue 연합의 일반 사용 가능성을 발표합니다

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

우리는 Hive Metastore (HMS)와 AWS Glue Federation의 일반 사용 가능성을 Unity Catalog에서 발표하게 되어 기쁩니다! 이 새로운 기능은 Unity Catalog가 Hive Metastores에 저장된 테이블을 자체 호스팅 또는 Databricks에 의해 호스팅되는지에 관계없이 원활하게 접근하고 관리할 수 있게 하며, AWS Glue도 마찬가지입니다. 이것은 우리의 Lakehouse Federation 비전의 핵심 이정표로, 데이터베이스, 데이터 웨어하우스 및 카탈로그를 포함한 외부 데이터 소스를 Unity Catalog와 함께 통합된 거버넌스 프레임워크 아래에 모읍니다. 이제 당신은 형식과 위치에 관계없이 당신의 모든 데이터를 쉽게 발견하고, 쿼리하고, 관리할 수 있는 단일 중앙화된 플랫폼에서 할 수 있습니다. 이것은 단지 당신의 조직 전체에서 열린 접근과 협업을 촉진하는 것이 아니라 모든 데이터 소스로 데이터 지능을 확장합니다.

이 블로그에서는 HMS와 AWS Glue Federation의 이점을 살펴보고, 작동 방식을 설명하며, 시작하는 방법에 대한 지침을 제공할 것입니다.

왜 Hive Metastore와 AWS Glue Federation인가? 

HMS는 빅 데이터 시스템에서 사용할 데이터 카탈로그를 위한 초기 표준이었으며, 기본적인 기능을 제공하지만, 행과 열에 대한 세밀한 접근 제어, 계보, 모니터링 및 감사를 포함한 종합적인 거버넌스를 요구하는 현대의 데이터 및 AI 작업부하에는 이상적이지 않습니다. 

Unity Catalog는 이러한 단점을 해결하기 위해 업계 유일의 통합된, 오픈 거버넌스 솔루션을 제공하여 모든 데이터와 AI 자산을 관리합니다. 이것은 조직이 파일, 테이블, ML 모델, AI 도구, 노트북, 그리고 메트릭을 큐레이션하는 엔터프라이즈 카탈로그를 생성하게 해주며, 이 모든 것은 세밀한 접근 제어, 계보, 모니터링, 감사, 그리고 하나의 솔루션에서의 플랫폼 간 공유로 관리됩니다. 이제 10,000개 이상의 기업이 Unity Catalog를 이용하여 데이터 자산을 관리하고 있습니다.

HMS와 AWS Glue Federation은 데이터 아키텍처에 깊이 통합된 조직에게 중요한 이점을 제공합니다. 오랫동안 HMS 또는 AWS Glue를 배포해온 분들에게 이 기능은 HMS 또는 Glue 메타스토어에 저장된 데이터에 대해 Unity Catalog의 고급 기능을 활용할 수 있는 원활한 경로를 제공합니다. 이것은 조직이 기존 데이터와 작업 공간을 Unity Catalog로 점진적으로 업그레이드하면서 레거시 워크플로우를 유지할 수 있게 함으로써 운영 연속성을 보장합니다.

주요 이점은 다음과 같습니다:

• 매끄러운 통합: 기존의 HMS와 AWS Glue 카탈로그를 수동 메타데이터 마이그레이션 없이 바로 Unity 카탈로그에 연결하세요.
• 간소화된 데이터 발견: Unity Catalog에서 HMS와 AWS Glue의 데이터에 접근하고 탐색하며, Unity Catalog의 모든 데이터 및 AI 자산과 함께 사용합니다.
• 포괄적인 거버넌스: HMS와 AWS Glue에 저장된 데이터 위에 Unity Catalog의 세밀한 접근 제어, 태깅, 분류, 계보, 감사 기능을 활용하세요

Unity Catalog에서 HMS Federation을 활용하면 고객에게 불편을 최소화하는 동시에 점진적인 마이그레이션이 가능해집니다. Databricks와의 파트너십은 단기적인 요구사항과 장기적인 목표를 평가하는 데 중요했습니다. Unity Catalog의 기능을 조기에 활용하여, 우리는 향상된 거버넌스와 접근 제어를 포함한 현대화 여정의 일부로 확장 가능하고 효율적인 데이터 플랫폼을 만들었습니다 

— Praveena Edward, Lead Data Engineer, Nationwide

우리는 외부 Hive Metastore에 카탈로그화된 데이터셋을 수년 동안 보유하고 있습니다. HMS Federation은 우리가 Unity Catalog만의 기능인 강력한 접근 제어와 Genie Spaces를 통한 자체 AI 도구를 이용하여 즉시 이익을 얻게 해주며, 이 모든 테이블을 Unity Catalog로 마이그레이션하는 오버헤드 없이 가능합니다

— James Davidheiser, Technical Lead, Data Infrastructure, Asana

작동 방식

Unity Catalog는 이제 Hive Metastore (HMS)와 AWS Glue를 위한 연합 커넥터를 포함하며, Unity Catalog와 외부 메타스토어 간의 번역 계층 역할을 합니다. 이 커넥터들을 사용하면 전체 HMS 카탈로그(내부 및 외부) 또는 AWS Glue를 Unity 카탈로그 내의 외부 카탈로그로 마운트할 수 있으며, 이를 통해 이들을 네이티브 객체처럼 보이게 할 수 있습니다. Databricks 엔진을 사용하여 HMS 또는 AWS Glue 관리 테이블을 쿼리하고, 감사를 수행하고, 계보를 보고, 세분화된 접근 제어를 정의할 수 있습니다. 연합은 Databricks 워크스페이스 내부의 HMS에서 테이블을 읽고 쓰는 것을 지원하면서, 외부 HMS와 AWS Glue의 테이블에 대해서는 읽기 전용 접근을 제공합니다.

이 기능을 통해 HMS와 AWS Glue의 모든 테이블을 읽을 수 있습니다—Parquet, Delta, Iceberg(공개 미리보기에서 곧 제공 예정)—이를 통해 모든 테이블에 원활하게 접근하고 관리할 수 있습니다.

아래의 비디오 튜토리얼을 확인하여 AWS Glue와 HMS Federation을 실제로 탐색해 보세요.

GA 릴리스에는 어떤 새로운 기능이 있나요?

GA 릴리스는 다음과 같은 추가 기능이 포함되어 있습니다:

• Hive Metastore v3.1 지원 
• SQL Server 또는 Postgres 데이터베이스에 호스팅된 Hive Metastores 지원 (mySQL 지원 이미 제공)
• 스토리지 방화벽 (Azure) 뒤에 있는 DBFS-root 백업 테이블에 대한 접근
• Hive 테이블의 행 및 열 수준 마스크 지원

또한 Hive metastore에 정의된 Delta 얕은 복제본을 읽는 공개 미리보기 지원 과 DBFS-mount 백업 테이블을 워크스페이스 간에 읽는 개인 미리보기 지원을 추가했습니다 (Databricks 계정 담당자에게 문의하여 등록하세요!).

시작하기

Lakehouse 아키텍처의 기초로 Unity Catalog를 받아들임으로써, 당신은 전체 데이터와 AI 부동산을 아우르는 통합된 및 개방적인 거버넌스 구현의 힘을 해제할 수 있습니다.

• HMS 연합 가이드를 따르십시오( AWS, Azure 그리고 GCP) 시작하십시오.
• Unity 카탈로그를 시작하려면, AWS, Azure, 그리고 GCP를 위한 Unity 카탈로그 가이드를 따르십시오.