Google BigQuery를 위한 Lakehouse Federation의 일반 사용 가능성 발표 및 Teradata와 Oracle을 위한 공개 미리보기 발표

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

Google BigQuery를 위한 Lakehouse Federation의 일반 사용 가능성과 Oracle 및 Teradata를 위한 공개 미리보기를 발표하게 되어 기쁩니다. 이제 Unity Catalog를 통해 이러한 소스에서 데이터를 연결, 발견, 관리, 쿼리할 수 있습니다—이동이나 ETL 없이. 이는 데이터 접근을 더욱 쉽게 만들면서 개방적이고 상호 운용 가능한 레이크하우스 아키텍처를 보장합니다.

Lakehouse Federation을 통해 분산된 플랫폼에서 데이터와 거버넌스를 통합하세요

Lakehouse Federation은 사용자가 데이터를 복제하거나 전송하지 않고도 다양한 데이터베이스, 데이터 웨어하우스, 카탈로그 간에 데이터를 쿼리하고 분석할 수 있게 합니다. 외부 데이터 소스를 Unity Catalog에 직접 통합함으로써, 조직은 다음을 수행할 수 있습니다:

• 전체 데이터 자산에 대한 통합된 시각을 얻으십시오: 자동으로 구조화된 데이터와 비구조화된 데이터를 분류하고 발견하여 단일 플랫폼에서 조직이 안전하게 모든 사용 가능한 데이터에 접근하고 탐색할 수 있도록 합니다—데이터가 어디에 있든지.
• 단일 엔진으로 데이터를 원활하게 쿼리하고 분석: 모든 데이터, 분석, AI 작업량에 대해 빠르고 즉석에서 분석 및 프로토타이핑을 가능하게 합니다. 통합 엔진은 고급 쿼리 계획, 캐싱, 크로스 소스 실행을 통해 쿼리 성능을 최적화하여 여러 플랫폼에서 데이터를 효율적으로 결합할 수 있게 합니다.
• 일관된 데이터 보안 및 거버넌스를 보장: 모든 데이터 소스에 걸쳐 접근 규칙을 강제하는 통합 권한 모델을 적용합니다. 행 및 열 수준의 보안, 태그 기반 정책, 중앙 집중식 감사를 구현하면서 데이터 사용에 대한 전체 가시성을 유지합니다. 내장된 데이터 라인리지와 감사 기능을 통해 컴플라이언스 요구사항을 쉽게 충족시킵니다.

Lakehouse Federation은 MySQL, PostgreSQL, Teradata, Oracle, Amazon Redshift, Salesforce Data Cloud, Snowflake, Microsoft SQL Server, Azure Synapse (SQL Data Warehouse), Google BigQuery, Hive metastore 등 다양한 플랫폼을 지원하며, 더 많은 커넥터가 곧 추가될 예정입니다.

BigQuery를 위한 Lakehouse Federation의 일반 사용 가능성 발표

Google BigQuery를 위한 Lakehouse Federation의 GA 릴리스를 통해, 사용자는 이제 데이터 이동이나 복제 없이 BigQuery 데이터를 Databricks에 연결할 수 있습니다. 이를 통해 사용자는 GCP, Azure 또는 AWS의 Databricks 환경에서 BigQuery 데이터에 직접 작업을 실행하면서 Unity Catalog의 세분화된 거버넌스를 활용하여 보안 및 효율적인 데이터 관리를 할 수 있습니다.

이 통합은 다음을 가능하게 합니다:

• 통합된 데이터 관리: Unity Catalog 내에서 BigQuery 데이터를 다른 소스와 함께 원활하게 발견하고 관리하여 일관된 접근 제어 및 거버넌스를 보장합니다.
• 최적화된 쿼리 성능: BigQuery의 컴퓨팅 파워를 활용하면서 Databricks의 고급 쿼리 최적화를 활용하여 더 빠른 인사이트를 얻습니다.
• 향상된 협업: 팀이 통합 인터페이스를 통해 효율적으로 클라우드 환경에서 작업할 수 있도록 하며, 여러 플랫폼 간에 데이터를 쿼리하고 분석합니다.

BigQuery를 위한 Lakehouse Federation은 우리의 Google Cloud와 Azure 환경을 원활하게 연결했습니다. 데이터 이동이나 복제의 필요 없이, 이제 우리는 Azure에서 Databricks를 사용하여 BigQuery 데이터에 직접 Python 및 SQL 작업을 실행할 수 있으며, 이 모든 것은 Unity Catalog의 세밀한 거버넌스의 혜택을 받으면서 가능합니다. 이것은 우리의 멀티 클라우드 전략에 대한 게임 체인저로, 운영을 간소화하고 분석을 향상시킵니다 

— Lisa Fiege, 데이터 과학 엔지니어, Taylor Farms

Google BigQuery 커넥터는 이제 DBR 버전 16.1부터 시작하여 곧 Databricks SQL에서 사용 가능할 것입니다.

Teradata와 Oracle 커넥터를 위한 공개 미리보기 발표

BigQuery를 위한 GA 발표 외에도, Databricks는 Teradata와 Oracle 커넥터를 공개 미리보기로 소개하고 있습니다. 이 새로운 커넥터들은 사용자가 Lakehouse Federation의 범위를 더 많은 데이터 소스로 확장할 수 있게 해주어, 데이터 자산을 더욱 통합할 수 있게 합니다.

시작하기

Google BigQuery, Oracle 및 Teradata를 위한 Lakehouse Federation 커넥터를 시작하는 방법에 대한 문서를 읽어보세요:

• Google BigQuery (AWS, Azure, GCP)
• Teradata (AWS, Azure, GCP)
• Oracle (AWS, Azure, GCP)