데이터 공유 및 협업의 새로운 기능

Databricks는 중복 또는 벤더 락인 없이 조직이 데이터, AI 모델, 그리고 분석을 팀, 파트너, 플랫폼 간에 안전하게 공유할 수 있게 해줍니다. Delta Sharing, Databricks Marketplace, 그리고 Clean Rooms를 통해, 기업들은 데이터 개인정보 보호와 거버넌스를 유지하면서 실시간으로 협업할 수 있습니다.

Databricks는 계속해서 데이터 공유와 협업의 한계를 끊임없이 뛰어넘고 있습니다. 이 블로그에서는 다음 주제를 다룹니다:

• Databricks 클린 룸의 일반적인 사용 가능성
• 새로운 델타 공유 기능과 그들이 어떻게 안전한 데이터 교환을 향상시키는지
• Delta Sharing의 SAP 파트너십에서의 역할
• 왜 우리가 Databricks 마켓플레이스를 파트너 커넥트와 통합했는지, 그리고 마켓플레이스 생태계가 어떻게 확장되고 있는지

이러한 업데이트 각각을 블로그의 나머지 부분에서 살펴보겠습니다.

클린 룸은 이제 Azure & AWS에서 일반적으로 사용 가능합니다

Databricks 클린 룸 은 델타 공유 에 의해 구동되며, 기업이 개인 정보를 침해하거나 민감한 데이터를 공유하지 않고 어떤 클라우드에서든 고객 및 파트너와 쉽게 협업할 수 있게 해줍니다. Mastercard, Intuit 및 AppsFlyer 와 같은 주요 기업들이 이미 Databricks Clean Rooms를 대상 광고, 사기 탐지, 대출 과정, 임상 시험 효율성과 같은 사용 사례에 활용하기 시작했습니다.

새로운 기능에는 클라우드 간 연합 공유, 의료용 HIPAA 준수 지원, 자동화를 위한 관리 API, 단일 메타스토어 내에서의 자체 협업이 포함됩니다. 우리의 GA 발표 블로그를 읽어보세요.

델타 공유를 통한 데이터 공유의 성장 촉진

최근에는 크로스 플랫폼 뷰 공유, OpenID Connect를 통한 안전한 오픈 공유, 테이블 읽기 성능 향상을 위한 히스토리 공유, 서버리스 출구 제어 및 레이크하우스 연합 공유 등 여러 새로운 기능을 출시했습니다. 이러한 개선 사항을 통해 델타 공유는 엄격한 보안 프로토콜을 적용하면서 다중 클라우드 생태계에 대한 간편한 크로스 플랫폼 데이터 협업을 제공합니다.

크로스 플랫폼 뷰 공유

최근에는 크로스 플랫폼 뷰 공유의 공개 미리보기를 출시했습니다. 뷰 공유는 유용했습니다; 다른 공급업체들도 이를 수행합니다. 하지만 지금까지는 대부분 같은 플랫폼에 한정되어 왔습니다. 한 플랫폼 내에서 뷰를 공유할 수 있지만 여러 플랫폼과 클라우드 간에는 공유할 수 없었습니다. 이전에는 Databricks 계정 간에 뷰가 공유될 때, 소비자들은 Databricks SQL Serverless만을 이용해 쿼리할 수 있었습니다.

Databricks는 플랫폼 간 뷰 공유를 통해 이 문제를 해결하고, 다양한 환경에서 뷰를 원활하게 공유할 수 있게 합니다. 이제 데이터 소비자들은 Databricks 클러스터의 모든 유형을 활용하거나 오픈 델타 공유 클라이언트를 사용하여 공유된 뷰에 접근하고 쿼리를 실행할 수 있습니다. 이는 데이터 제공자의 범위를 확장하고 데이터 소비자의 공급업체에 대한 종속성을 피하며, 협업을 더 쉽고 빠르게 만드는 게임 체인저입니다. 이 데모 에서 크로스 플랫폼 뷰 공유가 어떻게 작동하는지 살펴보세요.

OIDC 토큰 연합을 통한 안전한 오픈 공유

OIDC 토큰 연합을 통한 안전한 오픈 공유는 곧 게이트가 설치된 공개 미리보기에 들어갈 예정입니다. 오픈 수신자들은 이제 OpenID Connect (OIDC) 또는 OAuth 토큰을 사용하여 선호하는 신원 제공자 (IdPs)를 통해 인증할 수 있습니다. 이것은 민감한 정보를 비-Databricks 수신자와 공유할 때 직접 정보 교환을 제거함으로써 노출 위험을 줄입니다 (Databricks에서 Open Sharing으로).

중요한 문서가 들어있는 잠긴 상자를 누군가와 공유한다고 상상해보세요. 물리적인 열쇠를 주는 대신(이 열쇠는 분실되거나 도난당할 수 있습니다), 그들이 신뢰할 수 있는 시스템, 예를 들어 그들의 업무 배지에서 자신의 안전한 ID 카드를 사용하여 상자를 열 수 있게 합니다.

이는 Databricks가 이제 수신자가 자신의 신뢰할 수 있는 Identity Providers(예: Google 또는 Microsoft)를 사용하여 공유된 데이터에 안전하게 접근할 수 있게 하고, 민감한 키나 비밀번호를 교환할 필요가 없는 방식과 유사합니다.

Lakehouse Federation Sharing
Databricks 외부에 있는 데이터, 예를 들어 데이터베이스를 공유해야 할 경우는 어떻게 해야 할까요? 다른 공유 솔루션을 찾아야 할까요? 필요 없습니다.

레이크하우스 연합을 위한 공유가 답입니다. 고객들은 이제 데이터가 저장된 곳에서 직접 데이터를 공유할 수 있으며, 이에는 데이터베이스와 데이터 웨어하우스, 예를 들어 Snowflake 또는 Google BigQuery가 포함되며, 데이터를 이동하거나 복사할 필요가 없습니다. 이 차별화된 기능은 고객이 비용이 많이 드는 ETL 프로세스를 제거하고, 원래의 비-Databricks 위치에서 데이터에 실시간으로 접근할 수 있도록 도와줄 것입니다.

Lakehouse Federation Sharing은 현재 Private Preview 단계에 있습니다.

히스토리 공유를 통한 더 빠른 테이블 읽기 성능
히스토리 공유를 통한 테이블 읽기 성능 향상 이 공개 미리보기에 있습니다. 이 기능은 히스토리 공유 시 Databricks 작업 공간 간에 공유된 테이블을 읽는 성능을 향상시킵니다. 이는 클라우드 토큰 기반 접근 방식을 활용하며, 이는 클라우드 저장소에서 임시 보안 자격 증명을 사용하여 전체 테이블 디렉토리를 안전하게 공유하고, 모든 파일 공유에 사전 서명할 필요를 없애줍니다. 이러한 자격 증명은 더 빠른 데이터 검색을 가능하게 하며, 소스 테이블에 직접 접근하는 것과 비교할 수 있는 성능 수준을 달성합니다.

서버리스 출구 제어
우리는 델타 공유를 위한 서버리스 출구 제어를 도입했습니다. 이는 수신자의 서버리스 환경이 오픈 인터넷으로부터 안전하고 격리되게 보장합니다. 이 기능은 수신자가 델타 공유와 연관된 승인된 저장 위치만 접근할 수 있게 하여 보안을 강화하고 무단 데이터 접근의 위험을 줄입니다.

Delta Sharing을 통한 SAP 파트너십

최근 발표된 SAP-Databricks 파트너십을 통해 "SAP Databricks"는 이제 SAP 비즈니스 데이터 클라우드의 기본 구성 요소로, 델타 공유를 통해 SAP Databricks와 기업 환경 간의 양방향 데이터 공유를 가능하게 합니다. AI와 분석을 위해 기존의 Databricks 계정을 활용하고자 하는 조직들은 Delta Sharing을 사용하여 SAP 데이터를 통합할 수도 있습니다.

이 파트너십의 핵심에서, Delta Sharing은 SAP Business Data Cloud와 Databricks 간의 원활하고 안전한 데이터 교환을 제공합니다—SAP Databricks이든 현재 고객의 Databricks 작업 공간이든 상관없이. 이 접근 방식은 SAP 데이터를 원래 위치(SAP 비즈니스 데이터 클라우드)에 유지함으로써 데이터 불일치 위험을 줄이고, 조직이 고급 분석 및 AI를 위해 그들의 기업 데이터와 결합하여 SAP 투자의 가치를 극대화할 수 있게 합니다.

Databricks 마켓플레이스의 모멘텀이 계속 이어지고 있습니다

Databricks 마켓플레이스는 놀라운 속도로 성장하고 있습니다. 이는 가장 빠르게 성장하는 데이터 및 AI 마켓플레이스 중 하나입니다. 우리는 파트너 커넥트의 통합과 던 앤 브래드스트리트의 광범위한 비즈니스 데이터 추가를 발표하게 되어 기쁩니다.

Partner Connect는 이제 Marketplace UI의 일부입니다

파트너 커넥트는 이제 Databricks 마켓플레이스 UI의 일부로, 고객들이 생태계 제공을 발견하고 접근하는 방식을 간소화합니다. 모든 파트너 솔루션, 즉 제3자 제품 및 통합은 이제 Databricks 네비게이션 메뉴의 단일, 중앙화된 진입점을 통해 접근할 수 있습니다. 여러 인터페이스를 탐색하는 것에 작별 인사를 하세요—이제 모든 것이 한 곳에 있습니다.

Dun & Bradstreet 6억 개 이상의 비즈니스 레코드 이제 사용 가능

복잡한 데이터 전송의 번거로움 없이 거의 실시간으로 업데이트되는 6억 개 이상의 비즈니스 레코드에 접근할 수 있다면 어떨까요? Dun & Bradstreet의 풍부한 데이터셋이 이제 Databricks 마켓플레이스에서 사용 가능하며, 중요한 비즈니스 인텔리전스에 대한 원활하고 안전하며 확장 가능한 접근을 제공합니다.

이 데이터 세트는 고객이 인사이트를 얻는 데 도움이 될 수 있습니다. 예를 들어

• 가장 중요한 관계에 대한 기본적인 연락처 정보.
• 미래 위험을 방지하기 위해 회사의 유동성을 이해하십시오.
• 계정 내에서 교차 판매 및 업 판매 기회를 식별합니다.
• 계정 목록에서 가장 중요한 연락처를 이해하세요.
• 그리고 계정 목록의 구매 준비도를 이해합니다.

“신뢰할 수 있고, 신뢰할 수 있으며 최신의 데이터는 정보 기반 의사 결정의 기반이다. Dun & Bradstreet의 데이터 세트와 분석적 통찰력의 힘과 Databricks 마켓플레이스의 개방성, 확장성, 보안성은 조직이 그들의 비즈니스 목표를 가속화하기 위해 필요한 때와 장소에서 데이터의 힘을 활용할 수 있는 강력한 기반을 제공합니다." 

— Ginny Gomez, Dun & Bradstreet, North America의 대표

D&B 데이터로 어떻게 회사가 이익을 얻을 수 있는지에 대한 가상의 시나리오를 고려해 보십시오. ManuCorp, 글로벌 제조 회사는 공급 업체의 재정 불안정, 지정학적 긴장, 환경 준수 문제 등의 요인으로 인해 중요한 공급망 위험에 직면하고 있습니다. 이러한 도전을 해결하기 위해, 회사는 Databricks 마켓플레이스를 통해 이용 가능한 Dun & Bradstreet (D&B) 데이터셋에 의존합니다. 이 데이터셋을 구독함으로써, ManuCorp는 공급 업체의 재정 건강, 위험 점수, ESG 등급에 대한 실시간 정보에 접근할 수 있습니다. 이들은 델타 공유를 통해 ManuCorp의 Unity 카탈로그에서 즉시 사용할 수 있습니다.

이 데이터를 통해, ManuCorp는 공급업체의 철저한 위험 평가를 수행하여, 높은 기본 확률을 가진 공급업체 또는 국제 제재 대상을 식별합니다. 이를 통해 공급업체 관계의 적극적인 관리와 위험 완화가 가능해집니다. 회사는 또한 Databricks 내의 예측 분석을 활용하여 지정학적 사건이나 자연 재해로 인한 잠재적인 중단을 예측하고, 최적화된 운송 경로와 대비 계획을 허용합니다.

아래 데모는 기업들이 어떻게 D&B의 도구를 활용하여 신뢰할 수 있는 비즈니스 정보로 데이터를 향상시키고 지속적인 모니터링을 통해 최신 인사이트를 유지할 수 있는지 보여줍니다. 모든 업데이트는 "델타 공유"로 공유되며, 이는 해당 기업에 대한 변화에 대한 실시간 인사이트를 제공합니다. 이는 의사 결정을 위한 지속적인 데이터 정확성과 관련성을 보장합니다.

Dun & Bradstreet on Databricks Marketplace를 확인해 보세요

이것들은 단지 시작일 뿐—데이터 공유를 향상시키기 위한 더 많은 혁신이 계속될 예정입니다. Databricks는 곧 Materialized Views와 Streaming Table Sharing을 제공할 예정이며, 이를 통해 실시간 데이터와 사전 계산된 쿼리 결과의 원활한 공유를 가능하게 하여 성능과 비용 효율성을 향상시킵니다. 또한, Databricks Marketplace는 Databricks Apps와 AI Assistant를 도입하여 대화식 프롬프트를 통한 데이터 제품 발견을 단순화할 예정입니다.

데이터 공유와 협업에 대해 더 알아보도록 권장합니다. 데이터 공유의 새로운 접근법의 3번째 판을 확인해 보세요

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)