Databricks 클린 룸: 이제 AWS와 Azure에서 일반적으로 사용 가능

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

우리는 AWS와 Azure에서 Databricks Clean Rooms의 일반 사용 가능성(GA)을 발표하게 되어 매우 기쁩니다. 이는 안전하고 개인정보 중심의 데이터 협업을 가능하게 하는 중요한 발전입니다. 8월에 공개 미리보기 출시 이후, 우리는 광고, 의료, 금융 서비스, 소매 등 다양한 산업 요구 사항을 충족시키는 새로운 기능을 통합하여 클린 룸을 개선하고 세밀하게 조정하기 위해 고객 및 파트너와 긴밀하게 협력했습니다.

GA 릴리스에서는 데이터 거버넌스와 개인정보 보호 컨트롤이 향상되어 조직이 민감한 정보를 위험에 빠뜨리지 않고 안전하게 협업할 수 있습니다.

Mastercard, Intuit, AppsFlyer와 같은 주요 회사들이 이미 각각의 분야에서 Databricks 클린 룸을 사용하기 시작했습니다, 이에는 금융 서비스, 의료, 광고 등이 포함됩니다. 우리는 여러분이 최신 기술 발전을 탐구하고, 이를 어떻게 데이터 전략에 활용할 수 있는지 배우도록 권장합니다.

Databricks Clean Rooms이란 무엇인가요?

Databricks Clean Rooms 는 Delta Sharing 에 의해 구동되며, 기업이 고객 및 파트너와 어떤 클라우드에서든 개인정보를 침해하거나 민감한 데이터를 공유하지 않고 쉽게 협업할 수 있게 합니다. 클린 룸에 참여하는 사람들은 기존 데이터를 안전하게 공유하고 결합하며, ML에 대한 기본 지원을 제공하는 Python과 같은 언어를 사용하여 복잡한 작업을 실행할 수 있습니다. 클린 룸에서 협업할 때, 데이터는 그대로 유지되며 언제 어디서 어떻게 데이터가 사용되는지 항상 통제할 수 있습니다.

GA에서 새로운 것은 무엇인가요?

이번 릴리스에서 Databricks Clean Rooms는 협업, 보안, 준수를 향상시키기 위해 여러 새로운 기능을 도입합니다:

• 출력 테이블: 엄격한 개인정보 보호 조치를 유지하면서 하류 작업흐름을 가능하게 하는 Unity 카탈로그에서 직접 승인된 분석 출력을 생성하고 공유합니다.
• HIPAA 준수: 클린 룸은 이제 HIPAA 준수 기능을 제공하여, 민감한 환자 데이터를 처리하는 의료 기관에 이상적인 해결책이 됩니다. 이 개선 사항은 환자의 개인 정보를 보호하면서 혁신을 촉진하는 의료 분야에서 안전한 협업에 대한 새로운 가능성을 열어줍니다.
• 관리 API: 클린 룸 설정, 오케스트레이션, 모니터링을 자동화하기 위해 새로운 API가 도입되었습니다. 이 강력한 도구들은 여러 협업자와 사용 사례를 효율적으로 확장하게 해주며, 관리 오버헤드를 줄이고 인사이트를 얻는 시간을 단축시킵니다.
• 자기 협업: 단일 메타스토어 내에서 클린 룸을 생성하여 동일한 메타스토어의 사용자 또는 자신과 협업할 수 있습니다. 이는 외부 당사자와 협업하기 전에 자체 조직 내에서 클린 룸 제품을 시도하고자 하는 고객에게 좋은 옵션입니다. 이 기능은 내부 데이터 공유와 분석에 유연성을 제공하며, 조직 내 워크플로우를 간소화합니다.
• 연합 공유 (미리보기): 새로운 쿼리 연합 기능을 활용하여 모든 데이터를 복제하거나 이동시키지 않고도 클라우드와 데이터 플랫폼 간에 파트너와 원활하게 협업할 수 있습니다.

이러한 향상은 파트너와 고객과의 데이터 협업의 전체 잠재력을 활용할 수 있도록 조직을 강화하는 중요한 도약을 나타냅니다. 동시에 최고 수준의 개인정보 보호와 보안을 유지합니다.

데모: 개인정보 중심의 협업 실제 적용

최신 데모에서는 두 은행이 데이터 클린 룸을 사용하여 의심스러운 거래 패턴과 잠재적인 사기꾼을 식별하는 공동 사기 탐지 프로젝트에 협업하는 방법을 보여줍니다. 데모는 사용자가 Snowflake 등 다양한 소스에서 데이터와 사기 탐지 모델을 안전하게 가져와 클린 룸에 넣는 방법을 보여줍니다. 그런 다음 은행들은 합의된 분석을 실행하고 승인된 결과를 공유하며, 강력한 데이터 거버넌스와 준수를 유지합니다.

고객 모멘텀: 실제 세계의 영향

이미 몇몇 고객들이 Databricks 클린 룸을 활용하여 복잡한 문제를 해결하기 시작했습니다.

Mastercard는 개인정보 우선의 데이터 협업을 선도합니다

Mastercard는 210개 국가와 지역에서 운영하며, 35억장의 카드가 유통되고 있습니다.

이 기술 회사의 유산은 고객과 파트너에게 신뢰를 제공하는 데 있으며, 이것이 Mastercard가 데이터 유틸리티를 제공하면서 준수를 보장하기 위해 개인 정보 보호 기술 (PETs)을 사용하고 있는 이유입니다. 회사의 데이터 책임 원칙에 대한 헌신의 다음 단계로서, Mastercard는 Databricks와 긴밀하게 협력하여 Databricks Clean Room 기능을 사용한 독특한 개인정보 보호 제공을 만들었습니다.

이 클린 룸 제공에서 PETs와 Mastercard 컨트롤의 사용은 Mastercard가 협력자, 지역성, 데이터 유형 및 특정 사용 사례를 기반으로 개인 정보 보호 및 기밀성 기능을 동적이고 혁신적으로 관리할 수 있게 해주었습니다.

“신뢰는 우리가 하는 모든 것의 기반이다. 우리의 데이터와 기술 책임 원칙을 준수하면서 고객과 파트너에게 가치 있는 통찰력을 제공하는 독특한 개인 정보 보호 제공을 위해 Databricks 클린 룸과의 파트너십을 맺었습니다. Mastercard에서는 데이터가 우리의 제품과 서비스의 핵심이며, 책임있는 데이터 혁신이 사회를 의미있는 방식으로 전진시키는 데 필수적이라고 믿습니다.” 

— Andrew Reiskind, Chief Data Officer, Mastercard

Intuit: 대출업체를 위한 개인정보 중심의 협업 가능

Intuit의 QuickBooks Capital은 외부 대출업체와 파트너십을 맺어 기업에 대출을 제공합니다. 이 노력을 지원하기 위해, Intuit는 고객 데이터의 보안과 개인정보 보호에 중점을 두면서 대출 파트너와 협업하기 위해 Databricks Clean Rooms를 사용합니다. 이 솔루션은 Intuit가 고객에게 더 나은 결과를 가져다주는 통찰력을 발견할 수 있게 합니다.

Databricks Clean Rooms는 Intuit가 플랫폼이나 클라우드 제공자에 상관없이 외부 대출 파트너와 원활하게 작업할 수 있도록 협업을 단순화합니다. 이 유연성은 우리가 고객의 가장 중요한 자본 요구를 해결하는 능력을 가속화합니다. 또한, 여러 프로그래밍 언어와 Databricks 노트북에 대한 지원은 협업자가 상호 합의된 코드를 사용하여 공동 데이터에서 가치있는 통찰력을 도출할 수 있게 하여 Intuit와 그 파트너들이 효율적으로 집계된 통찰력을 식별하는 데 도움이 됩니다.

“Intuit에서는 고객이 혁신적인 솔루션을 통해 자신의 재정 목표를 달성하는 것을 용이하게 하는 것이 우리의 비전입니다. 이를 지원하기 위해, Databricks Clean Rooms는 개인정보 중심 및 보안 중심의 외부 파트너와의 협업을 가능하게 합니다. 이 접근 방식은 우리가 파트너와 어떻게 작업하는지 개선하고 고객을 위한 기회를 확장하는 데 도움이 됩니다.” 

— Harith Elrufaie, Distinguished Engineer, Intuit

상호 운용성: AppsFlyer DCP와의 원활한 데이터 협업 가능

AppsFlyer는 주요 데이터 협업, 마케팅 측정, 데이터 분석 플랫폼입니다. AppsFlyer 데이터 협업 플랫폼(DCP)은 브랜드와 커머스 미디어 네트워크가 원활하게 협업하고, 캠페인을 실행하며, 플랫폼과 채널 간에 종합적인 측정을 수행할 수 있게 하는 상호 운용 가능한 플랫폼입니다. 이러한 협업자 중 일부는 다른 플랫폼과 클라우드를 사용할 수 있지만, 상호 운용성은 확장 가능하고 개인정보 우선의 데이터 협업에 있어 중요합니다.

Databricks 클린 룸은 AppsFlyer DCP의 지역, 클라우드, 플랫폼 간 협업 능력을 향상시켰습니다. 이 파트너십은 브랜드와 파트너가 어느 플랫폼에서든 데이터를 안전하게 공유하고, 더 깊은 고객 통찰력을 얻고, 작업을 간소화하고, 데이터 보안을 손상시키지 않고 영향력 있는 캠페인을 추진할 수 있도록 권한을 부여합니다. 데이터 접근성과 측정에 대한 중요한 도전을 해결함으로써, 이 협업은 비즈니스가 확장 가능한 성장을 달성하고 오늘날의 상호 연결된, 개인정보 우선의 생태계에서 마케팅 투자를 최적화할 수 있도록 보장합니다.

“우리의 Databricks와의 파트너십은 AppsFlyer의 상호 운용성에 대한 약속을 강조합니다. Databricks 클린 룸과 우리의 데이터 협업 플랫폼을 통합함으로써, 우리는 기업이 데이터의 전체 잠재력을 활용하게 하며, 데이터 개인 정보 보호와 데이터 사용에 대한 윤리적인 관행을 유지하면서 성장을 촉진하게 합니다,"라고 AppsFlyer의 개인 정보 클라우드 일반 관리자인 Edik Mitelman이 말했습니다.

Clean Rooms 파트너 생태계

Databricks 클린 룸 생태계는 혁신적인 파트너십 네트워크를 통해 안전하고 개인 정보 중심의 데이터 협업을 가능하게 합니다. Integral Ad Science, Hightouch, Amperity, CoreLogic과 같은 주요 플레이어들이 데이터 개인정보를 보호하면서 행동 가능한 통찰력을 활용할 수 있도록 기업을 지원하고 있습니다. 이러한 파트너십은 고급 기술을 통합하여 관객 세분화, 미디어 측정, 캠페인 최적화를 간소화합니다.

IAS

“Integral Ad Science (IAS)는 Databricks Clean Rooms를 우리 고객을 위해 클라우드 간에 원활하고 상호 운용 가능한 솔루션을 구축하는 우리 자체의 데이터 협업 능력의 연장으로 보고 있습니다. Databricks의 개인정보 중심 및 유연한 플랫폼을 기반으로 구축함으로써, IAS는 클린 룸에 중립적인 상태를 유지하고, 광고주와 출판사가 데이터를 이동하거나 복제하지 않고 캠페인 성능을 안전하게 분석하고 최적화할 수 있게 하였습니다.”

— Bala Rajagopal, Vice President, Engineering, Integral Ad Science

CoreLogic

"Databricks Clean Rooms는 속성 데이터를 더욱 강력하고 접근하기 쉽게 만들어, 우리의 클라이언트에게 적시에 통찰력을 제공하여 더 나은 결정을 내릴 수 있도록 돕습니다 - 모든 것은 개인정보 보호와 보안을 보장하면서 이루어집니다. 이 파트너십은 부동산 데이터가 어떻게 더 똑똑하고, 더 정보화된 선택을 이끄는지 변화시키고 있습니다.”

— Devi Mateti, President, Enterprise Digital Solutions, CoreLogic

Hightouch

“Databricks 클린 룸은 광고, 소매, 규제된 산업에서 데이터 협업과 활성화에 대한 또 다른 흥미로운 발전입니다.  Hightouch는 비즈니스 팀이 승인된 클린 룸 데이터에 접근하고, 우리의 세분화, 활성화, 그리고 수백 가지의 다운스트림 도구를 통한 AI 결정 도구를 사용하여 작업하는 것을 돕게 되어 기쁩니다.”

— Tejas Manohar, 공동 창립자 및 공동 CEO, Hightouch

Databricks Clean Rooms는 이제 AWS와 Azure에서 일반적으로 사용 가능하며, 우리는 그 기능을 탐색하는 것을 언제나보다 쉽게 만들고 있습니다.

• 시작하시는 데 도움이 되도록, 우리는 Databricks Marketplace에서 사용할 수 있는 샘플 클린 룸 데이터셋을 소개했습니다. 이 데이터셋들은 스타터 노트북과 함께 제공되어, 자신의 데이터를 가져올 필요 없이 주요 사용 사례(예: 관객 중복 분석)를 테스트할 수 있게 합니다.
• 또한 최근에 진행된 2024 Data + AI Summit 세션을 통해 Clean Rooms에 대해 더 자세히 알아볼 수 있습니다: Databricks Clean Rooms와 PETs를 이용한 협업, Databricks Clean Rooms 시작하기, Databricks Clean Rooms를 이용한 안전한 데이터 및 AI 협업.
• Databricks Clean Rooms는 이제 Google Cloud Platform (GCP)에서 사적 미리보기로 사용 가능합니다. GCP에서 클린 룸을 시도해 보려면 계정 팀에 문의하세요.

시작할 준비가 되셨나요?