레이크하우스의 데이터 공유 및 협업 기능의 새로운 기능

Delta Sharing 에코시스템의 확장을 위해 데이터브릭스 Marketplace는 정식 출시, 데이터브릭스 Clean Room은 AWS에서 Private Preview 버전으로 제공되고 있습니다.

작성자: Zaheera Valani, Steve Mahoney, Jay Bhankharia, 다르샤나 시바쿠마르, 에리카 에를리, Sachin Thakur, Kelly Albano, Cassie Miao

July 10, 2023 in 플랫폼 블로그

이 포스트 공유하기

데이터브릭스는 데이터, 분석, AI 전반에 걸쳐 데이터 공유 및 협업을 위한 최초의 오픈 소스 접근 방식을 제공합니다. 고객은 공급업체에 종속되지 않고 플랫폼, 클라우드, 지역 전반에서 라이브 데이터 세트는 물론 AI 모델, 애플리케이션, 노트북을 공유할 수 있습니다. 공급업체는 혁신적인 데이터 제품을 제공할 수 있는 기회가 확대되어 혁신을 가속화하고 새로운 수익원을 창출할 수 있습니다. 이러한 유연성은 공유 데이터 세트에 대한 액세스를 관리, 추적 및 감사하기 위해 Delta Sharing을 데이터브릭스 Unity Catalog와 통합함으로써 강력한 보안 및 거버넌스를 통해 달성할 수 있습니다. 레이크하우스 협업 플랫폼을 발전시킬 새로운 기능을 발표하게 되어 기쁘게 생각합니다. 새로운 파트너와 함께 Delta Sharing 에코시스템을 확장하고, 데이터브릭스 Marketplace를 정식 출시하며, AWS의 Private Preview에서 데이터브릭스 Clean Room을 제공한다는 소식을 전하게 되어 기쁩니다.

Delta Sharing을 통한 데이터 공유 가속화

2년 전 우리는 오픈 소스 Delta Sharing 프로젝트를 시작했습니다. 안전한 데이터 공유를 위한 업계 최초의 개방형 프로토콜입니다. 출시 이후 많은 조직에서 델타 공유를 채택하고 있습니다. 6,000개 이상의 조직이 델타 공유를 사용하여 데이터를 소비하고 있습니다. 매일 300페타바이트 이상의 데이터가 데이터브릭스에서 델타 공유를 통해 공유되고 있습니다. 이는 조직 전체에서 읽고 처리되는 데이터입니다. 다른 많은 공급업체 솔루션은 사용자를 가두는 반면, 델타 공유를 사용하는 고객들은 놀라운 추진력을 경험하고 있습니다. 기업은 개방형 델타 공유 프로토콜을 지원하는 모든 플랫폼 또는 공급업체의 데이터를 공유하고 활용할 수 있습니다. 델타 공유를 기반으로 하는 개방형 접근 방식을 통해 조직은 데이터를 더 빠르게 활용하고 인사이트를 더 빨리 발견할 수 있습니다.

우리는 데이터브릭스에서 Cloudflare, Dell, Oracle, Twilio 등 새로운 파트너와 함께 Delta Sharing 에코시스템을 확장하여 이들 플랫폼, 데이터브릭스, 아파치 스파크, 판다, 파워BI, 엑셀 및 기타 개방형 프로토콜을 지원하는 모든 시스템 간에 데이터를 원활하게 공유할 수 있게 되었음을 발표하게 되어 기쁩니다.

데이터브릭스 Marketplace 정시 출시!

Delta Sharing을 기반으로 구축된 다른 협업 기능으로는 데이터브릭스 Marketplace가 있습니다. 최근 데이터브릭스 Marketplace의 Public Preview를 발표했으며, 오늘 데이터브릭스 마켓플레이스의 정식 출시를 발표하게 되어 기쁩니다.

많은 클라우드 제공업체가 데이터 마켓플레이스를 제공하고 있지만, 데이터 제공업체에 문의한 결과 한계에 부딪힌다고 답했습니다:

마켓플레이스는 특정 클라우드 또는 특정 데이터 웨어하우스에 대해 폐쇄적입니다.
데이터로만 제한되거나 간단한 애플리케이션으로 제한될 수 있습니다.
데이터를 전송하려면 ETL 또는 독점적인 전송 메커니즘을 사용해야 합니다.

데이터브릭스 마켓플레이스는 데이터 솔루션을 위한 오픈 마켓플레이스이므로 Delta Sharing을 읽을 수 있는 고객이라면 누구나 마켓플레이스에 액세스할 수 있습니다. 이는 공급자가 더 많은 사용자에게 다가갈 수 있는 큰 이점이 있습니다. 소비자 입장에서는 데이터 집합 그 이상을 쉽게 발견할 수 있고, 자산에 노트북과 시각화가 포함되어 있어 데이터 제품을 더 빨리 평가할 수 있으며, 데이터브릭스 고객이 아니어도 마켓플레이스를 이용할 수 있습니다. 진정으로 개방적입니다.

현재 사용 가능한 Databricks Marketplace를 사용하면 공개 마켓플레이스 또는 비공개 거래소에서 데이터 세트와 노트북을 포함한 데이터 자산을 공유하고 교환할 수 있습니다. 데이터브릭스 마켓플레이스는 데이터브릭스 비사용자에게도 열려 있습니다.

데이터브릭스 Marketplace의 새로운 데이터 제공업체

지난 몇 달 동안 다양한 업계에 걸쳐 파트너를 지속적으로 늘려왔으며, 현재 오픈 마켓플레이스에서 수백 개의 리스팅을 살펴볼 수 있습니다. 또한, 데이터브릭스 마켓플레이스는 다양한 업계의 출시 데이터 제공업체를 추가로 환영합니다:

금융 서비스: S&P Global, Experian, London Stock Exchange Group, Corelogic, YipitData, Morningstar, and Bloomberg Government
헬스케어 및 바이오 관련: IQVIA, Definitive Healthcare, Datavant, and Ontada
지리공간: Foursquare, Divirod, Accuweather Veraset, Safegraph, and Carto
광고 및 마케팅: LiveRamp, Acxiom
비즈니스 정보 서비스: LexisNexis and ZoomInfo
도/소매: Circana (fka IRI)

“AI 및 고급 분석의 도입이 증가함에 따라, 고객이 더 빠르게 인사이트를 얻을 수 있도록 지원하기 위해 데이터브릭스와의 파트너십을 체결하게 되어 기쁩니다. 이번 협력은 실시간 통합 데이터 액세스를 통해 비즈니스의 역량을 강화하고, 협업을 촉진하며, 금융 산업 및 그 밖의 분야에서 향상된 분석 및 정량적 의사 결정 능력을 촉진하는 것을 목표로 합니다..”
— Stuart Brown, London Stock Exchange 기업 데이터 솔루션 총괄

Databricks Open Marketplace — "데이터브릭스 오픈 Marketplace"

출시 예정: AI 모델 공유 기능

또한 데이터브릭스는 데이터브릭스 Marketplace에서 AI 모델 공유를 제공하여 데이터 소비자와 공급자가 AI 모델을 발견하고 수익을 창출하며 모든 데이터 솔루션에 AI를 통합할 수 있도록 지원할 것입니다. AI 모델 공유를 통해 데이터브릭스 고객은 동급 최고의 모델에 액세스할 수 있으며, 이를 데이터에 빠르고 안전하게 적용할 수 있습니다. 데이터브릭스 자체에서 명령어 팔로잉 및 텍스트 요약과 같은 일반적인 사용 사례에 대한 오픈 소스 모델을 큐레이팅 및 게시하고, 데이터브릭스에서 이러한 모델의 튜닝 또는 배포를 최적화할 것입니다. 데이터브릭스 Marketplace의 AI 모델 공유는 내년에 미리 보기로 제공될 예정입니다.

출시 예정: 데이터브릭스 Marketplace의 레이크하우스 앱

데이터 및 AI 어플리케이션은 가장 빠르게 성장하는 소프트웨어 범주 중 하나이며, 생성형 AI와 대규모 언어 모델(LLM)의 성장으로 이러한 추세가 더욱 가속화되고 있습니다. 고객에게 레이크하우스 앱은 레이크하우스에서 데이터의 가치를 최대한 활용하고, 데이터브릭스 네이티브 서비스를 활용하며, 새로운 기능으로 데이터브릭스를 확장하는 어플리케이션을 실행할 수 있는 가장 안전한 방법이 될 것입니다. 레이크하우스 앱은 사용자가 다양하고 혁신적인 새 어플리케이션에 안전하고 쉽게 액세스하고 데이터 및 AI 어플리케이션을 채택, 통합, 관리하는 데 드는 시간과 노력을 줄일 수 있도록 지원합니다.

레이크하우스 앱은 데이터브릭스 플랫폼용 어플리케이션을 빌드, 배포 및 관리하는 새로운 방법입니다. 개발자는 레이크하우스 앱을 데이터브릭스 Marketplace에 등록하여 더 쉽게 배포할 수 있으며, 고객은 소프트웨어를 빠르게 검색하고 배포할 수 있습니다. 레이크하우스 앱의 데이터브릭스 Marketplace는 내년에 프리뷰 버전이 출시될 예정입니다.

데이터브릭스 Clean Room과 개인 정보 보호 협업

오늘 우리는 AWS에서 데이터브릭스 Clean Room Private Preview를 발표하게 되어 기쁘게 생각합니다. 데이터 클린룸은 각 데이터 세트의 조인 및 처리를 허용하는 동시에 어느 쪽도 서로의 원시 데이터 또는 경우에 따라 독점 패키지나 AI 모델에 직접 액세스하거나 가시성을 확보하지 못하도록 함으로써 조직 간에 안전하고 격리된 협업을 가능하게 합니다.

데이터브릭스 Clean Room은 기업이 모든 클라우드에서 고객 및 파트너와 협업할 수 있는 안전한 환경을 제공하며 유연성, 확장성, 상호 운용성을 우선시합니다. 다른 솔루션과 달리 데이터브릭스 Clean Room은 조인과 같은 간단한 분석 워크로드뿐만 아니라 머신 러닝과 같은 복잡한 계산도 수행할 수 있도록 여러 언어(SQL, R, Scala, Java, Python)를 지원합니다. 여러 공동 작업자와의 협업을 위한 확장성을 제공하여 여러 공급업체를 관리할 필요성을 줄여줍니다. 개방형 Delta Sharing을 기반으로 구축되어 데이터 복제나 플랫폼 종속 없이 안전하게 데이터를 공유할 수 있으며, 단순한 데이터 공유에서 안전한 공동 컴퓨팅으로 진화합니다.