Databricks Private Exchanges를 이용하여 프라이빗 데이터 공유의 잠재력 활용하기

모든 데이터브릭스 고객들이 프라이빗 거래소를 쉽게 만들 수 있는 Databricks Marketplace의 흥미로운 새 기능을 발표하게 되어 기쁘게 생각합니다. 이 기능을 사용하면 프라이빗 거래소 제공자가 되는 것이 그 어느 때보다 쉬워집니다.

이 블로그 게시물에서는 Databricks Marketplace 의 프라이빗 거래소 기능에 대해 자세히 알아볼 것입니다. 퍼블릭 마켓플레이스와 프라이빗 거래소 등 다양한 거래소 메커니즘을 비교하고, 프라이빗 거래소 제공자가 되는 과정을 간소화하는 신규 기능에 대해 살펴봅니다.

프라이빗 거래소와 퍼블릭 마켓플레이스 비교

진화하는 Data Sharing 및 수익화 환경에서 기업은 데이터와 AI 모델을 배포할 수 있는 다양한 방법이 있습니다. 각 방법은 뚜렷한 장점을 제공하며 서로 다른 전략적 요구 사항을 충족합니다. 아래에서는 퍼블릭 마켓플레이스와 프라이빗 거래소의 두 가지 시나리오를 간략하게 설명하고 고객이 특정 요구 사항과 목표에 따라 이러한 옵션을 선택하는 방법을 보여드리겠습니다.

퍼블릭 마켓플레이스:

제가 DataVendorCo이고, 데이터 또는 AI 모델을 광범위한 대중에게 공유하거나 라이선스를 부여하여 수익을 창출하고 싶다고 가정해 보겠습니다. 퍼블릭 마켓플레이스 제공자가 되어 Databricks Marketplace와 같은 퍼블릭 마켓플레이스에서 내 자산을 공유하면 10,000명 이상의 Databricks 고객이 내 데이터 제품을 검색하고 사용할 수 있습니다.

프라이빗 거래소:

프라이빗 거래소는 몇 가지 사용 사례에서 유용합니다.

먼저, 제가 다양한 대상에게 데이터셋을 제공하는 동일한 DataVendorCo라고 가정해 보겠습니다. 특정 고객에게 고객의 필요와 요구 사항에 맞게 맞춤화된 데이터셋을 제공해야 하는 경우가 많습니다. 이를 위해 프라이빗 거래소를 사용하여 특정 고객에게 맞춤화된 비공개 목록을 사용하여 사용자 지정 데이터셋을 제공할 수 있습니다.

이와는 별도로 제가 여러 자회사를 거느린 다국적 대기업인 RetailCo라고 가정해 보세요. 더 넓은 세상에 내 데이터를 라이선스하거나 수익을 창출하고 싶지는 않지만 파트너 소매업체, 공급업체, 유통업체 등 외부 파트너의 프라이빗 네트워크와 데이터를 안전하게 공유하고 싶습니다 . 또한 마켓플레이스형 사용자 인터페이스를 통해 여러 자회사 간에 데이터를 공유하고, 소비자가 필요에 따라 콘텐츠를 원활하게 검색할 수 있는 기능을 제공하고자 할 수도 있습니다. 이러한 목적을 위해 프라이빗 거래소를 만들 수 있을 것입니다.

이제 다음 섹션에서 프라이빗 거래소에 대해 자세히 알아보겠습니다.

프라이빗 거래소를 사용하여 엔터프라이즈 데이터 및 분석 허브 만들기

이전 섹션에서는 퍼블릭 마켓플레이스와 프라이빗 거래소를 비교했습니다. 퍼블릭 마켓플레이스의 한 예는 Databricks Marketplace 입니다. 모든 데이터, 분석 및 AI 요구 사항을 위한 개방형 마켓플레이스이며, 개방형 Delta Sharing 프로토콜에 의해 구동되며 Unity Catalog 에서 관리합니다. Databricks Marketplace 에서는 데이터셋, AI 모델, 솔루션 액셀러레이터 등 다양한 데이터 자산을 공유하고 협업할 수 있도록 데이터 소비자와 데이터 공급자로 구성된 방대한 에코시스템이 통합되어 있습니다.

2023년 4분기에 우리는 Databricks Marketplace 내에 프라이빗 거래소 기능을 출시했습니다. Databricks Marketplace 내의 프라이빗 거래소를 사용하면 데이터 제공자가 특정 데이터와 AI 제품을 조직 외부의 지정된 소비자 그룹만 검색할 수 있도록 할 수 있습니다. 또한 Databricks 고객은 외부 파트너 또는 자회사와 안전하게 데이터를 교환할 수 있습니다. 프라이빗 거래소는 데이터 상품을 요청하고 액세스하기 위한 상점 인터페이스를 통해 상품의 가시성(누가 볼 수 있는지)과 액세스(누가 사용할 수 있는지)를 제어할 수 있습니다.

다음은 Databricks 고객이 프라이빗 거래소의 혜택을 누릴 수 있는 두 가지 예시입니다.

Peer-to-peer 공유: 한 이커머스 기업이 온라인 판매 동향을 예측하는 AI 모델을 개발했습니다. 그들은 이 모델을 오프라인 소매 체인과 공유하기 위해 프라이빗 거래소를 만들었습니다. 이 소매 체인은 이 AI 모델을 활용하여 매장 내 판매을 예측함으로써 재고 및 인력 수준을 효과적으로 최적화할 수 있습니다.

산업간 협업: 예를 들어, 제조업체가 프라이빗 거래소를 설립하여 1차 및 2차 공급업체와 생산 데이터를 공유할 수 있습니다. 프라이빗 거래소는 검색 및 목록 관리를 위한 마켓플레이스 유형의 UI를 제공하여 신규 공급업체가 사용 가능한 데이터를 쉽게 찾을 수 있도록 지원합니다.

각 거래소는 공유되는 기본 데이터 및 AI 제품을 나타내는 리스팅 셋들과 연결할 수 있습니다. 이러한 리스팅에는 코드 샘플과 시각화를 제공하는 관련 노트북을 비롯한 풍부한 메타데이터가 포함되어 있습니다. 리스팅은 '즉시 사용 가능(instantly available)' 또는 '승인 필요(gated)'으로 설정할 수 있으며, 소유자는 누가 어떤 제품에 액세스할 수 있는지 결정할 수 있는 완전한 자율권을 갖습니다. 제품 주문 처리는 Delta Sharing 및 거버넌스를 위한 Unity Catalog 을 통해 이루어집니다.

John Snow Labs 는 의료 및 생명 과학 조직이 AI 기반 프로젝트를 개발, 배포 및 관리할 수 있도록 설계된 포괄적인 소프트웨어, 모델 및 데이터 리소스 제품군을 제공합니다. John Snow Labs 는 Databricks Marketplace에서 60개 이상의 AI 모델을 제공하는 퍼블릭 제공업체입니다. 이들은 프라이빗 거래소 기능을 활용하여 특정 데이터 소비자 그룹에 맞춤형 AI 모델을 배포했습니다. 프라이빗 거래소의 장점에 대한 자세한 내용은 John Snow Labs 에서 확인할 수 있습니다.

" Databricks Marketplace 은 누구나 세계적 수준의 데이터셋과 AI 모델에 액세스할 수 있도록 하겠다는 우리 John Snow Labs의 사명과 완벽하게 일치합니다. 프라이빗 거래소 기능은 이를 완전히 새로운 차원으로 끌어 올립니다. 우리는 이미 이 솔루션이 조직 간에 AI 모델을 안전하게 P2P 교환할 수 있도록 촉진하는 것을 직접 확인했으며, 더 많은 고객이 엄격한 제어와 개인 정보를 유지하면서 가치 있는 AI 기능을 공유하게 될 혁신적인 영향력을 기대합니다" - David Talby, CTO, John Snow Labs.

프라이빗 거래소의 작동 방식과 조직 내부 및 조직 간 협업에 어떻게 사용할 수 있는지 자세히 설명하는 이 데모 동영상을 확인하세요.

제품 내 프라이빗 거래소 공급자 온보딩 기능 이해하기

데이터브릭스 마켓플레이스에서 공개 거래소 제공업체가 되기 위한 과정에는 고객에게 데이터를 널리 제공하고 데이터의 정확성과 품질을 보장하기 위한 세심한 승인 절차가 포함되어 있습니다. 엄격한 품질 관리를 시행하여 엄격한 기준을 충족하는 공급업체만 참여할 수 있도록 제한하고 있습니다.

퍼블릭 제공업체에 대한 높은 기준을 유지하는 한편, 퍼블릭 지위를 원하지 않는 데이터 제공업체와 고객을 위해 절차를 간소화하기 위해 노력하고 있습니다. 우리의 목표는 데이터 제공자가 특정 사용자 그룹과 데이터셋 및 AI 모델을 쉽게 공유할 수 있도록 프라이빗 거래소의 진입 장벽을 낮추는 것입니다.

새로운 온보딩 기능을 통해 이제 기업은 마켓플레이스 퍼블릭 공급자 온보딩 절차를 거치지 않고도 프라이빗 거래소 공급자가 될 수 있습니다. 이제 프라이빗 거래소 공급자 약관에 동의하고 셀프 서비스 방식으로 제품 내에서 직접 설정을 완료할 수 있습니다. 이러한 개선은 속도, 사용 편의성, 접근성, 낮은 진입 장벽 등 여러 가지 이점을 제공합니다.

프라이빗 거래소 제공업체로 등록하는 과정을 안내하는 데모 동영상을 확인하세요.

제품 내에서 프라이빗 거래소 공급자 시작하기

계정 관리자(account admin)로서 이 새로운 기능을 살펴보려면 제품 내 Databricks Marketplace 섹션을 방문하여 프라이빗 거래소 제공자를 위해 안내된 온보딩 절차를 따르세요.

https://docs.databricks.com/en/marketplace/get-started-provider.html#sign-up-as-a-private-exchange-provider

제품 내 새로운 프라이빗 거래소 공급자 온보딩 기능은 이러한 노력의 증거입니다.

Databricks Marketplace 팀은 새로운 기능에 대해 큰 기대를 하고 있습니다. 고객이 마켓플레이스 퍼블릭 공급자 온보딩 프로세스를 거치지 않고도 프라이빗 거래소 공급자가 될 수 있도록 절차를 대폭 간소화했습니다. 이를 통해 데이터브릭스 팀의 수동 개입 없이도 온보딩 프로세스를 스스로 완료할 수 있습니다.

고객들이 프라이빗 거래소를 셋업하여, 조직 내부 및 조직 전체에서 제어되고 안전한 Data Sharing 여정을 시작할 수 있기를 기대합니다.

(번역: Youngkyong Ko)  Original Post