데이터 공유

데이터 공유의 유형은 무엇인가요?

데이터 공유에는 조직 내부 공유, 조직 외부 공유, 일대일 공유, 다수의 수신자와 공유, 공개 공유, 개인 공유 등 다양한 유형이 있습니다. 회사들은 공개 또는 사적 데이터 마켓플레이스를 사용하여 데이터 공유 및 협업을 향상시키고, 개인 식별 정보(PII)와 같은 민감한 데이터를 위한 개인정보 보호 데이터 클린룸을 사용할 수 있습니다.

데이터 공유의 어려움은 무엇인가요?

데이터 공유는 현대 비즈니스에 필수적이지만, 이는 도전적일 수 있습니다. 이러한 도전 중 가장 중요한 것은 보안입니다. 올바른 데이터를 올바른 사람들에게 올바른 맥락에서만 공유하는 것은 전략적인 정책, 효과적인 도구, 그리고 일관되게 따라야 하는 의도적인 프로세스를 필요로 합니다. 데이터 거버넌스 - 특정 규정에 따라 데이터를 사용하는 것을 보장하는 것 - 또한 도전 과제입니다. 또한, 여러 시스템을 관리하고 레거시 또는 독점적인 솔루션을 관리하는 등의 기술적이고 구조적인 데이터 관리 문제는 효율적이고 효과적인 데이터 공유의 길을 막을 수 있습니다.

조직에서 데이터 공유의 이점은 무엇인가요?

데이터 공유는 데이터 중심의 비즈니스 모델의 진화에 있어 중요합니다. Gartner는 2024년까지 데이터 공유를 촉진하는 조직이 대부분의 비즈니스 가치 지표에서 동료들을 앞설 것이라고 예측합니다. 데이터 공유는 데이터 사일로를 제거하여 조직 내에서 더 큰 효율성과 투명성을 제공하고, 파트너와의 협업을 증가시킵니다. 또한 데이터 공유는 조직에게 성능을 향상시키는 데 도움이 되는 새로운 그리고 더 빠른 인사이트를 제공합니다. 마지막으로, 데이터 공유는 조직이 새로운 데이터 제품이나 서비스를 제공함으로써 수익 흐름의 가능성을 제공합니다.

기존의 데이터 공유 기술

SFTP(보안 파일 전송 프로토콜), 이메일, 또는 API(응용 프로그래밍 인터페이스)와 같은 레거시 기술은 온-프레미스와 클라우드 모두에서 작동하는 벤더 중립적인 홈그로운 솔루션의 구현을 허용합니다. 그러나 이들은 종종 관리하고 유지하는 데 비용이 많이 들며, 현대 데이터 요구 사항이 발전함에 따라 보안하고 관리하기가 점점 더 어려워집니다. 이러한 솔루션을 사용하면 데이터 공유가 복잡하고 시간이 많이 소요되며, 대규모 데이터 세트를 수용하기 위해 확장되지 않습니다.

클라우드 객체 저장소는 그 스케일링이 무제한 데이터 성장을 지원하기 때문에 클라우드에 잘 맞습니다. 이는 널리 사용되며, 저렴하고, 신뢰할 수 있지만, 단점도 있습니다. 예를 들어, 수신자는 데이터에 접근하기 위해 동일한 클라우드에 있어야 하며, 보안 및 거버넌스 프로세스는 복잡할 수 있습니다. 또한, 클라우드 저장소를 통한 대량의 데이터 공유는 시간이 많이 걸리며, 번거롭고, 확장하기 거의 불가능합니다.

상업/폐쇄적 소스 데이터 공유 서비스

데이터 공유 솔루션은 Oracle, Amazon Redshift 또는 Snowflake와 같은 벤더 제품에 내장되어 있습니다. 이러한 솔루션들은 제품 내에서 사용하기 편리하며, 같은 플랫폼을 사용하는 모든 사람들과 쉽게 데이터를 공유할 수 있게 해줍니다. 그러나, 사용자들은 경쟁 솔루션의 사용자들과 데이터를 공유할 수 없으며 벤더들은 종종 확장성을 제한합니다. 이러한 솔루션을 사용하면 데이터를 플랫폼에 로드해야 하며, 이는 추출, 변환 및 로드 (ETL)를 필요로 하고 데이터 복사본을 생성합니다. 이러한 모든 제한은 복잡성을 생성하고, 버전 관리 문제를 일으키며, 다른 클라우드 플랫폼에서 데이터를 공유하는 데 더 높은 비용을 발생시킵니다.

최신 오픈 소스 데이터 공유 솔루션

오늘날의 때때로 복잡한 인프라와 여러 플랫폼이 있는 현실에서, 오픈 소스 데이터 공유 솔루션을 가지는 것은 귀중한 유연성을 제공할 수 있습니다. 오픈 소스 기반 솔루션은 상업적 솔루션에 종속될 필요가 없으며, 커뮤니티에서 인기 있는 오픈 소스 데이터 처리 프레임워크와의 통합을 개발하는 등 더 많은 장점이 있습니다. 오픈 프로토콜은 BI 도구와 같은 상업용 클라이언트의 쉬운 통합을 가능하게 합니다.

데이터 마켓플레이스

데이터 마켓플레이스 는 데이터 공유와 데이터 수익화를 가능하게 하며, 데이터 공유와 협업에서 중요한 도구입니다. 마켓플레이스는 다음과 같은 다양한 형태를 취할 수 있습니다:

• 회사 내부에서 데이터를 공유하기 위한 내부 데이터 마켓플레이스
• 신뢰할 수 있는 파트너와 데이터를 공유하기 위한 개인 데이터 마켓플레이스
• 데이터 제공자와 소비자를 연결하는 공공 데이터 마켓플레이스

공개 데이터 마켓플레이스는 참가자들에게 데이터 및 관련 서비스를 안전한 환경에서 직접 데이터 제공자로부터 고품질과 일관성을 제공하며 사고 팔 수 있는 기회를 제공합니다. 회사들은 기존 데이터를 풍부하게 하기 위해 제3자 데이터를 획득하거나, 새로운 데이터 제품과 서비스를 제공하고 화폐화할 수 있는 마켓플레이스를 사용할 수 있습니다.

데이터 클린룸

데이터 클린룸 은 기업이 고객 및 파트너와 어떤 클라우드에서든 안전하고 관리되는 환경에서 쉽게 협업할 수 있게 합니다. 데이터 클린 룸 내에서는 여러 참가자가 자신의 첫 번째 파티 데이터를 결합하고 데이터를 다른 참가자에게 노출시키는 위험 없이 데이터 분석을 수행할 수 있습니다. 참가자들은 자신의 데이터에 대한 완전한 통제권을 가지고 있으며, PII와 같은 민감한 데이터를 노출하지 않고 자신의 데이터에 대한 분석을 수행할 수 있는 참가자를 결정할 수 있습니다.

Delta Sharing

Delta Sharing은 안전한 데이터 공유를 위한 업계 최초의 오픈 프로토콜로, 사용하는 컴퓨팅 플랫폼 종류에 구애받지 않고 다른 기관과 간단하게 데이터를 공유할 수 있게 해줍니다.

• 직접 라이브 데이터 공유 — 다른 시스템에 복사할 필요 없이 Delta Lake에 기존 라이브 데이터를 쉽게 공유할 수 있습니다.
• 다양한 클라이언트 지원 — 데이터 수신자는 먼저 특정 컴퓨팅 플랫폼을 배포하지 않고도 Pandas, Apache Spark™, Rust 및 기타 시스템에서 Delta Shares에 직접 연결할 수 있습니다. 데이터를 사용자에게 제공하는 마찰이 줄어듭니다.
• 보안 및 거버넌스 — ​​Delta Sharing을 사용하면 데이터 접근을 쉽게 관리하고, 추적하고, 감사할 수 있습니다.
• 확장성 — S3, ADLS, GCS 등의 클라우드 스토리지 시스템을 활용하여 대규모 데이터 세트를 안정적이고 효율적으로 공유합니다.

Databricks 기반 Delta Sharing

Databricks는 Unity Catalog에서 Delta Sharing과 기본으로 통합되며, 조직 내부와 전반에서 데이터를 공유하기 위한 간소화된 환경을 제공합니다. 수신자는 Databricks 플랫폼, 동일한 클라우드, 또는 클라우드에 있을 필요가 없습니다.

Delta Sharing은 여러 가지 주요 이점을 제공합니다, 이에는:

• 개방적이 플랫폼 간 공유
• 복제 없는 실시간 데이터 공유
• 중앙 집중형 거버넌스
• AI 모델, 대시보드, 노트북을 포함한 데이터 제품을 더 유연하게 공유할 수 있는 능력
• 비용 절감
• 가치 실현 시간 감소

Delta Sharing은 계속 성장하는 오픈 소스 및 상업 파트너의 개방적인 생태계 입니다. Databricks는 최근 Cloudflare, Dell, Oracle 및 Twilio를 포함하여 Delta Sharing 파트너십을 확장 하였습니다.

Databricks에서 데이터 공유에 대해 자세히 알아보기

Delta Sharing을 통해, 플랫폼, 클라우드, 지역 간에 데이터를 쉽고 안전하게 공유할 수 있습니다. Delta Sharing은 이미 다양한 산업 분야의 회사들에 대한 데이터 공유 활동을 변화시키고 있습니다. 오늘 시작하세요 Databricks Delta Sharing과 함께.