Databricks Data Intelligence Platform은 데이터 스트리밍을 대폭 단순화하여 실시간 분석, 머신 러닝, 애플리케이션을 하나의 플랫폼에서 제공합니다.
데이터 팀이 이미 알고 있는 언어와 도구로 스트리밍 데이터 워크로드를 구축할 수 있도록 지원합니다. 실시간 데이터 워크로드 구축 및 관리와 관련된 프로덕션 측면을 자동화함으로써 개발 및 운영을 단순화합니다. 스트리밍 및 배치 데이터에 단일 플랫폼을 사용하여 데이터 사일로를 제거합니다.
자동화된 툴링으로 운영 단순화
프로덕션에서 실시간 파이프라인 및 애플리케이션을 손쉽게 배포하고 관리할 수 있습니다. 자동화된 툴링은 작업 오케스트레이션, 내고장성/복구, 자동 체크포인팅, 성능 최적화, 자동 확장을 단순화합니다.
클라우드에서 모든 실시간 데이터에 대한 거버넌스 통합
Unity Catalog는 레이크하우스에 모든 스트리밍 및 배치 데이터에 대한 하나의 일관적 거버넌스 모델을 제공하며, 실시간 데이터를 발견, 액세스 및 공유하는 방법을 단순화합니다.
어떻게 작동하나요?
스트리밍 데이터 수집 및 변환
실시간 분석, ML 및 애플리케이션
자동화된 운영 툴 링
차세대 스트림 처리 엔진
통합 거버넌스 및 스토리지
스트리밍 데이터 수집 및 변환
Delta Live Tables을 사용하여 스트리밍 데이터 파이프라인에 대한 데이터 입력 및 ETL을 단순화합니다. 데이터 엔지니어링에 대한 간단한 선언적 접근법을 활용하여 SQL 및 Python 등과 같이 이미 알고 있는 언어와 도구를 팀에 지원할 수 있습니다. 제어가 가능한 자동 새로 고침 설정으로 한 곳에서 배치 및 스트리밍 파이프라인을 구축하여 실행하면, 시간을 절약하고 운영 복잡성을 낮출 수 있습니다. 데이터를 전송할 장소가 어디든, Databricks 레이크하우스 플랫폼에 스트리밍 데이터 파이프라인을 구축하면 원시 데이터를 정리하는 데 시간을 낭비할 필요가 없습니다.
"예전에는 불가능했던 셀프 서비스 방식으로 플랫폼을 사용하는 사업부가 점점 늘어났습니다. Databricks가 Columbia에 일으킨 긍정적 영향은 입이 닳도록 말해도 모자랍니다."— Columbia Sportswear 선임 엔터프라이즈 데이터 관리자 Lara Minor
실시간 분석, ML 및 애플리케이션
스트리밍 데이터를 사용하면 분석 및 AI의 정확도와 실천 가능성을 즉시 개선할 수 있습니다. 비즈니스는 스트리밍 데이터 파이프라인의 다운스트림 효과로 실시간 인사이트를 활용할 수 있습니다. SQL 분석, BI 보고, ML 모델 훈련 또는 실시간 운영 애플리케이션 구축을 수행하는 경우에도 비즈니스에 가장 신선한 데이터를 제공함으로써 실시간 인사이트, 더욱 정확한 예측, 더욱 빠른 의사결정을 얻어 경쟁에 앞설 수 있습니다.
“저희는 항상 언제나 가장 정확한 최신 데이터를 비즈니스 파트너에게 제공해야 합니다. 그렇지 않으면 인사이트에 대한 신뢰를 잃을 테니까요. . . Databricks 레이크하우스 덕분에 이전에는 불가능했던 일이 지금은 매우 손쉬워졌습니다.”— Guillermo Roldán, 아키텍처 책임자, LaLiga Tech
자동화된 운영 툴링
스트리밍 데이터 파이프라인을 구축하고 배포하는 동안 Databricks는 프로덕션에 필요한 다수의 복잡한 운영 작업을 자동화할 수 있습니다. 여기에는 기본 인프라의 자동 확장, 파이프라인 종속성의 오케스트레이션, 오류 처리와 복구, 성능 최적화 등이 포함됩니다.Enhanced Autoscaling는 각각의 고유한 워크로드에 컴퓨팅 리소스를 자동으로 할당함으로써 클러스터 활용을 최적화합니다. 이들 기능을 자동 데이터 품질 테스트 및 예외 관리와 함께 사용하면 운영 툴링을 구축 및 관리하는 데 사용하는 시간을 줄이고 데이터에서 가치를 창출하는 데 집중할 수 있습니다.
차세대 스트림 처리 엔진
Spark Structured Streaming은 Databricks 레이크하우스 플랫폼에서 데이터 스트림을 지원하는 핵심 기술이며, 배치 및 스트림 처리를 위한 통합 API를 제공합니다. Databricks 레이크하우스 플랫폼은 99.95%의 가동 시간이 검증된 관리형 서비스로 Apache Spark 워크로드를 실행하기에 최적의 장소입니다. Spark 워크로드는 Apache Spark API와 호환되는 차세대 레이크하우스 엔진인 Photon으로 가속화되며, 수천 개의 노드로 자동 확장되고 최고의 비용당 성능비를 제공합니다.
통합 거버넌스 및 스토리지
Databricks에서 데이터 스트리밍을 사용하면 레이크하우스 플랫폼의 기본 구성 요소(Unity Catalog 및 Delta Lake)를 활 용할 수 있게 됩니다. 원시 데이터는 스트리밍 및 배치 데이터를 염두에 두고 설계한 유일한 오픈 소스 스토리지 프레임워크, Delta Lake로 최적화됩니다.Unity Catalog는 하나의 일관적인 모델로 모든 데이터 및 AI 자산에 대한 세분화된 통합 거버넌스를 제공함으로써, 클라우드에서 데이터 발견, 액세스, 공유를 지원합니다. 또한, Unity Catalog는 다른 조직과 간단하고 안전하게 데이터를 공유할 수 있는 업계 최초의 오픈 프로토콜인 Delta Sharing을 지원합니다.
통합
데이터 팀에 최대의 유연성을 제공할 수 있습니다. Partner Connect 및 기술 파트너 에코시스템을 활용하여 일반적으로 사용하는 데이터 스트리밍 도구와 매끄럽게 통합해 보 세요.
