Databricks Workflows는 Databricks 레이크하우스 플랫폼과 완전히 통합된 관리형 오케스트레이션 서비스입니다. Workflows를 사용하면 ETL, 분석 및 머신 러닝 파이프라인에 대한 멀티태스크 워크플로를 간편하게 정의, 관리, 모니터링할 수 있습니다. 다양한 지원 작업 유형, 심층적인 관측 기능 및 높은 안정성을 기반으로 데이터 팀은 모든 파이프라인을 보다 효과적으로 자동화 및 오케스트레이션하고 생산성을 높일 수 있습니다.
간단한 작성
데이터 엔지니어, 데이터 애널리스트 또는 데이터 사이언티스트는 클릭 몇 번으로 워크플로를 간편하게 정의하거나 원하는 IDE를 사용할 수 있습니다.
실행 가능한 인사이트
모든 워크플로에서 실행 중인 각 작업을 완벽하게 파악하고 해결해야 할 문제에 대해 즉시 알림을 받습니다.
검증된 안정성
완전 관리형 오케스트레이션 서비스를 갖추면 프로덕션 워크플로를 안심하고 실행할 수 있습니다. 99.95%의 가동 시간이 보장되는 Databricks Workflows는 수천 개의 조직의 신뢰를 받고 있습니다.
어떻게 작동하나요?
Databricks 레이크하우스 플랫폼과의 통합
프로덕션 안정성
심층적인 모니터링 및 관측 기능
배치 및 스트리밍
효율적인 컴퓨팅
매끄러운 사용자 경험
Databricks 레이크하우스 플랫폼과의 통합
외부 오케스트레이션 도구와 달리 Databricks Workflows는 Databricks 레이크하우스 플랫폼과 완전히 통합됩니다. 따라서 워크스페이스에서 기본 워크플로 작성이 가능하고 Delta Live Table 파이프라인, Databricks 노트북 및 Databricks SQL 쿼리를 비롯한 모든 Lakehouse 기능을 자동화할 수 있습니다. Unity Catalog를 사용하면 모든 워크플로의 데이터 리니지를 자동화할 수 있으므로 전사적으로 모든 데이터 자산을 계속 제어할 수 있습니다.
안정성 극대화
매일 수천 개의 조직이 99.95%의 가동 시간을 보장하는 Databricks Workflows를 신뢰하여 AWS, Azure 및 GCP에서 수백만 개의 프로덕션 워크로드를 실행합니다. 완전 관리형 오케스트레이션 도구를 Databricks 레이크하우스 플랫폼에 내장했기 때문에 오케스트레이션을 위해 별도의 도구를 유지 관리 또는 업데이트하거나 문제를 해결할 필요가 없습니다.
심층적인 모니터링 및 관측 기능
레이크하우스 플랫폼과 완전히 통합된 Databricks Workflows는 모든 외부 오케스트레이션 도구보다 개선된 관측 기능을 제공합니다. 모든 워크플로 실행을 완벽하게 파악하여 빈틈없이 관리하고 장애 발생 시 팀이 이메일, Slack, PagerDuty 또는 맞춤형 웹후크를 통해 알림을 받도록 알림 설정하여 데이터 소비자가 영향을 받기 전에 신속하게 문제를 해결할 수 있습니다.
효율적인 컴퓨팅
Databricks Workflows로 오케스트레이션하면 자동화된 프로덕션 워크로드의 가격 대비 성능을 개선할 수 있습니다. 미사용 리소스에 대한 비용을 지불하지 않도록 작업이 예약된 경우에만 실행되고 비용이 더 저렴한 자동화된 작업 클러스터를 활용하여 비용을 상당히 절감할 수 있습니다. 이외에도 공유 작업 클러스터를 사용하면 여러 작업에 컴퓨팅 리소스를 재사용할 수 있으므로 리소스 활용도를 최적화할 수 있습니다.
통합
Databricks Workflows는 업계 선두 파트너들과 원활하게 통합되므로 원하는 데이터 솔루션으로 요구 사항을 충족하는 워크플로를 유연하게 정의할 수 있습니다.
FAQ
데이터, 분석 및 AI라는 맥락에서 오케스트레이션은 ETL 파이프라인 및 머신 러닝 모델 학습과 같은 워크플로의 자동화, 배포 및 관리를 의미합니다. 오케스트레이션은 데이터 운영의 중요한 부분을 차지하며 프로덕션에 데이터 솔루션을 공급하는 데 필수적입니다. 오케스트레이션에는 워크플로 작업 간의 종속성을 관리하고 이러한 작업의 실행을 예약하는 것뿐만 아니라 컴퓨팅 리소스 할당과 워크플로 모니터링도 포함됩니다.
