주요 컨텐츠로 이동

Databricks 워크플로우

데이터 인텔리전스 플랫폼의 데이터, 분석 및 AI를 위한 통합 오케스트레이션

Databricks Workflows는 Databricks 데이터 인텔리전스 플랫폼과 완전히 통합된 관리형 오케스트레이션 서비스입니다. Workflows를 사용하면 ETL, 분석 및 머신 러닝 파이프라인에 대한 멀티태스크 워크플로우를 간편하게 정의, 관리, 모니터링할 수 있습니다. 데이터 팀은 다양한 지원 작업 유형, 심층적인 관측 기능 및 높은 안정성을 기반으로 모든 파이프라인을 보다 효과적으로 자동화 및 오케스트레이션하고 생산성을 높일 수 있습니다.

Simple Authoring

Whether you’re a data engineer, a data analyst or a data scientist, easily define workflows with just a few clicks or use your favorite IDE.

Actionable Insights

Get full visibility into each task running in every workflow and get notified immediately on issues that require troubleshooting.

Proven Reliability

Having a fully managed orchestration service means having the peace of mind that your production workflows are up and running. With 99.95% uptime, Databricks Workflows is trusted by thousands of organizations.

어떻게 작동하나요?

Workflows Marketecture

Databricks 데이터 인텔리전스 플랫폼과 통합

프로덕션 안정성

심층적인 모니터링 및 관측 기능

배치 및 스트리밍

효율적인 컴퓨팅

매끄러운 사용자 경험

workflows

Databricks 데이터 인텔리전스 플랫폼과 통합

외부 오케스트레이션 도구와 달리 Databricks Workflows는 Databricks 데이터 인텔리전스 플랫폼과 완전히 통합됩니다. 따라서 워크스페이스에서 기본 워크플로우 작성이 가능하고 Delta Live Table 파이프라인, Databricks 노트북Databricks SQL 쿼리를 비롯한 모든 플랫폼 기능을 자동화할 수 있습니다. Unity Catalog를 사용하면 모든 워크플로우의 데이터 리니지를 자동화할 수 있으므로 전사적으로 모든 데이터 자산을 계속 제어할 수 있습니다. 

reliability at scale

안정성 극대화

매일 수천 개의 조직이 99.95%의 가동 시간을 보장하는 Databricks Workflows를 신뢰하여 AWS, Azure 및 GCP에서 수백만 개의 프로덕션 워크로드를 실행합니다. 완전 관리형 오케스트레이션 도구를 데이터 인텔리전스 플랫폼에 내장했기 때문에 오케스트레이션을 위해 별도의 도구를 유지 관리 또는 업데이트하거나 문제를 해결할 필요가 없습니다.

deep monitoring and observability

심층적인 모니터링 및 관측 기능

데이터 인텔리전스 플랫폼과 완전히 통합된 Databricks Workflows는 모든 외부 오케스트레이션 도구보다 개선된 관측 기능을 제공합니다. 모든 워크플로우 실행을 완벽하게 파악하여 빈틈없이 관리하고 장애 발생 시 팀이 이메일, 슬랙, PagerDuty 또는 맞춤형 웹후크를 통해 알림을 받도록 알림 설정하여 데이터 소비자가 영향을 받기 전에 신속하게 문제를 해결할 수 있습니다.

batch and streaming

배치 및 스트리밍

Databricks Workflows는 데이터 인텔리전스 플랫폼에서 모든 시나리오의 작업을 오케스트레이션하는 단일 솔루션을 제공합니다. 미리 설정된 시간에 배치 수집을 수행하는 반복 작업에 예약된 워크플로우 실행을 사용하거나 지속적으로 실행되는 실시간 데이터 파이프라인을 구현합니다. 파일 도착 트리거를 사용하여 새 데이터가 제공될 때 실행할 워크플로우를 설정할 수도 있습니다.

efficient compute

효율적인 컴퓨팅

Databricks Workflows로 오케스트레이션하면 자동화된 프로덕션 워크로드의 가격 대비 성능을 개선할 수 있습니다. 미사용 리소스에 대한 비용을 지불하지 않도록 작업이 예약된 경우에만 실행되고 비용이 더 저렴한 자동화된 작업 클러스터를 활용하여 비용을 상당히 절감할 수 있습니다. 이외에도 공유 작업 클러스터를 사용하면 여러 작업에 컴퓨팅 리소스를 재사용할 수 있으므로 리소스 활용도를 최적화할 수 있습니다.

workflows

매끄러운 사용자 경험

원하는 환경에서 워크플로우를 정의하고 원하는 IDE를 사용하거나 Databricks Workspace UI에서 바로 워크플로우를 간편하게 만들 수 있습니다. Databricks Repo 또는 원격 Git 리포지토리에서 버전 제어 노트북을 사용하는 작업을 정의하고 DevOps 모범 사례(예: CI/CD)를 준수합니다.

통합

FAQ

Discover more

Delta Live Tables

Delta Live Tables
Data Streaming

Data Streaming
Unity Catalog

Unity Catalog
Notebooks

Notebooks
Machine Learning

Machine Learning
Databricks SQL

Databricks SQL

시작할 준비가 되셨나요?