노트북, 워크플로우 및 파이프라인을 위한 서버리스 컴퓨트가 이제 Google Cloud에서 일반적으로 사용 가능합니다

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

데이터 엔지니어링 및 분석의 빠르게 변화하는 풍경에서 속도, 확장성, 간편함은 매우 중요합니다. 서버리스 컴퓨팅은 이러한 요구를 충족시키기 위해 인프라 관리의 복잡성을 제거하여, 당신이 데이터 중심의 영향력 있는 솔루션을 구축하는데 집중할 수 있게 합니다. 우리는 기쁘게도 Google Cloud에서 노트북, 워크플로우, DLT 파이프라인을 위한 서버리스 컴퓨팅이 일반적으로 사용 가능하다는 것을 발표합니다. 따라서, 사용자는 복잡한 인프라를 관리할 필요 없이 모든 주요 클라우드 플랫폼에서 분산 컴퓨팅의 이점을 누릴 수 있습니다.

Databricks 서버리스 컴퓨팅이란 무엇인가요?

Databricks의 서버리스 컴퓨트는 클러스터를 설정, 최적화 및 관리할 필요 없이 노트북, 워크플로우, 그리고 Delta Live Tables (DLT) 파이프라인을 간편하게 실행할 수 있는 확장 가능하고 안전한 실행 계층입니다. 서버리스 컴퓨트를 사용하면, 자원이 자동으로 프로비저닝되므로 다음을 수행할 수 있습니다:

• 운영 오버헤드 감소: 클러스터를 수동으로 구성하거나 관리할 필요가 없습니다.
• 성능 또는 비용 최적화: 작업에 할당될 때만 컴퓨팅 비용을 지불합니다. 현재 서버리스는 성능을 최적화합니다. 곧, 비용 최적화 모드를 선택할 수 있게 되어, 인프라를 자동으로 최적화하여 비용을 줄일 수 있습니다.
• 생산성 향상: 업무 부하를 무리 없이 확장하면서 비즈니스 문제 해결에 집중하세요.

서버리스 컴퓨트를 최대한 활용하는 방법에 대한 자세한 지침은 우리의 서버리스 컴퓨트에 대한 최선의 실천 방법을 탐색해보세요.

비용 및 사용량 모니터링

서버리스 컴퓨팅의 사용량별 결제 모델은 비용 효율적이지만, Google Cloud에서 지출을 제어할 수 있는 몇 가지 쉬운 방법도 있습니다:

• 시스템 테이블: 고비용 작업 및 사용자를 식별하기 위해 상세한 사용 데이터를 쿼리합니다.
• AI/BI 비용 대시보드: 워크스페이스, SKU, 또는 태그별 사용 트렌드를 시각화하고, 추가 분석을 위해 보고서를 다운로드합니다.
• 알림: 지출이 한도를 초과할 때 알림을 받기 위해 예산 임계값을 설정합니다.
• 예산 정책: 작업에 대한 태그 요구사항을 강제합니다.

자세한 지침은 서버리스 컴퓨팅 비용 모니터링 및 계정 지출 모니터링을 위한 예산 사용에 대한 우리의 가이드를 확인해보세요.

“Google Cloud에서의 서버리스 DLT 파이프라인은 Uplight에서의 접근 방식을 재정의하였고, 이를 통해 ETL 작업을 두 배 이상 빠르게 실행하면서 비용을 줄일 수 있었습니다. "서버리스 컴퓨팅의 사용 편의성, 자동 최적화, 효율성은 확장성을 더욱 관리하기 쉽게 만들고, 우리가 고객에게 가치를 제공하는 것을 우선시하게 합니다."

— Micaela Christopher, 데이터 과학 및 엔지니어링 디렉터, Uplight

Google Cloud는 Databricks의 가까운 파트너입니다. 엔지니어링 팀 간의 협업으로 Google Cloud의 Compute Engine과 Hyperdisk 그리고 Databricks 데이터 인텔리전스 플랫폼 간의 긴밀한 통합이 이루어졌습니다. 결과적으로 데이터와 AI 작업 부하를 위한 매우 높은 성능과 효율적인 인프라가 만들어졌습니다. Databricks 고객들은 Serverless 또는 Classic Compute를 사용하더라도 Google Cloud에서 이러한 혜택을 누릴 수 있습니다. Google Cloud에서 Databricks Serverless를 지원하는 것에 이어 곧 Google Axion 프로세서와 C4A VM에서 Databricks Classic을 완전히 지원할 예정입니다.

“우리는 Databricks Serverless Compute를 Google Cloud에 도입하는 것에 대해 매우 기쁘게 생각하며, 이는 우리가 오픈 표준에 대한 약속을 강조합니다. 우리의 파트너십을 통해, 우리는 고객들이 AI를 이용한 혁신을 가속화하기 위해 필요한 도구를 선택할 수 있는 유연성을 제공하는 데 전념하고 있습니다. 이에는 Google의 고급 Axion 프로세서와 C4A 가상 머신에 대한 접근도 포함됩니다.” 

— Ritika Suri, Google Cloud의 AI & 데이터 파트너십 관리 디렉터.

오늘날 서버리스 컴퓨팅의 힘을 해제하세요

Databricks 서버리스 컴퓨팅은 단순히 인프라 솔루션이 아니라, 데이터 팀이 더 빠르게 혁신할 수 있게 하는 생산성 향상 도구입니다. 이주에 대한 모범 사례를 따르고, 수집을 최적화하고, 비용을 모니터링함으로써, 예산을 체크하면서 서버리스 컴퓨팅의 잠재력을 완전히 활용할 수 있습니다.

계정 관리자로서, 아래 스크린샷에 표시된 대로 설정 → 기능 활성화에서 워크플로우, 노트북, 및 DLT 파이프라인에 대한 서버리스 컴퓨팅을 쉽게 활성화할 수 있습니다.

Google Cloud에서의 Databricks 서버리스 컴퓨팅은 안전하고 AI 준비가 된 인프라에서 속도, 확장성, 간편함을 제공합니다. Google의 AI 우선 접근법과 20년간의 AI 혁신을 활용하여, 보안 및 AI에 최적화된 글로벌 인프라에 접근할 수 있게 해, AI/ML 시스템과 데이터 저장 사이의 강력한 시너지를 가능하게 합니다. 이 플랫폼은 기업이 데이터 사일로를 제거하고, 최적화를 위한 딥 러닝을 활용하고, 핵심 전략적 결과를 달성할 수 있게 합니다. 더 자세히 알아보려면, 우리의 문서 를 더 깊게 탐색하여 서버리스 컴퓨트를 활성화하고 그 강력한 기능을 탐색하세요.