Google Cloud에서의 Databricks: 데이터 인텔리전스를 이끄는 혁신

2021년에 Google Cloud Platform (GCP)에 출시 된 이후로, Google Cloud의 Databricks는 1,500개 이상의 공동 고객에게 Databricks Data Intelligence Platform 과 Google Cloud의 규모, 유연성, 혁신성을 결합한 밀접하게 통합된 경험을 제공하였습니다. 이러한 공동 고객을 지원하기 위해, Databricks와 Google Cloud 모두 지난해에 빠른 성장을 경험했습니다. Databricks는 최근 분기에 연간 대비 60% 이상의 성장을 보였으며, 2024년 4분기에는 Google Cloud가 120억 달러의 수익을 창출하여 연간 대비 30% 증가했습니다. Google Cloud 고객들은 Google Cloud Marketplace를 통해 소프트웨어, 데이터, 생성 AI, 보안 제공 등 수십억 달러를 구매합니다. Marketplace에서 Databricks를 시도해 볼 수 있으며, 우리는 매달 400회 이상의 가입을 기록하고 있습니다. 이제 우리는 고객이 Google Cloud에서 대규모로 데이터와 AI를 결합하고 다른 클라우드의 데이터와 통합할 수 있도록 강력한 향상 기능들을 제공하였습니다.

지난 4년 동안, 우리의 파트너십은 공유된 비전에서 실제 세계에 영향을 미치는 강력한 플랫폼으로 발전했습니다. 완전히 서버리스한 경험, 오픈 레이크하우스 아키텍처에 대한 기본 지원, 그리고 Gemini 및 Axion VM과 같은 Google의 혁신과의 통합을 통해, 우리는 기업들이 더 빠르게 혁신하고, 데이터 스택을 현대화하며, 통합 데이터와 AI의 전체 잠재력을 해제할 수 있도록 지원하고 있습니다. 이 모든 것은 Unity Catalog를 통해 원활하게 통합되고 관리되어, 데이터와 AI 작업에 대한 일관된 접근 제어와 통합된 경험을 보장합니다. 또한 최근에는 Anthropic 과의 획기적인 파트너십을 발표하여, Databricks에서 Claude 모델을 첫 번째 파티 옵션으로 제공하기 시작했으며, 그 중에서도 가장 최신의 프론티어 모델인 Claude 3.7 Sonnet부터 시작했습니다. 이를 통해 고객들은 자신의 데이터를 이해할 수 있는 지능형 에이전트를 레이크하우스 내에서 직접 구축하고 배포할 수 있습니다. Google Cloud와 함께 고객들은 자체 데이터에 기반한 강력한 에이전트 애플리케이션을 빠르게 구축할 수 있습니다.

AI와 분석을 서버리스 경험으로 통합하기

인프라를 관리하지 않고 확장하려는 조직을 지원하기 위해, Databricks on Google Cloud는 이제 일반적으로 사용 가능한 완전한 서버리스 경험을 제공합니다. 이에는 서버리스 SQL, 노트북, 워크플로우, DLT 파이프라인이 포함되어, 팀이 자동 리소스 관리와 더 빠른 시작 시간을 통해 데이터 워크플로우를 즉시 구축하고 실행할 수 있습니다. 이 서버리스 기반은 또한 CPU/GPU 모델 서빙, Foundation Model API, AI Gateway, Vector Search, Serverless AutoML, AI Functions, AI Playground, Lakehouse Monitoring 및 Agent Framework and Evaluation을 포함한 성장하는 생성 AI 기능들을 지원합니다.

이러한 기능들은 데이터 팀과 비즈니스 사용자 모두가 더 빠르게 반복하고, 운영 오버헤드를 줄이고, 인프라를 관리하는 것이 아니라 데이터와 AI 애플리케이션을 구축하는 데 더 많은 시간을 할애할 수 있도록 돕습니다.

Google Cloud AI 및 Compute와 최고 수준의 통합

Databricks 데이터 인텔리전스 플랫폼은 Google Cloud의 가장 고급 기술과 깊게 통합되어, 데이터 플랫폼에 최상의 양면 접근 방식을 제공합니다. 예를 들어, Google의 다중 모달 대형 언어 모델인 Gemini은 Databricks와 쉽고 안전하게 통합되어, 팀이 구조화된 데이터와 비구조화된 데이터를 통합하여 지능형, 엔드 투 엔드 에이전트를 구축하는 데 도움을 줍니다. 즉각적인 엔지니어링부터 벡터 검색에 이르기까지, Databricks는 Google Cloud의 안전하고 확장 가능한 플랫폼에서 완전한 AI 워크플로우를 가능하게 합니다. 최고 수준의 기술 간 통합의 또 다른 예는 GCP의 새로운 Axion 기반 C4A 가상 머신에 대한 Databricks 지원으로, 사용자 정의 Titanium SSD에 의해 구동되는 가격-성능에서의 중요한 개선을 제공합니다. Databricks 클러스터와 관리형 Spark와 함께 사용할 때, 이 하드웨어는 일반 목적의 기계의 이전 세대에 비해 복잡한 데이터 처리 파이프라인에서 가격-성능이 최대 60% 개선됩니다.

기존 Google Cloud 아키텍처와의 원활한 통합

많은 고객들에게는 Databricks를 기본 GCP 서비스와 연결하는 능력이 중요하며, 이것이 바로 우리의 공동 투자가 가능하게 한 것입니다. 고객들은 이제 BigQuery의 Delta Lake에 대한 첫 번째 파티 지원을 활용하여, BigQuery 쿼리와 통합된 한 번 쓰기 Lakehouse 아키텍처를 활성화할 수 있습니다. 그리고 BigQuery Federation via Unity Catalog를 통해, 우리의 고객들은 기존의 GCP 데이터 스택 전반에 걸쳐 오픈, 레이크하우스 준비된 거버넌스 계층을 표준화할 수 있으며, 두 플랫폼 모두에서 일관된 카탈로그 및 데이터 계보를 유지할 수 있습니다.

고객 가치 추진

다양한 산업의 회사들이 Databricks를 Google Cloud에서 사용하여 데이터와 AI로 비즈니스를 변혁하고 있습니다.

“Google Cloud에서 Databricks를 실행하면 우리 비즈니스 전반에 걸쳐 AI를 확장하는 방법을 간소화했습니다. Lakehouse Federation과 Unity Catalog와 같은 도구를 사용하여, 우리는 기술적 부채를 줄이고, 거버넌스를 향상시키며, 모델 실험을 가속화했습니다 - 모두 안전하고 통합된 플랫폼에서." 

— Sachin Kulshrestha, Mondelēz의 글로벌 ML 엔지니어링 및 운영 리드

Digital Turbine 은 Google Cloud에서 Databricks를 사용하여 고객을 더 잘 이해합니다.

“Databricks SQL Serverless로 SQL 쿼리를 최적화하고 Google 파트너와 함께 작업함으로써, 우리는 호스팅 비용과 전체 Databricks 사용량에서 매달 수만 달러를 절약했습니다.” 

— Dan Ferrante, 데이터 관리 디렉터, Digital Turbine

Uplight 는 Google Cloud에서의 Databricks를 사용하여 서비스를 절반의 시간에 출시합니다.

"우리는 Databricks에서 매월 30,000개의 Spark 작업을 실행하여 데이터를 수집, 준비, 분석합니다. Databricks MLflow와 Vertex AI를 사용함으로써, 우리는 새로운 서비스 개발 시간을 절반으로 줄이고 새로운 예측 머신러닝(ML) 모델의 출시를 가속화했습니다." 

— Daniel Coll, Senior Data Engineer, Uplight

Google Cloud Next '25에서 무엇이 다음인지 확인하세요.

저희는 이제 막 시작했을 뿐입니다. Google Cloud Next 2025 에 참여하여 Databricks와 Google Cloud가 어떻게 함께 데이터 지능의 다음 파도를 이끄는지 확인해보세요. Databricks는 Next ‘25의 Signature Sponsor로, Google Cloud에서의 Databricks를 통해 기업이 데이터와 AI의 전체 잠재력을 어떻게 활용할 수 있는지 보여줄 예정입니다. 우리는 Digital Turbine과 함께하는 데이터 지능의 힘에 대한 세션을 개최하고, Google Cloud, Anthropic, Oracle, SAP와 함께 Enterprise AI 패널 에 참여하며, Google Axion VMs 세션에서 가격-성능 및 효율성 이점을 공유하고, 파트너 패널에서 데이터 민주화의 모범 사례 를 강조할 예정입니다. 우리의 부스 #1930에서 방문하거나, 우리의 고객 리셉션에 참석하기 위해 등록하세요.

다음 단계를 밟을 준비가 되셨나요?

Google Cloud에서 Databricks를 이용한 무료 14일 체험판 을 시작해보세요. Databricks 또는 Google Cloud 대표와 연결하여 오늘 당신의 조직에 통합 데이터와 AI를 어떻게 가져올 수 있는지 알아보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)