윌리스 타워스 왓슨이 유니티 카탈로그를 통해 데이터 인텔리전스로 작업 및 보상을 변혁하는 방법

Willis Towers Watson (WTW)은 상업 보험 중개, 위험 관리, 직원 혜택, 및 보험 수리 분석 등의 광범위한 서비스를 제공하는 다국적 기업으로, 포춘 글로벌 500 기업의 91%를 대상으로 서비스를 제공하고 있습니다. WTW의 Work and Rewards 부서는 시장 기반 데이터를 통해 고객의 채용 및 유지 결정을 지원하는 데이터 기반의 통찰력, 기술 솔루션, 서비스를 제공합니다.

우리의 핵심 사업은 강력한 데이터 변환 및 거버넌스 능력에 의존하고 있습니다. 그 중심에는 우리의 급여 조사 보고서를 지원하는 독점적인 계산 엔진이 있습니다. 최근에는 Azure VMs의 SQL Server에서 Azure Databricks로 전략적인 마이그레이션을 시작하여 중요한 비즈니스 이점을 창출하였습니다. 이 변화는 보고서 생성을 10배 가속화시키고, 데이터 환경을 50% 줄이고, 저장 비용을 이전 SQL 서버 비용의 1/3로 줄였습니다.

Databricks Unity 카탈로그는 이러한 변혁의 주요 도구가 되어, 데이터 거버넌스와 관리에 대한 접근 방식을 재정의하였습니다. 이 블로그에서는 우리가 마주한 도전과 Databricks와 Unity 카탈로그가 어떻게 이를 극복하는 데 도움이 되었는지, 그리고 이 변혁이 우리 사업에 미친 영향에 대해 공유하겠습니다.

도전 과제: 확장성, 거버넌스, 그리고 성능 병목 현상 

Databricks와 Unity Catalog를 구현하기 전에, 우리는 기존의 기술 스택의 한계로 인해 여러 기술적, 조직적 문제에 직면했습니다.

확장성 제한으로 인한 비용 증가, 느린 ETL, 시장 진입 지연: 우리의 보고서 계산 사업은 계절적이며, 데이터 수집 및 보고서 생성에 대한 명확한 피크 시기가 있습니다. 그러나 우리의 레거시 데이터베이스 서버는 확장성이 부족하여, 우리는 일년 내내 큰 데이터베이스 인스턴스를 제공해야 했습니다. 이로 인해 상당한 유휴 시간과 불필요한 비용이 발생했습니다. 피크 시기 동안 웹 및 앱 서버를 확장하는 것은 우리의 애플리케이션 코드에 사용자 정의 로직이 필요했습니다. WTW의 가장 큰 보고서는 종종 10시간에서 36시간까지 걸렸으며, 특히 우리의 가장 중요한 설문조사에 대해서는 그렇습니다. 이런 긴 실행 시간은 고객 관계에 마찰을 일으키고 다른 프로세스를 느리게 하여 운영 비용을 증가시켰습니다.

유연성이 부족한 기존 SQL 서버 구현의 스키마 디자인이 민첩성을 제한: 우리는 엄격한 관계형 데이터 모델을 사용하여 변화하는 데이터 요구 사항에 적응하는 것이 어려웠습니다. 이런 유연성 부족은 개발 및 유지 보수 비용을 높였습니다.

데이터와 환경의 중복으로 거버넌스가 복잡해짐: 우리는 처리와 지역적인 준수 요구를 충족시키기 위해 5개 이상의 환경에서 데이터를 유지하였고, 이로 인해 매년 30만 달러 이상의 비용이 발생했습니다. 빠른 데이터 검색을 보장하기 위해, 우리는 Azure VMs의 SQL Server에서 약 70TB의 P40 저장 디스크에 의존하였습니다. 이는 우리의 인프라 비용을 늘렸습니다.

지역 데이터 관리에서의 준수 문제: WTW는 글로벌 조직으로서 지역 데이터 개인정보 보호 및 준수 규정을 준수해야 합니다. 이전 시스템의 제한 때문에, 우리는 복잡성을 피하기 위해 개인 식별 정보(PII)를 수집하지 않기로 결정했습니다. 또한, 모든 데이터는 단일 지역에 저장되어 지역화된 준수 요구 사항을 충족시키는 능력을 제한했습니다.

데이터 라인리지와 감사가 부족: 데이터 라인리지를 추적하고 변경 사항을 감사하는 자동화된 도구가 부족했습니다. 이는 문제 해결과 데이터 수정의 하류 영향을 이해하는 데 중요합니다.

Databricks 데이터 인텔리전스 플랫폼과 Unity Catalog로의 개선

Databricks와 Unity Catalog를 기반으로 한 우리의 차세대 시스템에서는 이미 우리의 비즈니스가 더 효과적으로 확장할 수 있게 하는 여러 이점을 실현하고 있습니다.

10배 빠른 보고서 생성으로 비즈니스 성장을 실현: 이전에 10시간이 걸렸던 보고서가 이제 50분 미만으로 완료되며, 계산 시간이 10배 향상되었습니다. 대부분의 보고서는 5배에서 20배의 성능 향상을 보고 있습니다. 이 가속화는 우리의 가장 큰 보고서에 특히 유용하며, 이전에는 하루 이상 처리하는 데 걸렸습니다. 더 빠른 보고서 생성은 시장 진입 시간을 줄이고, 고객에게 더 빠르고 자주 인사이트를 제공함으로써 업셀 기회를 제공하며, 우리 팀이 새로운 고객 참여에 집중할 수 있게 해줍니다.

유니티 카탈로그의 효율적인 데이터 관리를 통한 30%의 비용 절감: 유니티 카탈로그를 통해 데이터 접근을 중앙화함으로써, 우리는 저장 및 인프라 비용을 30% 줄였습니다. 이전에는 우리의 시스템이 준수 및 운영 요구 사항을 충족시키기 위해 여섯 개의 별도 환경에 의존했습니다. 오늘날, 단일 Databricks 작업 공간은 여러 지역의 카탈로그에 원활하게 접근할 수 있어, 중복을 제거하고 거버넌스를 단순화합니다. 또한, 데이터를 유니티 카탈로그 관리 테이블에 저장함으로써 - 내장된 압축 및 성능 최적화와 함께 - 우리는 저장 비용을 이전의 SQL 서버 비용의 1/3로 줄였습니다. 이러한 관리 테이블은 또한 쿼리 패턴에 기반한 테이블 레이아웃을 자동으로 최적화함으로써 운영을 간소화합니다.

개선된 준수 및 데이터 거주 기능: 우리는 이제 유니티 카탈로그의 유연한 아키텍처와 Databricks의 Azure 지역에서의 글로벌 가용성을 결합하여, 유럽 연합, 독일, 중국, 캘리포니아 및 기타 관할 지역에서의 개인정보 요구 사항을 충족할 수 있습니다. 데이터를 접근하는 곳에 가까운 곳에 저장하면 클라우드 출구 비용을 줄이고 보고서 성능을 향상시킬 수 있는 가능성이 있습니다. 유니티 카탈로그의 세분화된 접근 제어와 Entra ID 그룹과의 통합은 우리에게 PII에 대한 더 나은 제어를 제공하며, 이는 우리의 준수 자세와 고객에게 이익을 줍니다.

더 나은 감사 가능성과 계보가 개발자 생산성을 33% 향상시켰습니다: 유니티 카탈로그의 계보 기능과 Databricks의 오케스트레이션 도구 및 AI 기능은 더 나은 탐색적 데이터 분석과 우리의 데이터셋에 대한 더 깊은 이해를 가능하게 하며, 특히 새로운 보고서가 개발될 때 그렇습니다. 우리의 추정에 따르면, 이전에는 최대 세 주까지 걸렸던 보고서가 이제 두 주 미만으로 줄었습니다.

Databricks 교육이 팀의 빠른 승진을 가속화했습니다: 무료 및 유료 Databricks 교육 프로그램의 제공으로 Databricks 또는 Python에 대한 이전 경험이 없는 팀이 2-3개월 내에 생산적이게 되었습니다. 8개월이 지난 후에는 대부분의 개발자가 약 75%의 능숙도에 도달했습니다.

앞으로를 기대하며

Databricks와 Unity Catalog로의 이전은 Willis Towers Watson의 Work & Rewards 부서에게 큰 변화를 가져왔습니다. 우리는 데이터 거버넌스를 간소화하고, 컴플라이언스를 개선했으며, 비용을 줄이고 보고서 생성을 크게 가속화했습니다.

앞으로, 우리는 Databricks의 AI 기반 기능들—예를 들어 AI/BI Genie와 자동화된 ML 솔루션들—을 활용하여 새로운 데이터 기반 제품을 개발할 계획입니다. 현대화된 데이터 인프라가 구축되어 있어, 혁신을 주도하고, 고객 경험을 향상시키고, 새로운 수익 기회를 창출하는 데 잘 위치해 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)