클라우드 이동으로 데이터 중심 리테일의 새로운 시대 개막
데이터 파이프라인 생성 시간 단축
더 빠른 ETL 워크로드
Columbia는 데이터 중심적 기업으로, 모든 사업 라인 시스템의 데이터를 통합하여 모든 브랜드의 도소매 비즈니스를 관리합니다. 그러나 기존 ETL 및 분석 인프라로는 대규모로 배치 및 실시간 사용 사례를 지원할 수 없어, 비즈니스와 데이터 팀의 수요를 충족하기 어려웠습니다. Databricks로 마이그레이션한 후로는 더욱 효율적이고 안정적으로 데이터를 처리하고 준비할 수 있어, 더욱 현명한 비즈니스 결정을 내리는 데 중요한 인사이트를 얻게 되었습니다.
많은 비용이 들고 속도가 느린 기존 분석 시스템
리테일 산업의 모든 채널이 지속적으로 디지털화되는 동안, Columbia는 사업 라인 전체에서 데이터를 활용하여 영업, 구매, 공급망, 제품 최적화에 반영하는 데 앞장 섰습니다. 예를 들어, 지역, 브랜드 친화성, 총 마진, 비용과 관련된 인사이트를 활용하여 운영을 개선하고 더욱 현명한 결정을 내릴 방법을 알아내고자 했습니다. 또는, 제품 후기와 의견에서 얻은 고객 참여 데이터로 마케팅 캠페인을 지원하고 고객 지원을 개선하기를 원했습니다.
엄청난 양의 데이터를 활용할 수 있었지만 다운스트림 분석과 보고에서 배치 및 실시간 데이터의 처리 효율이 내부 서비스 수준 계약에 못 미쳤습니다. 사일로화되어 있고 확장이 복잡한 전문 ETL 툴링과 기존 데이터 웨어하우스가 걸림돌이 되어, 기업 정보 관리(EIM) 팀에서는 여러 데이터 팀과 비즈니스 이해관계자를 위한 데이터 큐레이션을 활용할 수 있는 데이터 파이프라인을 효율적으로 구축할 수 없었습니다. 게다가 인프라는 경직되어 있고 관리 및 확장 비용이 높아서, 데이터에 액세스해야 하는 사람이 늘어날수록 문제가 되었습니다.
Columbia Sportswear의 선임 기업 데이터 관리자인 Lara Minor는 “기존 시스템으로는 분석과 보고를 위해 ETL 데이터를 처리하는 데 몇 주가 걸리기도 했습니다. 따라서 다양한 사용 사례를 지원할 수 없어, 애널리스트와 사업부의 만족도가 낮았습니다."라고 말했습니다.
임원, 데이터 애널리스트, 데이터 사이언티스트에 이르기까지 다양한 팀이 전사적 데이터를 원하게 되자, 분석 시스템의 플랫폼을 클라우드로 바꾸어서 규모에 맞게 민첩성과 비용 효율을 강화해야 한다는 것을 깨달았습니다. 또한, 데이터 준비와 ETL을 간소화하는 한편, 이해관계자가 더욱 현명한 결정을 내릴 목적으로 더욱 쉽고 안전하게 데이터에 액세스하도록 지원해야 했습니다.
필요한 사람에게 최대한 신속하게 데이터 제공
Columbia의 EIM 팀은 Microsoft Azure로 옮기기로 결정하였고, 이를 통해 Azure Databricks 및 Delta Lake를 사용하여 데이터 처리와 분석 기능을 업그레이드할 길이 열렸습니다. Minor는 “저희는 확장성, 탄력성이 있으면서도 비용이 낮은 서비스를 찾고 있었습니다. Azure와 Databricks가 마침 조건이 딱 맞았죠.”라고 말했습니다.
Databricks를 사용한 이후로 배치 및 실시간 워크로드를 지원하는 고성능 ETL 파이프라인을 구축할 수 있었습니다. 이 파이프라인은 큐레이션된 데이터에 안전하게 액세스할 수 있는 Delta Lake로 연결됩니다. Minor는 “Delta Lake는 ACID 기능을 제공해 데이터 파이프라인의 운영을 간소화하고 파이프라인 안정성과 데이터 일관성을 향상합니다. 동시에 캐싱이나 자동 인덱싱과 같은 기능을 이용하면 데이터에 효율적으로, 성능 수준에 맞춰 액세스할 수 있습니다."라고 설명했습니다.
데이터를 수집하고 나면, 최종 사용자와 사용 사례에 따라 회사 전체에 흩어진 여러 엔드포인트로 보낼 수 있습니다. 예를 들어 비즈니스 애널리스트는 PowerBI와 직접 연결하여 실시간에 가까운 정보를 적시에 필요한 영업 보고에 활용할 수 있습니다. 데이터 사이언티스트는 Databricks의 인터랙티브 노트북을 통해 데이터에 액세스하여 모델을 탐색하고 훈련할 수 있습니다. 또는. 데이터 웨어하우징 도구로 데이터를 보내서 지연이 낮고 동시성이 높아야 하는 사용 사례에 활용할 수 있습니다. 어떤 데이터 팀이 데이터에 액세스하든, 안정적이고 일관적이 데이터를 안심하고 사용할 수 있습니다.
데이터 파이프라인 처리 속도 단축, 인사이트 창출 시간 단축
비즈니스에 빠르게 데이터 인사이트를 제공하려면 데이터 처리 속도를 단축하는 것이 중요합니다. Databricks가 Columbia의 EIM 팀이 ETL과 데이터 준비를 가속화하도록 도운 이후로 ETL 파이프라인 생성 시간이 70% 감소한 한편, ETL 워크로드를 처리하는 시간이 4시간에서 불과 5분으로 줄어 48배 향상되었습니다.
배치 및 실시간 워크로드를 원하는 대로 지원하고 성능이 우수한 확장형 플랫폼을 사용하게 된 덕분에 이제 다양한 데이터 사용자들이 EIM 팀에 과하게 의존하지 않고도 비즈니스 운영에 영향을 미치는 결정을 더욱 현명하게 내릴 수 있습니다.
Minor는 “이 플랫폼의 장점은 사람들이 쉽게 참여할 수 있다는 것입니다. 모든 데이터가 수집되고, 예전에는 불가능했던 셀프 서비스 방식으로 회사 전체에서 데이터 를 사용하는 사업부가 늘어났습니다. Databricks가 Columbia에 일으킨 긍정적 영향은 입이 닳도록 말해도 모자랍니다."라고 설명했습니다.
큐레이션된 데이터를 바로 사용할 수 있으므로, 소비자 수요 예측에서 제품 후기 분석, 고객 만족도 향상에 이르기까지 다양한 사용 사례를 데이터로 지원합니다. Minor는 Columbia의 사업팀이 데이터를 활용하여 더욱 현명한 비즈니스 결정을 내리고 앞으로 비즈니스를 발전시켜 나가는 능력은 무궁무진하다고 말했습니다.
