사일로 형태의 분산된 데이터베이스를 통합 데이터 관리로 전환하며 데이터 기반 비즈니스 의사결정 시스템 구축
㈜한화, Databricks 데이터 분석 플랫폼 도입으로 데이터 가치 극대화하며 비즈니스 민첩성 향상
기존의 데이터 가공, 정제, 조정 등의 리포트 수작업 시간의 97% 이상 단축
데이터 수집 방식 개선으로 기존의 입력 화면 개발 시간의 90% 이상 절감
빠르게 변화하는 제조 산업에서 데이터 기반 의사결정은 비즈니스의 민첩성을 높이는 필수 조건으로 고려되고 있습니다. 한화그룹의 핵심 회사인 ㈜한화는 글로벌, 모멘텀, 건설 부문의 자체 산업과 여러 자회사를 보유하며, 엔터프라이즈 제조/건설의 다양한 분야에서 지속 가능한 성장을 꾸준히 실현하고 있습니다. 기존에는 통합 데이터 분석 플랫폼이 부재하였기에 각 부문의 데이터가 여러 전산 시스템에 사일로 형태로 분산되어 있었습니다. 하지만 근래에 진행되었던 사업 구조 개편과 친환경 소재, 설비, 건설 등의 다양한 시장 진출로 인해서 ㈜한화는 통합 데이터 분석 플랫폼 구축이란 새로운 목표를 세웠고, 현재 모든 경영 영역에서 데이터 기반의 시나리오 분석, 스케줄링 등 데이터 및 AI 기술을 적극적으로 활용하는 데 힘쓰고 있습니다. 기존에 미흡했던 효율적인 데이터 관리를 위해서 Databricks데이터 분석 플랫폼을 도입하였으며, 데이터 가치 극대화를 목표로 ㈜한화는 의사결정의 정확성과 적시성 향상을 통해 비즈니스 효율성을 높이고 있습니다.
기존의 분산된 데이터베이스로 인한 협업의 어려움
㈜한화는 사업 구조 개편으로 인해 기존의 다양한 전산 시스템에 흩어져 있는 데이터를 하나의 통합된 시스템으로 효율적으로 관리할 필요성을 느꼈습니다. 기존 데이터베이스는 회사마다 독립적으로 운영되어 실질적인 통합이 이뤄지지 않은 사일로화된 상태였습니다. 전체 데이터를 확보하기 위해서는 여러 전산 시스템에 분산된 데이터에 개별적으로 접근해야 하는 번거로운 구조로 인해 시간과 비용적인 한계가 존재했으며, 효과적인 인사이트 도출이 어려웠습니다.
2023년 진행된 사업 구조 개편과 경영 환경의 급격한 변화로 인해 비즈니스 적시 대응이 필수적인 과제로 떠올랐습니다. 글로벌 (IT 소재, Trading, 화약), 모멘텀 (공정장비 및 스마트솔루션), 건설 (건축, 주택, 토목) 등 다양한 회사가 하나의 구조에서 통합된 경영 관점으로 운영하는 것이 중요 목표로 떠올랐고, 이를 실현하기 위해서는 데이터 통합이 중요한 과제로 부각되었습니다. 이전에 방산 비즈니스를 진행할 때는 보안상의 이유로 망이 분리되어 있었으나, 사업 개편으로 인해 민수회사로 전환되면서 클라우드 기반의 통합 시스템을 구축할 수 있는 기회가 열렸습니다.
이에 따라 ㈜한화는 데이터 기반 의사결정 시스템을 구축하고 데이터 시너지를 강화하기 위해 Databricks 데이터 분석 플랫폼 도입을 결정하였습니다. ㈜한화의 DT 담당 정해진 상무는, “시장에 출시된 다수의 데이터 분석 플랫폼들을 비교 검토하였고, 통합성, 확장성, 데이터 거버넌스, 보안성 등에서 우수한 서비스를 제공하는 Databricks의 데이터 분석 플랫폼으로 선정하였다.”라고 설명하였습니다.
Databricks를 통한 데이터 가치 극대화
㈜한화의 새로운 디지털 문화를 활성화하기 위해서는 데이터 가치를 극대화할 수 있는 효과적인 데이터 인프라 구축이 중요하였습니다. 기존에 사업 부문별로 구축되었던 전산 시스템 (SAP, RDBMS 등)과 외부 소스에서 수집한 데이터를 Delta Lake를 통해 통합 데이터 파이프라인으로 구성하였고, Databricks SQL을 활용하여 효율적인 데이터 가공 시스템을 구축했습니다. Lakehouse 솔루션을 통해 다양한 규모의 데이터 분석 환경을 제공받아 클러스터 구성과 CPU 및 GPU 선택이 가능한 스파크 버전을 자유롭게 조정할 수 있게 되었으며, 다양한 클라우드 플랫폼 (AWS, Azure 등)을 유연하게 활용할 수 있게 되었습니다. 쉽게 연동할 수 있는 도구들 간의 연계성은 물론이고, 오픈 소스 기반이라는 특징으로 인해 Databricks는 ㈜한화의 지속적인 발전 가능성을 크게 높였습니다. 나아가, 데이터브릭스는 ㈜한화의 새로운 데이터 인프라 구축에 있어 다양한 지원을 제공하였습니다. Databricks는 ㈜한화의 데이터 엔지니어들에게 기초 사용법부터 머신러닝 및 LL까지 다양한 교육 및 실습을 통한 기술 및 이슈 해결 지원을 적극적으로 제공하여 ㈜한화 인력의 역량 향상에 대한 적극적인 지원을 아끼지 않았습니다.
또한, ㈜한화는 Databricks의 Unity Catalog를 활용하여 표준화된 데이터 거버넌스 체계를 수립하고 다양한 데이터 종류를 통합적으로 관리할 수 있게 되었습니다. 회사 전체의 데이터를 일원화된 저장소와 파이프라인을 통해 수집하고, 각 부서 및 팀이 정보에 대한 권한을 효과적으로 관리할 수 있게 되었습니다. 필요에 따라 오픈 데이터 형식인 Parquet을 사용하여 데이터 사이언티스트 및 머신러닝 엔지니어가 동일한 데이터를 쉽게 활용할 수 있어 협업 효율성을 더욱 높였습니다.
더불어, Databricks 플랫폼과 태블로(Tableau), MS 파워BI 등 다양한 시각화 도구를 연결하여 데이터의 가시성을 높이며 데이터 활용 가치를 극대화하였습니다. Databricks를 통해 단일한 뷰에서 조회 및 분석 가능한 데이터의 정확성과 적시성은 이전의 수작업 보고서에 비해 훨씬 높았습니다. 신호승 DT 전략 팀장은 "데이터 웨어하우스와 레이크의 장점을 결합한 Lakehouse를 통해 파편화되고 사일로화된 데이터를 효과적으로 통합하여, 빠르고 쉽게 데이터 분석을 수행할 수 있게 되었다"고 말하였습니다.
Databricks 데이터 분석 플랫폼으로 비즈니스 생산성 및 민첩성 개선
㈜한화는 하나의 통합된 데이터 분석 플랫폼을 도입함으로써 사내 디지털 문화를 성장시켰습니다. Databricks는 하나의 플랫폼으로 빅데이터에서부터 AI/머신러닝까지 접근하기 쉬운 인터페이스를 제공하여 데이터 관리 및 분석 시간을 크게 단축시켰습니다. 예를 들어, 데이터 가공, 정제, 조정 등의 리포트 작업은 Databricks가 효율적으로 처리해 주어 기존의 수작업 시간의 97% 이상 단축하였으며, 개발 중심의 데이터 수집 방식도 개선되어 입력 화면 개발에 소요되는 시간을 90% 이상 절감하였습니다.
또한, ㈜한화는Databricks 데이터 인텔리전스 플랫폼을 통해 현업조직이 데이터에 쉽게 접근하고, 자체적으로 데이터를 비즈니스 분석에 활용할 수 있는 중앙 집중형 시스템을 구축할 수 있게 되었습니다. 이로써 의미 있는 정보를 의사결정자들에게 빠른 시간내에 효과적으로 제공할 수 있게 되었으며, 통합된 데이터 기반 경영 시스템을 구축함으로써 비즈니스 민첩성을 확보할 수 있었습니다.
신호승 DT 전략 팀장은, “데이터 분석 및 리포팅 효율화를 통해 업무 생산성을 개선하였고, 데이터의 통합 관리로 데이터 기반 의사결정의 정확성 및 적시성을 개선하였다.”라고 말하였습니다.
Databricks를 통한 ㈜한화의 미래 전략적 성장
㈜한화는 데이터 통합 및 분석 영역을 계속해서 확대하여 데이터 기반 경영활동을 강화할 예정입니다. ㈜한화는 현재 데이터 분석을 위한 기반을 확고히 수립하고 있으며, 앞으로 나아가 AI/머신러닝을 적용해서 최적화, 예측 등 자동화의 범위를 더 넓게 확장할 예정입니다. 정해진 상무는, “인간의 실수를 줄이고 정확한 데이터를 통해 적기에 올바른 판단을 내릴 수 있도록 지원하는 것은 업무 성과와 효율성은 물론, ㈜한화 임직원의 삶의 질에도 긍정적인 영향을 미칠 것”이라고 말하며 Databricks와의 협력을 통해 ㈜한화의 디지털 트랜스포메이션을 가속 화 시킬 수 있다고 확신하였습니다.
