레거시 데이터 시스템의 관리 및 비용 요구 사항을 극복하기 위한 고군분투
Tata Steel 제품은 가전제품, 자동차, 소비재 포장재, 산업 장비에 이르기까지 거의 모든 분야에 사용됩니다. 완전 통합형 철강 사업체인 Tata는 전 세계 7개 생산 현장과 비즈니스 기능 전반에서 얻은 데이터 인사이트를 활용하여 투명성, 통합성 및 안정성을 확보하고 완제품을 채굴, 제조 및 판매합니다. 운영 전반의 지속 가능성을 높이고, 전체 비용을 절감하고, 수요 계획을 간소화한다는 목표를 가지고 제 조 및 상업 부문에서 데이터와 분석을 다양한 방식으로 활용하고 있습니다.
몇 년 전, Tata는 데이터 기반 기업이 되기 위한 여정을 시작했습니다. 대부분의 사용 사례는 엔드투엔드 솔루션보다는 애드혹 분석에 중점을 두었고, 디지털화의 초기 단계에 있었습니다. Tata는 다음과 같이 비즈니스의 다양한 측면에 걸쳐 데이터를 활용할 계획이 있었습니다:
- 공급망 관리 및 물류 간소화;
- 용량 및 수요 예측 활성화;
- 페이로드 최적화 시작;
- Tata의 친환경 이니셔티브 달성을 위한 지원, 측정 및 안내
하지만 여러 운영 부문에서 혁신을 달성하는 것은 시작부터 쉽지 않았습니다. 처음에는 미니 데이터 레이크를 모방한 레거시 데이터 제품을 사용하고 있었는데, 이 제품에는 필요한 민주화와 확장성의 모든 이점이 없었습니다. 인프라를 극대화하는 방법에 대한 내부 지식이 제한적이었고, 데이터 팀의 구성을 고려할 때 대부분의 도구가 사용자 친화적이지 않다고 생각했습니다. 클러스터 가용성 및 여러 사용자의 액세스와 관련된 문제로 인해 잦은 중단이 발생하여 사용자들이 불편을 겪었고, 이로 인해 비용이 많이 드는 다운타임이 발생했습니다. 또한 인프라 및 분석 엔진 위에 자체 UI를 제공해야 했기 때문에 사용 사례의 프로덕션과 Azure 클라우드와의 통합에 상당한 오버헤드가 발생했습니다. 너무 많은 인프라 관리 요구로 인해 오버헤드가 증가했고, IT 인력이 도구를 패치, 업데이트 및 유지 관리하는 데 지나치게 많은 시간을 할애해야 했기 때문에 비즈니스 문제를 해결하는 대신 인프라 문제에 시간을 낭비해야 했습니다. 데이터에 대한 조치를 취할 수 없었기 때문에 목표 사용 사례를 프로덕션 환경으로 전환하는 데 장애가 되었습니다.
모든 데이터를 한곳에 통합할 수 있을 뿐만 아니라 접근 장벽이 제거되어 팀이 데이터를 활용할 수 있도록 지원하고 권한을 부여할 수 있는 완전 관리형의 사용자 친화적인 데이터 플랫폼이 필요했습니다. 레이크하우스 아키텍처에 대해 알게 된 후, 데이터 레이크의 개방성, 유연성, 머신 러닝 지원이 부족한 표준 클라우드 데이터 웨어하우스를 뛰어넘는 가치를 제공한다는 사실을 깨달았습니다. 무엇보다도 레이크하우스가 제공하는 통합 접근 방식을 채택하면 조직 내 더 많은 팀에서 데이터의 잠재력을 발휘하여 혁신과 더 나은 의사 결정을 촉진할 수 있다는 점이 가장 중요했습니다.
레이크하우스의 데이터 지원으로 더 스마트한 비즈니스 의사 결정 가능
약 1년 반 전에 Tata는 Azure에 데이터브릭스 레이크하우스 플랫폼을 배포했습니다. 내부적으로 Azure에 대한 지식이 있었기 때문에 마이그레이션이 순조로웠고, 소프트웨어는 특히 인프라 및 데이터 관리 관점에서 많은 문제를 즉시 해결해 주었습니다. 갑자기 관리자와 사용자 모두의 데이터 접근성이 향상되었습니다. 클러스터 문제가 해결되었고 확장성이 용이해져 이전에 는 불가능했던 방식으로 데이터를 탐색할 수 있게 되었습니다. 또한 낮은 수준의 인프라 유지 관리 작업이 없어져 비용 효율성이 향상되고 오버헤드가 감소했습니다. 동시에 마침내 머신 러닝을 활용하여 혁신을 통해 비즈니스 목표를 더 잘 달성할 수 있게 되었습니다. 전체적으로 데이터브릭스의 모든 것이 UI 기반이었으며, 데이터브릭스 레이크하우스 플랫폼의 단순성과 사용 편의성 덕분에 IT 중심 비즈니스에서 가치 중심 비즈니스로 전환할 수 있었습니다.
이제 중앙 집중식 통합 레이크하우스 플랫폼을 갖춘 Tata는 프로덕션 환경에서 약 20~30개의 다양한 사용 사례를 보유하고 있습니다. 데이터브릭스 레이크하우스 구성 요소인 MLflow, 그리고 델타 테이블과 MLflow의 조합을 사용하여 Tata의 모든 팀은 과거에 겪었던 문제 없이 머신 러닝을 활용하고 있습니다. 이전에는 대략적인 데이터로 추정했던 수요 예측 및 공급망 관리가 이제는 고객의 요구, 기존 및 미래 공급, 운송 수단, 워크플로우 용량, 재고 관리를 기반으로 간소화되었습니다. 이러한 인사이트를 통해 고객의 요구 사항을 더 잘 이해하고 필요할 때 제품을 생산하거나 기존 재고를 활용하여 막바지 배송을 위한 낭비와 고가의 긴급 운송을 방지함으로써 고객의 기대치를 더 잘 충족하고 전반적인 만족도를 향상시킬 수 있게 되었습니다.
생산 측면에서는 주문 완료 날짜 예측, 생산 완료 전에 철강 기준이 고객 표준을 충족하는지 확인하기 위한 동적 레시피 제어, 공장의 가동 중단과 중단을 방지하기 위한 예측 모터 유지보수 및 수리 계획 등의 사용 사례가 있습니다. 고객의 기대치를 충족하는 데 중점을 둔 이러한 사용 사례 외에도 환경 지속 가능성에도 많은 투자를 하고 있습니다. 예를 들어, 화물 운송 중 페이로드 최적화를 통해 탄소 중립 생산을 개선하고 CO2 배출량을 줄일 수 있습니다. 데이터브릭스를 통해 Tata는 생산 과정에서 발생하는 먼지와 악취 배출을 줄이고 화물 적재량을 늘려 완전히 활용된 트럭으로만 제품을 운송함으로써 이러한 목표에 한 걸음 더 다가갈 수 있게 되었습니다.
Tata가 경험하고 있는 가치는 머신러닝 그 이상입니다. 조직 전반의 다양한 팀과 이해관계자에게 데이터 기반 인사이트를 제공할 수 있습니다. 레이크하우스에 중앙 집중화된 데이터를 통해 공급망 워크플로우, 수요 예측, 용량 계획 등에 관한 더 나은 의사 결정을 내리는 데 사용되는 대시보드에 데이터를 쉽게 제공할 수 있습니다. Tata가 운영하는 규모를 고려할 때, 이러한 작은 변화는 탄소 발자국을 줄이고 지속 가능성을 위해 노력하는 데 크게 기여합니다.
구조화된 데이터 공유로 매일 더 나은 내일 보장
이제 데이터브릭스와 다양한 데이터브릭스 구성요소를 통해 구조화된 데이터 공유가 가능해지면서 Tata는 신뢰할 수 있는 확실한 결과를 얻고 있습니다. 현재 당사의 수요 예측 모델은 데이터브릭스를 사용하기 전보다 30% 더 정확하게 수행되고 있습니다. 페이로드 최적화 사용 사례는 더 나은 운송 계획과 운송 공간 할당을 통해 4~8%의 비용 절감을 달성하고 있습니다.
사용자 채택의 관점에서, 우리는 포럼을 만들어 지식을 공유하고 기능 부서의 팀이 데이터브릭스를 도입하는 여정을 돕고 있습니다. 그 결과, 프로젝트 기간이 단축되고 팀이 더 심층적인 데이터 인사이트를 확보하여 Tata 전체에서 더 현명한 의사 결정을 내리는 데 도움이 되었습니다. 모든 것이 데이터브릭스에서 시작되었기 때문에 팀들은 정확한 숫자를 사용하고, 팀 간에 협업하고, 지식 공유에 참여하여 마스터 데이터 관리를 더 쉽고, 더 신뢰할 수 있고, 더 논리적으로 만들고 있습니다. 현재 물류 계획, 페이로드 최적화, 생산 품질 관리, 예측 유지보수 등 상용 비즈니스 및 제조 전반에 걸쳐 50개 이상의 머신 러닝 사용 사례가 생산에 적용되고 있습니다.
또한 MLflow와 같은 데이터브릭스 구성 요소는 비IT 사용자가 데이터 기반 사용 사례를 성공적으로 구현하는 데 방해가 되는 기존의 문제를 해결합니다. 이제 경험이 적은 사용자도 자체 프로젝트를 시작하고 AutoML로 쉽게 벤치마크를 얻고, MLflow로 다양한 소스에서 데이터 품질을 모니터링하고, 버전 간 추적을 위해 MLflow와 함께 델타 테이블을 사용할 수 있습니다.
전반적으로 데이터브릭스는 정말 중요한 것에 집중할 수 있게 해주기 때문에 미래를 계획하는 데 도움이 됩니다. 기술 관리의 사소한 부분까지 놓치지 않고 큰 그림의 지속 가능성 진행 상황과 작은 그림의 사용 사례 애플리케이션을 볼 수 있습니다. 대신 데이터 수집, 사용 사례, 사용자 채택을 확장하여 조직 전체에 더 많은 영향을 미칠 수 있습니다. 데이터브릭스와 파트너십을 통해 탄소 제로 물 류와 같은 수상 경력에 빛나는 사용 사례로 지속 가능한 제조를 향해 빠르게 나아가고 있으며, 미래의 선도적인 데이터 기반 철강 회사가 되기 위한 길을 순조롭게 가고 있습니다.