Johnson & Johnson의 SCM 최적화를 위한 데이터 민주화

Translated by HaUn Kim - Original Blog Post

글로벌 CPG 및 제약 공급업체의 토대가 되는 Johnson & Johnson은 150년 이상을 걸쳐 전 세계 기업, 환자, 의료진, 그리고 일반 사람들에게 서비스를 제공해왔습니다. 생명을 유지하는 의료 기기부터 백신, 일반 의약품, 처방약(그리고 이를 제조하는 데 필요한 도구와 자원)에 이르기까지, 우리는 시장에 출시하는 모든 제품의 가용성을 확보하고 고객에게 이러한 다양한 제품들의 품질 유지, 보존, 그리고 적시 배송을 일관되게 보장해야 합니다.

이 제품과 서비스를 지역사회에 제공하는 방식은 소비자들이 제품을 효율적으로 접하고 사용할 수 있도록 제품을 제때, 적절한 장소에 배송하고 공정한 가격에 판매를 보장하는 비즈니스 전략의 핵심입니다. 물류 문제는 시장의 공급망을 아우르며 오랜 시간 동안 존재해왔지만, 이러한 과정을 간소화하고 글로벌 규모에서 재고 관리와 비용을 최적화하는 것은 데이터 없이는 불가능합니다. 또한, 이 데이터는 정확해야 하며, 이를 위해서는 복잡한 정보를 추출하고 해석하여 데이터를 효과적으로 활용할 수 있는 도구가 필요합니다. 이러한 데이터를 통한 SCM 분석은 소매 파트너의 진열대 재고 유지, 제공하는 백신의 온도 관리 및 적시 배송 보장, 글로벌 카테고리 지출 관리, 추가 비용 절감 이니셔티브 식별 등 SCM의 다양한 측면을 최적화하는 데 도움을 줍니다.

SCM 최적화의 영향은 상당합니다. 예를 들어, 얀센의 글로벌 SCM 조달 조직에서 지출과 가격을 이해하고 통제하지 못하면, 궁극적으로 글로벌 조달의 효율성을 높일 수 있는 미래 전략적 결정과 이니셔티브를 파악하는 데 제한이 있을 수 있습니다. 결국, 이 문제를 해결하지 못하면 600만 달러의 상승 여력을 달성할 기회를 놓칠 수 있습니다.

수십 년에 걸쳐 우리는 유기적 성장과 수많은 인수를 통해 조직적으로 광범위하게 성장해왔습니다. 과거에 SCM 데이터는 파편화된 시스템을 통해 엔지니어에게 제공되었는데, 이는 시간이 지남에 따라 여러 조직이 Johnson & Johnson 산하로 편입되면서 각자의 독점 자원을 가져온 결과였습니다. 또한, 데이터는 대부분 수작업으로 추출 및 분석되었습니다. 속도와 확장성의 기회는 극히 제한적이었고, 실행 가능한 인사이트가 더디게 드러났습니다. 이러한 단절은 고객 서비스 방식에 부정적인 영향을 미쳤고, 다음에 해야 할 일에 대한 전략적 결정을 내리는 데 방해가 되었습니다. 

Hadoop에서 Databricks를 이용한 통합 접근 방식으로 마이그레이션하기

이를 염두에 두고, 우리는 조직 전체에 걸쳐 데이터를 민주화하는 중요한 여정을 시작했습니다. 우리의 계획은 더 높은 성능, 활용도 증가, 의사 결정 개선, 엔지니어링 및 SCM 운영의 확장성을 제공하고, 쿼리와 인사이트를 실시간으로 효율적으로 조정할 수 있는 공통 데이터 계층을 구축하는 것이었습니다. 이를 위해 Azure 클라우드의 데이터브릭스 데이터 인텔리전스 플랫폼을 선택했습니다.

우리의 궁극적인 목표는 Johnson & Johnson의 모든 글로벌 데이터를 하나로 통합하여, 35개 이상의 글로벌 데이터 소스가 생성한 파편화된 시스템을 데이터 사이언티스트, 엔지니어, 분석가는 물론이고 애플리케이션에서 필요에 따라 쉽게 사용할 수 있는 데이터의 단일 뷰로 대체하는 것이었습니다. 이에 따라, 이전 파이프라인의 데이터 활동을 단순히 반복하는 대신, 데이터 자체를 제공자로 만들어 데이터의 단일 표현을 생성하기로 했습니다. 이 공통 계층을 통해 다양한 사용자가 Johnson & Johnson의 다양한 사용 사례에 대해 인사이트를 얻을 수 있게 되어, 우리는 비즈니스와 고객에게 실질적인 가치를 제공하는 애플리케이션을 개발하고, 데이터에 대한 심오한 인사이트를 더 빠르게 얻으며, SCM 프로세스의 시너지를 여러 부문에서 높이고, 재고 관리와 예측 가능성을 개선할 수 있습니다.

그러나 데이터 인프라를 15분 이내의 데이터 전송 및 접근성 SLA를 처리할 수 있는 시스템으로 전환하는 데는 몇 가지 즉각적인 도전 과제가 있었습니다. 가장 중요한 문제는 확장성이었습니다. 기존의 Hadoop 인프라는 데이터 분석 요구 사항을 지원하면서 이러한 서비스 수준 계약을 충족시킬 수 없었습니다. 레거시 시스템을 대규모로 시기적절하게 제공하기 위한 노력은 비용과 리소스가 막대했습니다. 둘째로, 확장성 부족 때문에 SCM 전략 및 데이터 최적화와 관련된 중요한 전략적 과제를 충족하지 못했습니다. 마지막으로, 제한된 유연성과 성장이 줄어들면서 사용 사례와 데이터 모델의 정확도가 떨어졌습니다.

이제 레이크하우스 접근 방식을 통한 데이터 관리를 통해, 비즈니스 요구에 따라 확장 가능한 수많은 데이터 파이프라인에 공통 데이터 계층을 제공할 수 있게 되었습니다. 그 결과 실행 가능한 인사이트와 가치를 데이터에서 더 많이 추출할 수 있는 사용 사례가 대폭 늘어났습니다. 또한, 광범위한 비즈니스 맥락을 넘어서, 예측 분석을 통해 물류 최적화와 관련된 중요한 트렌드와 요구 사항을 예측하고, 고객의 치료 요구를 이해함으로써, 이것이 SCM에 미치는 영향을 더욱 자신감 있고 민첩하게 파악할 수 있게 되었습니다.

대규모로 정확한 의료 솔루션 제공

최상의 결과를 보장하기 위해, 우리는 데이터브릭스와 협력하여 리소스를 확장하고, 데이터 분석 및 머신 러닝을 위한 매우 효율적인 공통 데이터 수집 계층을 구축했습니다. 엔지니어링 부서와 AI 부서 사이의 전략적이고 의도적인 협력을 통해, 시스템을 완전히 최적화함으로써 훨씬 더 뛰어난 처리 능력을 달성할 수 있었습니다.

오늘날, 데이터 흐름은 크게 단순화되었습니다. 데이터 팀은 데이터브릭스의 차세대 쿼리 엔진인 Photon을 활용하여 SQL 워크로드를 저렴한 비용으로 매우 빠르게 처리할 수 있게 되었습니다. 모든 데이터 파이프라인은 이제 Delta Lake를 통해 운영되며, 이는 Photon에서의 데이터 변환을 간소화하는 데 큰 도움이 됩니다. 이를 통해 Databricks SQL은 고성능 데이터 웨어하우징을 제공하며, 다양한 애플리케이션과 비즈니스 인텔리전스(BI) 도구(예: PowerBI, Qlik, Synapse, Teradata, Tableau, ThoughtSpot)에 최적화된 커넥터를 통해 거의 실시간으로 데이터를 제공할 수 있게 합니다.

현재까지 데이터 엔지니어링 작업에 대한 비용을 45~50% 절감하고 데이터 전송 시간을 대략 24시간에서 10분 이내로 대폭 단축하는 성과를 달성했습니다.

레거시 데이터 웨어하우스 대신 데이터브릭스 SQL을 사용하여 델타 레이크에서 바로 BI 작업을 실행함으로써, 소비자와 비즈니스의 요구를 더 잘 파악할 수 있게 되었습니다. 이러한 인사이트를 활용하여 리테일 파트너들이 적절한 재고 수준을 유지하도록 도와 제품 수요를 예측하고, 전 세계적으로 의약품을 비용 효율적으로 배포하는 등 지속적인 기회를 포착하는 데 집중할 수 있습니다. 또한, 데이터브릭스 SQL을 통해 델타 레이크에서 직접 분석이 가능하기 때문에, 수요 계획 프로세스에 드는 시간과 비용을 더 절약할 수 있을 것으로 기대합니다.

특히 흥미로운 점은 SCM 전반에 걸쳐 환자 치료 제품을 추적할 수 있게 되었다는 것입니다. 이제 세포 치료 프로그램 내에서 14개 이상의 마일스톤을 통해 아페리시스 환자의 치료 여정을 추적할 수 있으며, 기증자 수집부터 제조, 최종 제품 투여에 이르는 과정에서 18개 이상의 JNJ 글로벌 자회사와 공급업체 파트너가 이 환자들을 지원하기 위해 어떻게 협력하는지를 확인할 수 있습니다.

클라우드 기반 데이터브릭스 데이터 인텔리전스 플랫폼 도입을 통해 Azure 클라우드에서 운영 데이터 인프라를 크게 단순화함으로써, 서비스 수준 협약(SLA)을 일관되게 충족하고, 전반적인 비용을 줄이며, 무엇보다도 고객과 커뮤니티에 더 나은 서비스를 제공할 수 있게 되었습니다.

데이터브릭스로 미래를 바라보며

데이터의 잠재력은 무한하며, 데이터 사이언스 분야에서는 수집과 분석만큼 탐색도 중요합니다. 레거시 하둡 인프라에서 데이터브릭스 데이터 인텔리전스 플랫폼으로의 마이그레이션을 통해, 데이터 경로를 단순화하고 비즈니스 전반에 걸친 사용자 장벽을 제거했습니다. 이제 우리는 어느 때보다 혁신적인 탐색을 실제 솔루션으로 전환할 수 있는 위치에 있습니다.