HP가 Delta Sharing을 사용하여 3D 프린팅 공급 체인을 최적화하는 방법

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

Javier Lagares는 HP의 주요 데이터 엔지니어로, 3D 프린팅 사업을 위한 데이터 기반 솔루션 개발을 이끌고 있습니다. 데이터 엔지니어링 및 아키텍처에 대한 강력한 배경을 바탕으로, Javier는 데이터를 활용하여 비즈니스 결과를 추진하고 고객 경험을 향상시키는 데 열정을 가지고 있습니다.

모든 산업 분야에서 데이터를 기반으로 의사결정을 하는 것이 점점 중요해지면서, HP의 3D 프린트 부문은 혁신적인 방법으로 선두를 달리고 있습니다: 고객이 자신들의 제조 공정의 일부로 3D 프린터를 사용하는 경우, 거의 실시간으로 장비 텔레메트리 데이터를 공유합니다. 이 데이터 공유 기능을 통해 HP의 고객들은 자신들이 임대한 장비의 성능과 사용량을 모니터링하고, 데이터 인사이트를 활용하여 사업이나 유지보수 조치를 미리 취할 수 있습니다. Delta Sharing 과 Unity Catalog, Mosaic AI 와 AI/BI 대시보드를 활용하여, HP는 기계 성능, 재료 사용량, 유지보수 필요성에 대한 포괄적인 인사이트를 제공하는 안전하고 확장 가능한 솔루션을 구축하였습니다.

고객에게 데이터를 제공하다

HP는 고객에게 자세하고 실행 가능한 통찰력을 제공하는 데 전념하고 있습니다. 이 프로젝트는 고객이 자신의 프린터 텔레메트리 데이터를 보고 분석할 수 있게 해주어, 운영을 최적화하고, 다운타임을 줄이며, 자원 사용에 대한 명확한 이해를 통해 비용을 줄일 수 있게 합니다.

Javier Lagares - 주요 데이터 엔지니어의 지휘 아래, HP는 Databricks 데이터 인텔리전스 플랫폼에서 포괄적인 데이터 솔루션을 구현했습니다. 이 솔루션은 HP 장비에 내장된 다양한 센서로부터 텔레메트리 데이터를 캡처하고, 이를 프린터뿐만 아니라 처리 스테이션(3D 인쇄 물체를 최종 사용 준비 작업을 처리하는 장치), 언패킹 스테이션(부품을 언패킹하고, 파우더를 제거하며, 3D 인쇄 후 재료를 재활용하는 장치), 경화 스테이션(인쇄 후 부품을 경화시키고 안정화하는 장치) 등 여러 다른 장치의 데이터와 결합합니다. 이 센서들은 각 처리 스테이션에 대한 중요한 정보를 수집합니다. 예를 들어 처리된 작업과 작업에 사용된 재료 등 여러 데이터 포인트가 있습니다. 이 데이터는 기본적으로 각 프린터의 "DNA"를 형성하며, 이를 통해 HP와 그 고객들이 전체 인쇄 작업 수명주기에 대한 귀중한 통찰력을 얻을 수 있습니다.

Databricks를 사용하여 솔루션 설계

HP의 솔루션은 Databricks의 메달리온 아키텍처를 기반으로 하며, 이는 확장 가능한 데이터 수집, 변환, 공유를 가능하게 하는 설계이며, 네 가지 주요 단계를 포함합니다:

1. Landing Layer: 랜딩 레이어는 장치와의 통신 레이어로서 역할을 합니다. 이 레이어의 데이터는 정확히 한 번 처리됩니다. 이 레이어의 데이터가 HP에 의해 수신된 것으로 인정되지 않으면, 관련 장치를 중단시키는 예방적인 프로세스가 시작됩니다.
2. 브론즈 레이어: 브론즈 레이어는 랜딩 레이어에서의 정보를 여러 테이블로 분해하여 추가적으로 사용할 수 있게 합니다.
3. 실버 레이어: 이 단계에서는 원시 텔레메트리 데이터가 정제, 필터링, 변환되어 사용 가능한 형태로 만들어집니다. 데이터는 중복을 제거하고, 이상치를 수정하며, 더 사용하기 쉬운 구조로 형식을 바꾸는 변환을 적용하여 준비됩니다.
4. 골드 레이어: 골드 레이어는 정제된 데이터 세트를 제공하며, 이는 델타 공유를 통해 HP의 고객들과 공유되어, 그들이 이 고가치 데이터를 직접 분석하고 활용할 수 있게 합니다.

메달리온 아키텍처는 HP가 텔레메트리 데이터를 처리하고 공유할 수 있게 해주어 고객들이 항상 최신 정보를 이용할 수 있도록 합니다. 

Delta Sharing을 통한 안전한 데이터 공유

텔레메트리 데이터가 처리되면, HP는 Databricks의 Delta Sharing 오픈 공유 기능(D2O)을 사용하여 고객과 공유합니다. 이 기능들은 HP의 고객들이 데이터를 소비할 수 있게 해주며, 그들이 Databricks를 사용하든 아니든 상관없습니다. 수신자들은 공유된 데이터에 직접 연결할 수 있습니다. Delta Sharing 커넥터를 사용하여 이는 pandas, Tableau, Power BI, Apache Spark, Rust 등 다양한 시스템을 지원하거나 오픈 프로토콜을 지원하는 다른 것들을 지원합니다. 고객이 등록되면, 그들은 HP 엔드포인트를 받게 되며, 이를 사용하여 Delta Sharing 커넥터나 API를 사용하여 데이터셋에 접근할 수 있습니다. 

고객이 원활하게 프로세스를 진행할 수 있도록 HP는 각 데이터 자산에 대한 철저한 문서를 제공하며, 데이터를 어떻게 사용하는지에 대해 자세히 설명합니다. HP는 또한 고객이 데이터를 자신들의 파이프라인에 빠르게 통합할 수 있도록 돕기 위해 D2O 라이브러리를 활용하는 샘플 코드를 포함하고 있으며, Delta Sharing 커넥터를 통해 데이터를 읽는 사전 구축된 PowerBI 대시보드도 제공하고 있습니다. 고객들은 자신들의 시각화를 생성하고 싶지 않은 경우 이를 사용할 수 있습니다. 이러한 지원 수준은 HP의 고객들이 Delta Sharing이나 기본 데이터 아키텍처에 대한 사전 전문 지식 없이도 자신들의 텔레메트리 데이터를 쉽게 사용하고 분석하기 시작할 수 있도록 보장합니다.

Mosaic AI를 통한 예측 유지보수

HP의 솔루션에서 가장 영향력 있는 기능 중 하나는 예측 유지보수 알림의 포함입니다. Mosaic AI 기능을 활용하는 기계 학습 모델을 사용하여, HP는 텔레메트리 데이터를 기반으로 유지보수 필요성을 정확하게 예측할 수 있습니다. 이러한 예측 유지보수 알림은 HP의 고객 지원에 제공되어, 고객에게 연락하여 장비 서비스를 예약함으로써 그들의 프린터가 최적의 작동 상태를 유지할 수 있도록 돕는 더 나은 고객 경험을 제공하는 데 도움이 됩니다.

이러한 머신러닝 모델은 텔레메트리 데이터 패턴을 분석하여 잠재적 문제의 조기 징후를 나타낼 수 있습니다. 이러한 알림을 제공함으로써 HP는 고객이 미리 계획을 세우고 생산 과정의 중단을 줄일 수 있게 함으로써 고객 만족도를 향상시킵니다.

Unity 카탈로그와 ApiGee를 통한 강화된 데이터 보안

고객 데이터의 개인 정보 보호와 데이터 보안이 최우선 과제인 HP는 Unity Catalog 를 활용하여 데이터 거버넌스를 강화하고 고객 세분화를 적용합니다. Unity Catalog를 통해 HP는 데이터 자산에 대한 접근을 세분화하여 제어할 수 있게 되어, 각 고객의 데이터를 분리하고 특정 계약 조건에 따라 맞춤형 데이터 접근 정책을 적용할 수 있습니다. 이 동적 모델은 각 고객이 자신의 데이터에만 접근할 수 있도록 보장합니다.

또한, HP는 데이터 보안을 더욱 강화하기 위해 ApiGee를 구현하였습니다. ApiGee는 모든 HP 내부 URL의 마스킹 레이어로 작동하여, 데이터 공유 과정을 고객에게 100% 투명하게 만듭니다. ApiGee의 사용은 고객이 HP의 데이터 보안 프레임워크를 준수하는 안전한 엔드포인트와만 상호 작용하도록 보장합니다.

AI/BI 대시보드를 이용한 고객 경험 모니터링 및 향상

HP는 또한 Databricks AI/BI 대시보드 를 활용하여 텔레메트리 솔루션의 사용을 모니터링합니다. 이러한 대시보드는 데이터 접근 빈도, 지리적 위치, 데이터에 접근하는 사용자 수 등의 흥미로운 데이터 포인트에 대한 메트릭을 제공하여, HP 팀이 실제로 어떻게 솔루션을 사용하는지에 대한 포괄적인 이해를 제공합니다.

이 사용 데이터를 통해 HP는 고객의 소비 패턴을 이해하고 개선할 부분을 식별할 수 있습니다. 예를 들어, HP가 자주 접근되는 특정 기능을 발견하면, 그 기능에 대한 개선을 미래의 제품 반복에서 우선 순위로 두게 될 수 있습니다. 또한, AI/BI 대시보드는 지역적인 추세에 대한 인사이트를 제공하여, HP가 지원 및 서비스 제공을 지역 고객의 요구에 맞게 맞춤화할 수 있게 합니다.

결론

텔레메트리 데이터를 거의 실시간으로 접근하고 분석할 수 있는 능력은 3D 프린팅에게 게임 체인저입니다. HP의 솔루션은 기계 성능과 3D 부품 생성 과정에 대한 가치 있는 통찰력을 제공할 뿐만 아니라 고객이 장비 유지보수에 대해 적극적인 접근을 할 수 있게 하여, 임대한 3D 프린터의 가치를 극대화합니다. 고급 데이터 공유 기술에 계속 투자함으로써, HP는 3D 프린팅 산업에서 데이터 중심의 혁신을 위한 기준을 설정하고 있습니다.

HP가 데이터 공유 기능을 계속 개선하고 확장함에 따라, 그들은 데이터 통찰력이 산업 과정과 고객 참여에 필수적인 미래에서 명확한 리더가 되고 있습니다. 새로운 개선 사항이 추가될 때마다, HP는 고객의 권한을 강화하기 위해 기술을 활용하는 데 대한 그들의 헌신을 보여주며, 데이터 공유와 기계 모니터링에 대한 높은 기준을 설정합니다.