데이터브릭스와 Azure DevOps를 이용해 확장 가능한 AI를 엣지로 가져오기

제조업에서 머신 러닝과 AI의 기회는 엄청납니다. 생산량을 소비자 수요에 더 잘 맞추는 것부터 공정 제어 개선, 수율 예측, 결함 감지, 예측 유지보수, 배송 최적화 등에 이르기까지 ML/AI는 제조업체의 비즈니스 운영 방식을 혁신할 준비가 되어 있으며, 이러한 기술은 인더스트리 4.0 이니셔티브의 주요 관심 분야가 되고 있습니다.

하지만 이러한 잠재력을 실현하는 데는 어려움이 따릅니다. 조직이 머신 러닝과 AI를 도입할 때 실패하는 방법은 여러 가지가 있지만, 그 중 중요한 방법 중 하나는 모델이 운영 프로세스에 어떻게 통합될지 예측하지 못하는 것입니다.

작업 현장 예측에 필수적인 엣지 디바이스

제조업에서는 ML/AI를 즉시 활용할 수 있는 많은 기회가 작업 현장 안팎에서 발견됩니다. 기계, 계측기, 장치, 센서에서 전송되는 신호는 이 정보를 예측으로 변환하여 운영을 관리하거나 경고를 트리거하는 모델로 전송됩니다. 이러한 활동을 조정하는 모델의 기능은 작업 현장 장치와 모델 간의 안정적이고 안전하며 지연 시간이 짧은 연결에 달려 있는데, 대규모 네트워크를 통해 두 장치가 분리되어 있는 경우 항상 보장할 수 있는 것은 아닙니다.

그러나 모델을 학습시키는 데 필요한 방대한 양의 데이터를 수집하려면 대규모 네트워크가 필요합니다. 모델을 학습하는 동안 알고리즘은 이러한 실제 또는 시뮬레이션 장치에서 수집된 다양한 값에 반복적으로 도입되어 데이터의 관련 패턴을 찾아낼 수 있습니다. 이 과정은 계산 집약적이고 시간이 많이 소요되는 프로세스이므로 클라우드에서 관리하는 것이 가장 좋습니다.

학습을 위해서는 이러한 리소스에 대한 액세스가 필요하지만, 결과 모델은 놀라울 정도로 가벼운 경우가 많습니다. 테라바이트 단위의 데이터에서 학습한 정보는 학습된 모델 내에서 메가바이트 또는 킬로바이트 단위의 메타데이터로 압축될 수 있습니다. 즉, 이전에 클라우드에서 학습된 일반적인 모델은 매우 적은 컴퓨팅 장치의 지원으로 빠르고 정확한 예측을 생성할 수 있습니다. 이를 통해 작업 현장 또는 그 근처에서 경량 디바이스로 모델을 배포할 수 있는 기회가 열립니다. 이러한 엣지 배포는 통합 시나리오를 지원하기 위해 대규모 고속 네트워크에 대한 의존도를 줄여줍니다. (그림 1)

에지 디바이스 배포를 지원하는 데이터브릭스 및 Azure DevOps

모든 요소를 종합하면, 초기 데이터를 수집하여 클라우드로 푸시하고 모델을 학습시킬 플랫폼이 필요합니다. 통합 클라우드 기반 분석 데이터 플랫폼인 데이터브릭스는 다양한 ML/AI 모델을 빠르고 확장 가능한 방식으로 학습시킬 수 있는 환경을 제공합니다.

그런 다음 학습된 모델을 컨테이너 이미지에 배포해야 합니다. 이 컨테이너는 모델과 모든 종속성을 호스팅할 뿐만 아니라 다양한 외부 애플리케이션에서 액세스할 수 있는 방식으로 모델을 제공해야 합니다. 오늘날 REST API는 이러한 방식으로 애플리케이션을 제공하기 위한 최고의 표준입니다. 강력한 REST API를 정의하는 메커니즘은 다소 어려울 수 있지만, 좋은 소식은 MLflow 모델 관리 및 배포 플랫폼의 통합을 통해 데이터브릭스를 사용하면 코드 한 줄로 이 작업을 수행할 수 있다는 것입니다.

컨테이너가 정의되었으면 이제 컨테이너를 엣지 디바이스에 배포해야 합니다. 일반적인 디바이스는 64비트 프로세서, 몇 기가바이트의 RAM, WiFi 또는 이더넷 연결을 제공하며, 컨테이너 이미지를 실행할 수 있는 Linux와 같은 경량 운영 체제를 실행합니다. 그런 다음 다양한 디바이스에 컨테이너 배포를 관리하기 위해 빌드된 Azure DevOps와 같은 도구를 사용하여 모델 컨테이너를 클라우드에서 디바이스로 푸시하고 로컬 예측 서비스를 시작할 수 있습니다.

고객이 모델 학습, 패키징 및 엣지 배포 프로세스를 탐색할 수 있도록 데이터브릭스에서 엣지까지 여정의 각 단계를 자세히 설명하는 사전 구축된 리소스가 포함된 솔루션 액셀러레이터를 구축했습니다. 이러한 자산이 엣지 배포 프로세스를 이해하는 데 도움이 되기를 바라며, 조직이 배포 프로세스의 메커니즘이 아닌 예측 기능을 통해 작업 현장 운영을 개선하는 방법에 집중할 수 있기를 바랍니다.

여기에서 솔루션 액셀러레이터를 살펴보고 귀사의 엣지 배포에 대해 문의하세요.