제조 분야에서 확장 가능한 데이터 및 AI 산업용 IoT 솔루션을 구축하는 방법

Translated by HaUn Kim - Original Blog Post 

오늘날 제조 및 물류 분야에서 데이터와 연결을 통한 발전은 더욱 더 중요해지고 있습니다. 이러한 발전의 기반으로, 산업용 사물 인터넷(IIoT)이 엣지 컴퓨팅부터 인공지능(AI)까지의 데이터 변환 과정에서 디지털 변혁의 핵심을 이룹니다.

IIoT의 중요성과 성장 추세는 결코 간과할 수 없는 수준입니다. 여러 주요 연구 기관의 예측에 따르면, IIoT는 2027년까지 매년 16% 이상의 성장률을 기록, 전 세계 시장 규모가 2,630억 달러에 이를 것으로 보입니다. 기계 간 통신(M2M), 빅데이터 분석, 머신러닝(ML)을 포함한 자동화, 프로세스 최적화, 네트워킹 등의 산업 프로세스가 항공우주, 자동차, 에너지, 의료, 제조 및 소매 시장에서 품질과 처리량, 가동 시간 향상에 기여하며 이러한 성장을 주도하고 있습니다. 센서로부터의 실시간 데이터는 산업용 엣지 디바이스와 기업 인프라가 실시간으로 의사 결정을 내리는 데 도움을 주어, 제품의 질을 높이고 생산 인프라를 더욱 민첩하게 만들며, 공급망 위험을 줄이고 제품 출시 시간을 단축하는 데 기여합니다.

IIoT 애플리케이션은 광범위한 인더스트리 X.0 패러다임의 일부로, 산업 자산을 기업 정보 시스템, 비즈니스 프로세스 및 비즈니스 운영의 핵심인 사람과 '연결'할 수 있게 해줍니다. 이러한 '사물'과 기타 운영 데이터를 기반으로 구축된 AI 솔루션은 새로운 실시간 인사이트, 인텔리전스 및 최적화를 제공하고, 의사 결정 속도를 높이며, 진보적인 리더가 혁신적인 비즈니스 성과와 사회적 가치를 제공할 수 있도록 지원함으로써, 기존 및 신규 자본 투자의 가치를 최대한 활용하도록 돕습니다. 데이터가 새로운 연료인 것처럼, AI는 IIoT가 주도하는 혁신을 추진하는 새로운 엔진입니다.

제조 현장이나 차량의 센서 데이터를 활용하면 다양한 이점을 얻을 수 있습니다. 클라우드 기반 솔루션의 사용은 효율성을 높이고 계획을 개선하는 데 핵심적인 역할을 합니다. 사용 사례는 다음과 같습니다:

- 예측 유지보수: 전체 공장 유지보수 비용을 40% 절감합니다.
- 품질 관리 및 검사: 개별 제조 품질을 최대 35%까지 개선합니다.
- 원격 모니터링: 작업자의 건강과 안전을 보장합니다.
- 설비 모니터링: 석유 및 가스 산업에서 에너지 사용량을 4~10% 절감합니다.
- 차량 관리: 화물 추적을 거의 100% 더 빠르게 수행합니다.

산업용 IoT 솔루션 시작하기

초기에 올바른 결정을 내리지 않으면 인더스트리 4.0 솔루션을 통해 완전한 가치를 실현하는 과정에서 어려움을 겪을 수 있습니다. 제조업체들은 IIoT에서 생성되는 데이터의 속도와 양을 처리하고, 동시에 비정형 데이터를 통합할 수 있는 데이터 및 분석 플랫폼이 필요합니다. 인더스트리 4.0의 목표를 달성하기 위해서는 사용자의 도입, 운영 효율성 및 기술적 성숙도를 주요 고려 사항으로 하여 검증된 기술을 사용해 신중하게 계획해야 합니다.

제조업체는 데이터 아키텍처 전략을 수립하는 과정에서 다음과 같은 핵심 질문들을 해결해야 합니다:

- 정확한 예측과 스케줄링을 위해 얼마나 많은 데이터를 수집해야 할까요?
- 얼마나 많은 과거 데이터를 캡처하고 저장해야 할까요?
- IoT 시스템은 얼마나 많은 디바이스에서 어떤 빈도로 데이터를 생성하나요?
- 데이터를 내부적으로만 유지해야 하나요, 아니면 파트너와도 공유해야 하나요?

그림 1에 나타난 자동화 피라미드는 일반적인 제조 환경에서의 다양한 IT/OT 계층을 요약하고 있습니다. 데이터의 세부정도는 계층마다 상이합니다. 보통, 피라미드의 가장 하단부는 가장 많은 양의 데이터를 스트리밍 형태로 처리하는 곳입니다. 반면에, 피라미드의 최상단에서는 분석과 머신 러닝이 주로 배치 처리 방식에 의존하게 됩니다.

제조업체가 자신의 이니셔티브에 맞는 플랫폼 아키텍처를 설계하고 구축하기 위한 여정을 시작할 때, 고려해야 할 몇 가지 중요한 과제와 사항들이 있습니다:

플랫폼과 기술 선택에 관계없이 필수적으로 함께 작동해야 하는 기본 구성 요소들이 있습니다. 아키텍처가 원활하게 기능하려면, 이러한 각각의 빌딩 블록들을 고려해야만 합니다.

데이터브릭스를 기반으로 한 일반적인 기술 중립적 아키텍처는 다음과 같습니다. 데이터브릭스의 다양한 기능이 많은 요구 사항들을 충족시키지만, IIoT 솔루션은 독립된 섬처럼 존재할 수 없으며, 여러 지원 서비스와 솔루션들이 함께 작동해야 합니다. 이 아키텍처는 또한 추가적인 구성 요소들을 어떻게 그리고 어디에 통합할지에 대한 지침도 제공합니다.

IT 기반의 기존 데이터 아키텍처와는 다르게, 제조 분야에서는 하드웨어와 소프트웨어가 만나는 지점에서 운영 기술(OT) 아키텍처가 필요합니다. OT는 프로세스와 물리적 기계들과의 연동을 필요로 합니다. 이 아키텍처의 각 구성 요소와 측면은 산업 운영을 다룰 때의 특정한 요구 사항이나 과제들을 해결하도록 설계되었습니다. 아래 나열된 숫자들은 아키텍처를 통한 데이터의 여정을 순서대로 추적합니다:

1 - 여러 OT 프로토콜을 연결하고, 확장 가능한 방식으로 장비에서 IoT 데이터를 수집 및 스트리밍합니다. 센서, PLC/SCADA 등 데이터가 풍부한 OT 장치들로부터 클라우드 데이터 플랫폼으로의 간소화된 수집을 용이하게 합니다.
2 - 배치 모드에서 엔터프라이즈 및 마스터 데이터를 수집합니다.
3,11 - 실시간에 가까운 인사이트를 제공할 수 있습니다.
4 - 데이터 수집을 위한 원시 데이터 레이크를 조성합니다.
5,6 - 데이터 엔지니어링 파이프라인을 개발하여 데이터를 처리 및 표준화하고, 이상 징후를 제거하며, 델타 레이크에 저장합니다.
7 - 데이터 과학자들이 큐레이팅된 데이터베이스에서 머신러닝 모델을 구축할 수 있도록 지원합니다.
8,9,10 - 프로덕션에 사용할 수 있는 머신러닝 모델을 컨테이너화하여 엣지로 전송하고, 엣지 분석을 지원합니다.
12,13 - 집계된 데이터베이스에 형식화된 인사이트를 보유하고, 실시간 및 배치 방식으로 어떠한 형태로든 사용할 수 있도록 준비됩니다.

이 아키텍처를 도입해야 하는 6가지 이유

확장 가능한 IIoT 아키텍처를 구축하는 데 도움이 되는 5가지 간단한 인사이트가 있습니다:

1. 단일 에지 플랫폼은 수많은 태그를 스트리밍하는 여러 OT 프로토콜의 데이터를 연결하고 수집해야 합니다.
2. 레이크하우스는 데이터브릭스 잡 컴퓨팅 클러스터(스트리밍)를 통해 데이터를 거의 실시간으로 인사이트로 변환하고 데이터 엔지니어링 클러스터를 통해 방대한 데이터를 일괄 처리할 수 있습니다.
3. 다목적 클러스터를 통해 대량의 데이터에서 ML 워크로드를 실행할 수 있습니다.
4. MLflow는 실시간 인사이트를 위해 엣지에 배포할 수 있는 모델 아티팩트를 컨테이너화하는 데 도움이 됩니다.
5. 레이크하우스 아키텍처인 델타 레이크는 오픈 소스이며 개방형 표준을 따르기 때문에 종속성 없이 소프트웨어 구성 요소 호환성을 높입니다.
6. 바로 사용 가능한 AI 노트북 및 액셀러레이터

IIoT 솔루션을 위한 레이크하우스가 필요한 이유

제조 환경에서는 다양한 센서로부터 풍부한 데이터가 여러 게이트웨이 디바이스를 통해 공급되며, 이 데이터가 스토리지에 일관되게 저장되어야 합니다. 이 시나리오에서 직면할 수 있는 주요 문제는 다음과 같습니다:

1. 양: 시스템 내에서 데이터를 생성하는 소스의 수로 인해 저장해야 하는 데이터의 양이 급증할 수 있으며, 이는 비용 측면에서 문제가 될 수 있습니다.
2. 속도: 일반적인 제조 현장에 수십 개의 게이트웨이와 연결된 수백 개의 센서가 있을 경우, 장애가 발생할 위험이 높아지는 이상적인 조건이 됩니다.
3. 다양성: 작업 현장에서 생성되는 데이터가 항상 정형화된 표 형식으로 제공되는 것이 아니라, 반정형 또는 비정형일 수 있습니다.

데이터브릭스 레이크하우스 플랫폼은 대량의 스트리밍 데이터를 관리하기에 이상적입니다. 이는 Delta Lake를 기반으로 하여 여러 센서와 장치에서 소량 단위로 전송되는 대량의 데이터 스트림을 처리할 수 있으며, 기존의 웨어하우스 아키텍처에 비해 ACID 규정을 준수하고 작업 장애를 줄일 수 있습니다. Lakehouse 플랫폼은 대용량 데이터를 처리할 수 있도록 설계되었습니다.

제조업에서 생성되는 다양한 데이터 유형, 예를 들어 반정형(JSON, XML, MQTT 등) 또는 비정형(비디오, 오디오, PDF 등) 데이터는 이 플랫폼 패턴에 완벽하게 부합합니다. 이런 모든 유형의 데이터를 하나의 플랫폼에서 통합함으로써, 단일 진실의 원천을 확립하여 더욱 정확한 결과를 얻을 수 있습니다.

데이터 관리 기능뿐만 아니라, 레이크하우스를 사용하는 데이터 팀은 데이터를 별도로 복사하지 않고도 분석과 머신러닝 작업을 직접 수행할 수 있어 정확성과 효율성을 높일 수 있습니다. 스토리지와 컴퓨팅이 분리되어 있기 때문에, 레이크하우스는 더 많은 동시 사용자와 더 큰 데이터 양을 처리할 수 있도록 확장될 수 있습니다.

결론

IIoT 시스템을 통해 구축된 솔루션에 투자한 제조업체들은 비용과 생산성을 크게 최적화하는 동시에 수익도 증가시켰습니다. 다양한 데이터 소스를 통합하는 것은 제조업계에서 지속적으로 직면하는 과제입니다. 가치 중심의 성과를 달성하기 위한 핵심은 산업 데이터의 양과 속도를 감당할 수 있도록 확장 가능하며, 동시에 엄청난 비용 증가에 굴하지 않는 적절한 아키텍처에 투자하는 것입니다. 데이터브릭스와 트레덴스는 데이터 레이크하우스 아키텍처가 이러한 요구를 충족시키는 주요 동력이라고 보고 있습니다. 앞으로의 블로그 포스트에서는 이 중요한 아키텍처 위에 구축된 '저장소' 내에서 의미 있는 데이터 분석과 AI 기반 분석을 실행하여 가치를 창출하는 방법을 소개할 예정입니다. 더 많은 솔루션을 살펴보세요.