데이터 인텔리전스(Data Intelligence)

데이터 인텔리전스는 어떻게 작동하나요?

데이터 인텔리전스는 생성형 AI와 기존 AI 모델을 모두 활용하여 조직의 엔터프라이즈 데이터와 그 활용을 종합적으로 이해합니다. 데이터 카탈로그, SQL 쿼리, BI 대시보드, 노트북, 데이터 파이프라인, 문서 등 조직의 데이터 자산 전체에서 포착된 신호를 학습합니다. 이러한 접근 방식을 통해 비즈니스의 개념, 의미 및 고유한 데이터 환경에 대한 미묘한 차이를 이해할 수 있습니다. 그 결과, 공용 인터넷 데이터만으로 학습된 대형 언어 모델(LLM)보다 훨씬 더 정확한 답변을 제공합니다.

데이터 인텔리전스의 이점은 무엇인가요?

데이터 인텔리전스는 조직에 다음과 같은 이점을 제공합니다.

• 자연어 접근을 통한 데이터 및 AI 생산성 향상: AI 모델을 활용한 데이터 인텔리전스는 조직의 내부 용어와 약어에 맞춰 자연어로 데이터를 다룰 수 있도록 해줍니다. 데이터 인텔리전스는 기존 워크로드에서 데이터가 어떻게 사용되는지 관찰하여 조직의 용어를 학습하고, 비전문가부터 데이터 사이언티스트, 엔지니어에 이르기까지 모든 사용자에게 맞춤형 자연어 인터페이스를 제공합니다.
• 데이터 및 AI 자산의 의미 분류와 검색 개선: 생성형 AI는 조직별 데이터 모델, 지표 및 KPI를 이해하여 뛰어난 검색 기능을 제공하고, 데이터 사용에서 발생하는 불일치를 자동으로 식별할 수 있습니다.
• 데이터 관리와 최적화의 자동화: 데이터 인텔리전스 모델은 데이터 사용 패턴을 기반으로 데이터 레이아웃, 파티셔닝 및 인덱싱을 최적화하여 수동 조정 및 설정의 필요성을 줄여줍니다.
• 거버넌스 및 개인정보 보호 강화: 데이터 인텔리전스를 통해 조직은 자연어를 사용하여 데이터 관리를 간소화하는 동시에 민감한 데이터의 오용을 자동으로 감지, 분류 및 방지할 수 있습니다.
• AI 워크로드를 최고 수준으로 지원: 데이터 인텔리전스는 엔터프라이즈 AI 애플리케이션을 관련 비즈니스 데이터에 연결하여, 학습한 의미(예: 지표, KPI)를 활용하여 보다 정확하고 적절한 결과를 제공할 수 있도록 합니다. 데이터 인텔리전스를 사용하면 AI 애플리케이션 개발자는 더 이상 취약한 프롬프트 엔지니어링을 통해 인텔리전스를 '비정상적으로' 구현하지 않아도 됩니다.

데이터 인텔리전스 사용 사례

데이터 인텔리전스는 금융, 의료, 에너지 등 다양한 산업에서 활용되고 있으며 비즈니스 운영 방식을 변화시키고 있습니다. 다음 예시들은 데이터 인텔리전스가 기업의 고객 이해, 프로세스 개선, 사기 탐지 등에 어떻게 도움이 되는지를 보여줍니다.

• 금융: 데이터 인텔리전스를 사용하여 재무 위험을 관리하고, 경제 동향을 예측하며, 각종 규제를 준수합니다. 은행 및 기타 금융 기관은 데이터를 분석하여 신용도를 평가하고, 사기를 식별하고, 고객을 분류합니다.
• 리테일 및 CPG: 데이터 인텔리전스를 활용하여 고객 선호도를 파악하고, 재고를 더 효과적으로 관리하며, 공급망을 최적화하고, 개별 고객을 위한 맞춤형 마케팅 전략을 세웁니다.
• 공공 부문: 데이터 인텔리전스는 서비스를 개선하고 정보에 입각한 정책 결정을 내리는 데 매우 중요합니다. 정부 기관은 데이터를 사용하여 경제 변화를 모니터링하고 더 나은 서비스를 제공합니다.
• 보험: 데이터 인텔리전스를 활용하여 위험을 평가하고 보험료를 책정하며 보험금 청구의 사기 여부를 감지합니다. 대규모 데이터세트를 분석하여 리스크를 보다 명확하게 파악하고 보험금 청구 프로세스를 간소화합니다.
• 의료 서비스: 환자에게 더 나은 의료를 제공하고 비용을 관리하며 연구를 수행하기 위해 데이터 인텔리전스를 활용합니다. 데이터 분석은 의료진의 의사 결정을 지원하고 효과적인 치료법을 파악하는 데 도움이 됩니다.
• 에너지: 데이터 분석을 통해 에너지 사용량을 모니터링 및 예측하고 전력망의 효율성을 개선합니다.

데이터 인텔리전스의 활용 방법은 산업별로 다를 수 있지만, 데이터에서 가치 있는 인사이트를 추출하고 이를 활용하여 비즈니스 성장을 촉진하고 고객 경험을 개선한다는 목표는 동일합니다.

Data Intelligence Platform을 지원하는 핵심 기술

Data Intelligence Platform은 (데이터 레이크와 데이터 웨어하우스의 장점을 결합한) 데이터 레이크하우스를 기반으로 구축된 아키텍처로, 모든 데이터와 거버넌스를 위한 개방적이고 통합된 기반을 제공하며, 조직의 데이터 특성을 이해하는 데이터 인텔리전스 엔진을 통해 운영됩니다. Data Intelligence Platform에 사용되는 주요 기술은 다음과 같습니다:

1. 개방적이고 통합된 데이터 스토리지
   • 클라우드 스토리지 서비스: Amazon S3, Google Cloud Storage, Azure Data Lake 스토리지 등 확장 가능하고 비용 효율적인 스토리지를 제공합니다.
   • 개방형 데이터 형식: Parquet과 같은 데이터 형식에 ACID 트랜잭션을 가져와 안정적인 데이터 운영 및 관리를 가능하게 하는 오픈 소스 스토리지 레이어인 Delta Lake UniForm과 Apache Iceberg가 여기에 포함됩니다.
2. 개방형 메타데이터 및 거버넌스 서비스
   • Unity Catalog: 데이터 레이크하우스를 위한 개방형 데이터 거버넌스 및 메타데이터 관리를 제공합니다.
   • Hive metastore: Hive 테이블 및 데이터베이스의 메타데이터를 저장하는 중앙 리포지토리로, 데이터 탐색 및 관리를 도와줍니다.
3. 분산 데이터 처리
   • Apache Spark™ 및 Spark Structured Streaming: 배치 및 실시간 스트림 처리를 지원하는 대규모 데이터 처리를 위한 Unified Analytics 엔진입니다.
4. 쿼리 엔진
   • Databricks Photon: 데이터 레이크에서 직접 실행되는 차세대 엔진으로, 데이터 수집, ETL, 스트리밍, 데이터 웨어하우징, Data Science 및 대화형 쿼리에 저렴한 비용으로 매우 빠른 성능을 제공합니다.
5. Machine Learning 및 MLOps
   • MLflow: 실험, 재현성 및 배포를 포함한 ML 수명 주기를 관리하는 오픈 소스 플랫폼입니다.
   • Mosaic AI: 머신 러닝 워크플로우를 최적화하고 자동화하여 기존 및 생성 AI 모델의 개발과 배포의 속도를 높이는 도구입니다.
6. 복합 AI 시스템
   • 복합 AI 시스템은 데이터 카탈로그, 대시보드, 노트북, 데이터 파이프라인 및 문서를 포함한 조직의 데이터 플랫폼에서 신호를 수집하여, 조직의 데이터, 사용 패턴 및 비즈니스 개념을 이해하는 전문적이고 정확한 생성형 AI 모델을 만듭니다.