데이터브릭스에서 프로덕션 품질의 RAG 애플리케이션 개발하기

지난 12월에 우리는 검색 증강 생성(RAG)을 사용해 생성형 AI 애플리케이션을 프로덕션에 적용할 수 있는 새로운 도구 세트를 발표했습니다. 그 이후로 수천 명의 고객들이 데이터브릭스 데이터 인텔리전스 플랫폼에서 RAG 애플리케이션을 구축하는 것이 폭발적으로 늘어남을 목도했습니다.

오늘, 데이터브릭스 데이터 인텔리전스 플랫폼에서 바로 사용할 수 있는 기본 기능들을 이용하여 기업들이 고품질 RAG 애플리케이션을 쉽게 구축할 수 있도록, Vector Search의 일반 공개(GA)와 모델 서빙의 주요 업데이트 소식을 발표하게 되어 기쁘게 생각합니다.

고품질 AI 애플리케이션의 과제

고객과 긴밀히 협력하여 AI 애플리케이션을 구축하고 배포하면서, 고객 대면 시스템에 필요한 높은 수준의 품질을 달성하는 것이 가장 큰 과제라는 사실을 알게 되었습니다. 개발자들은 AI 애플리케이션의 결과물을 고객에게 제공하기 전에 정확하고 안전하며 관리되는지 확인하기 위해 엄청난 시간과 노력을 투자하며, 이러한 흥미로운 신기술의 가치를 실현하는 데 가장 큰 걸림돌로 정확성과 품질을 종종 꼽습니다.

전통적으로 품질을 극대화하기 위한 주요 초점은 최고 품질의 기준 추론 및 지식 기능을 제공하는 LLM을 배포하는 것이었습니다. 하지만 최근 연구에 따르면 기본 모델 품질은 AI 애플리케이션의 품질을 결정하는 여러 요소 중 하나에 불과한 것으로 나타났습니다. 엔터프라이즈 컨텍스트와 지침이 없는 LLM은 기본적으로 데이터를 제대로 이해하지 못하기 때문에 여전히 오류를 범할 수 있습니다. 또한 AI 애플리케이션이 거버넌스를 이해하지 못하고 적절한 액세스 제어 기능을 갖추지 못하면 기밀 데이터나 부적절한 데이터를 노출할 수 있습니다. 

코닝은 다양한 산업과 과학 분야에 사용되는 유리 및 세라믹 기술을 보유한 재료 과학 회사입니다. 우리는 데이터브릭스를 사용하여 미국 특허청 데이터의 2,500만 문서를 색인하는 AI 연구 도우미를 구축했습니다. 연구원들이 작업 중인 과제를 찾아서 진행할 수 있도록 LLM 기반 어시스턴트가 높은 정확도로 질문에 응답하도록 하는 것이 매우 중요했습니다. 이를 구현하기 위해 데이터브릭스 Vector Search를 사용하여 미국 특허청 데이터로 LLM을 보강했습니다. 데이터브릭스 솔루션은 검색 속도, 응답 품질, 정확성을 크게 향상시켰습니다.  - 데니스 카모츠키, 수석 소프트웨어 엔지니어, Corning

품질에 대한 AI 시스템 접근 방식 

GenAI 애플리케이션에서 프로덕션 수준의 품질을 달성하려면 데이터 준비, 검색 모델, 언어 모델(SaaS 또는 오픈 소스), 랭킹, 후처리 파이프라인, 프롬프트 엔지니어링, 자체 엔터프라이즈 데이터를 사용한 학습 등 GenAI 프로세스의 여러 측면과 구성 요소를 포함하는 포괄적인 접근 방식이 필요합니다. 이러한 구성 요소들이 함께 모여 AI 시스템을 구성합니다.

Ford Direct는 딜러들이 실적, 재고, 트렌드와 고객 참여 지표를 평가할 수 있도록 통합 챗봇을 만들어야 했습니다. 데이터브릭스 Vector Search를 통해 검색 증강 생성(RAG)을 사용하는 생성형 AI 솔루션에 내부 데이터와 문서를 통합할 수 있었습니다.  Vector Search와 데이터브릭스 델타 테이블 및 Unity Catalog의 통합을 통해, 소스 데이터가 업데이트되면 배포된 모델/애플리케이션을 건드리거나 다시 배포할 필요 없이 실시간으로 벡터 인덱스에 원활하게 적용할 수 있었습니다. - Tom Thomas, 분석 담당 부사장, FordDirect

오늘, 고객이 프로덕션 품질의 GenAI 애플리케이션을 구축할 수 있도록 지원하는 주요 업데이트와 자세한 내용을 발표하게 되어 기쁘게 생각합니다. 

• Vector Search의 일반 공개(GA): 고객이 엔터프라이즈 데이터로 LLM을 보강할 수 있도록 특별히 구축된 서버리스 벡터 데이터베이스인 Vector Search가 GA되었습니다.  
• Model Serving Foundation Model API가 몇 주 내 일반 공개(GA) 예정: 모델 서빙 엔드포인트에서 최신 LLM에 액세스하고 쿼리할 수 있는 Model Serving Foundation Model API가 몇 주 내로 GA될 예정입니다.
• Model Serving 의 주요 업데이트
  • 새로운 사용자 인터페이스로 더욱 쉽게 LLM을 배포, 서비스, 모니터링, 관리 및 쿼리 가능
  • 최신 모델 지원 추가 - Claude3, Gemini, DBRX 및 Llama3
  • 대규모 LLM 배포 및 쿼리의 성능 개선
  • 모든 유형의 서빙 엔드포인트에서 추론 테이블을 지원하여 거버넌스 및 감사 기능 향상

또한 프로덕션 품질의 GenAI를 배포하는 데 도움이 되는 다음 사항도 이전에 발표한 바 있습니다:

• RAG 앱에 구조화된 컨텍스트를 제공할 수 있도록 Feature Serving의 일반 공개(GA) 
• RAG 앱의 프로덕션 성능을 관찰할 수 있는 유연한 품질 모니터링 인터페이스

곧 이러한 새로운 기능을 사용하여 고품질의 RAG 앱을 구축하는 방법에 대한 자세한 블로그가 게시될 예정입니다. 또한 데이터브릭스에서 개발한 개방형 범용 LLM인 DBRX를 구축한 방법에 대한 내부 개발자 블로그도 공유할 예정입니다. 

더 많은 정보

• Watch the GenAI Payoff Virtual Event
• Refer to Vector Search and Model Serving documentation
• Join us at Data + AI Summit

(번역: Youngkyong Ko) Original Post