Mosaic AI: 프로덕션 품질의 컴파운드 AI 시스템 구축 및 배포

지난 한 해 동안 일반 지식 작업에 대한 강력한 추론 능력을 보여주는 상용 및 오픈 소스 기반 모델이 급증했습니다. 이러한 일반 모델도 중요한 구성 요소이지만, 프로덕션 AI 애플리케이션은 조정된 모델, 검색, 도구 사용, 추론 에이전트와 같은 여러 구성 요소를 활용하는 복합 AI 시스템을 사용하는 경우가 많습니다. AI 시스템은 기반 모델을 보강하여 훨씬 더 나은 품질을 제공하고 고객이 이러한 GenAI 앱을 프로덕션에 자신 있게 적용할 수 있도록 지원합니다.

오늘 데이터 및 AI 서밋에서 Databricks는 Databricks Mosaic AI를 프로덕션급 AI 시스템 구축을 위한 최고의 플랫폼으로 만드는 몇 가지 새로운 기능을 발표했습니다. 이러한 기능은 수천 개의 기업과 협력하여 AI 기반 애플리케이션을 프로덕션에 도입한 경험을 바탕으로 개발되었습니다. 오늘 발표된 내용에는 기초 모델 미세 조정 지원, AI 도구용 엔터프라이즈 카탈로그, AI 에이전트 구축, 배포 및 평가를 위한 새로운 SDK, 배포된 AI 서비스를 관리하기 위한 통합 AI 게이트웨이가 포함되어 있습니다.

이번 발표를 통해 Databricks는 1년 전 MosaicML 인수 시 처음 포함된 모델 구축 기능을 완전히 통합하고 대폭 확장했습니다. 

복합 AI 시스템 구축 및 배포

모놀리식 AI 모델에서 복합 시스템으로의 전환은 학계와 산업계 모두에서 활발히 연구 중인 분야입니다. 최근의 연구 결과에 따르면 "모놀리식 모델뿐만 아니라 여러 구성 요소가 있는 복합 시스템에서 최첨단 AI 결과를 얻는 경우가 점점 더 많아지고 있다"고 합니다. 이러한 결과는 고객 기반에서 확인할 수 있습니다. 금융 리서치 회사인 FactSet을 예로 들면, 텍스트-재무 공식 사용 사례에 상용 LLM을 배포했을 때는 생성된 공식의 정확도가 55%에 불과했지만, 모델을 복합 시스템으로 모듈화함으로써 각 작업을 전문화하여 85%의 정확도를 달성할 수 있었습니다.

Databricks의 Mosaic AI 플랫폼은 AI 시스템 구축을 지원하는 다음과 같은 제품을 제공합니다:

• Mosaic AI 모델 미세 조정: 소규모 데이터 세트에서 모델을 미세 조정하든, 3,000개 이상의 GPU에서 수조 개의 토큰을 사용하여 처음부터 모델을 사전 훈련하든(예: DBRX), 기본 인프라를 추상화하여 모델 훈련을 위한 사용하기 쉬운 관리형 API를 제공합니다. 고객들은 시스템 구성 요소에 대한 소규모 오픈 소스 모델을 미세 조정하여 비용과 지연 시간을 줄이면서 엔터프라이즈 작업에서 GPT-4 성능을 독점 데이터와 일치시켜 성공을 거두는 것을 보고 있습니다. 모델 교육은 고객이 모델과 데이터를 완전히 소유할 수 있도록 지원하여 품질을 반복적으로 개선할 수 있도록 합니다. 

사용자는 작업과 기본 모델을 선택하고 학습 데이터( Delta 테이블 또는 .jsonl( 파일)을 사용하여 전문 작업에 맞게 완전히 미세 조정된 모델을 얻을 수 있습니다.

• 데이터브릭스와 함께하는 Shutterstock ImageAI: Shutterstock은 Databricks와의 파트너십을 통해 Mosaic AI 모델 트레이닝을 사용하여 Shutterstock의 세계적 수준의 이미지 리포지토리에서 독점적으로 학습된 새로운 텍스트-이미지 변환 모델을 발표했습니다. 이를 통해 특정 비즈니스 요구 사항에 맞는 신뢰할 수 있는 고품질의 맞춤형 이미지를 생성할 수 있습니다.
• 고객 관리 키와 하이브리드 검색을 지원하는 Mosaic AI Vector Search: 최근 Mosaic AI Vector Search가 퍼블릭으로 공개되었습니다. 이제 벡터 검색은 검색 성능이 우수하고 8K 컨텍스트 길이를 지원하는 GTE급 임베딩 모델을 지원합니다. 또한 고객 관리 키를 지원하여 데이터에 대한 제어를 강화하고 하이브리드 검색을 지원하여 검색 품질을 개선했습니다.
• 빠른 개발을 위한 Mosaic AI 에이전트 프레임워크: Mosaic AI에서 가장 인기 있는 GenAI 애플리케이션인 RAG 애플리케이션에 대해 에이전트 프레임워크의 퍼블릭 프리뷰를 발표했습니다. 이를 통해 Unity Catalog에서 안전하게 관리 및 제공되는 독점 데이터로 증강되는 AI 시스템을 매우 쉽게 구축할 수 있습니다.
• 모자이크 AI 모델 에이전트 지원 및 파운데이션 모델 API를 일반에 공개합니다: 이제 고객은 실시간 서빙 모델 외에도 모델 서빙을 통해 상담원 및 RAG에 서비스를 제공할 수 있습니다. 또한 파운데이션 모델(API)을 일반에 공개하여 고객이 프로덕션 워크로드에 대한 프로비저닝 처리량뿐만 아니라 토큰당 지불 방식으로 액세스할 수 있도록 했습니다.
• 모자이크 AI 도구 카탈로그 및 Function-Calling: 오늘 저희는 Mosaic AI 도구 카탈로그를 발표했습니다. 이를 통해 고객이 내부 또는 외부의 공통 기능에 대한 엔터프라이즈 레지스트리를 생성하고 이러한 도구를 조직 전체에서 공유하여 AI 애플리케이션에 사용할 수 있습니다. 또한 모델 서빙을 개선하여 고객이 Llama 3-70B와 같은 인기 있는 오픈 소스 모델을 에이전트의 추론 엔진으로 사용할 수 있도록 했습니다. 

이제  Mosaic AI 모델 서비스는 Function-Calling을 지원하며, 사용자는 AI Playground에서 Function 및 기본 모델을 빠르게 실험할 수 있습니다.

AI 시스템 평가

범용 AI 모델은 MMLU와 같은 벤치마크에 최적화되지만, 배포된 AI 시스템은 지원 티켓에 대한 답변, 쿼리 생성 또는 응답 제안과 같은 특정 사용자 작업을 해결하도록 설계됩니다. 이러한 시스템이 제대로 작동하도록 하려면 품질 지표를 정의하고, 품질 신호를 수집하며, 성능을 반복할 수 있는 강력한 평가 프레임워크를 갖추는 것이 중요합니다. 오늘 몇 가지 새로운 평가 도구를 소개하게 되어 기쁩니다:

• 자동화된 평가와 인간 평가를 위한 Mosaic AI 에이전트 평가: 상담원 평가를 사용하면 성공적인 상호작용의 '황금' 예시를 제공함으로써 AI 시스템에 적합한 고품질 답변을 정의할 수 있습니다. 이 품질 기준이 존재하면 시스템의 순열, 모델 튜닝, 검색 변경 또는 도구 추가를 탐색하고 시스템 변경이 품질을 어떻게 변화시키는지 이해할 수 있습니다. 또한 에이전트 평가를 사용하면 Databricks 계정이 없는 경우에도 조직 전체의 주제별 전문가를 초대하여 AI 시스템 결과물을 검토하고 레이블을 지정하여 프로덕션 품질 평가를 수행하고 확장된 평가 데이터 세트를 구축할 수 있습니다. 마지막으로, 시스템에서 제공하는 LLM 심사위원은 정확성이나 유용성과 같은 공통 기준에 따라 응답에 등급을 매겨 평가 데이터 수집을 더욱 확장할 수 있습니다. 상세한 프로덕션 추적은 품질이 낮은 응답을 진단하는 데 도움이 될 수 있습니다. 

Mosaic AI 에이전트 평가는 개발자가 빠른 직관을 형성하는 데 도움이 되는 AI 지원 지표를 제공합니다.

Mosaic AI 에이전트 평가를 통해 Databricks 플랫폼 외부의 이해관계자들도 모델 결과물을 평가하고 등급을 제공하여 품질을 반복적으로 개선할 수 있습니다.

• MLflow 2.14: MLflow는 모델에 구애받지 않는 LLM(Large Language Model) 및 AI 시스템 평가 프레임워크로, 고객이 각 단계에서 파라미터를 측정하고 추적할 수 있도록 지원합니다. MLflow 2.14를 통해 MLflow Tracing을 발표하게 되어 기쁩니다. 개발자는 추적을 통해 모델 및 에이전트 추론의 각 단계를 기록하여 성능 문제를 디버그하고 향후 개선 사항을 테스트하기 위한 평가 데이터 세트를 구축할 수 있습니다. 추적은 Databricks MLflow 실험, Databricks 노트북 및 Databricks 추론 테이블과 긴밀하게 통합되어 개발부터 프로덕션까지 성능 인사이트를 제공합니다.

코닝은 소재 과학 기업으로서 유리 및 세라믹 기술은 다양한 산업 및 과학 응용 분야에 사용되므로 데이터를 이해하고 이를 바탕으로 조치를 취하는 것이 필수적입니다. Databricks Mosaic AI 에이전트 프레임워크를 사용하여 미국 특허청 데이터를 포함한 수십만 개의 문서를 인덱싱하는 AI 연구 도우미를 구축했습니다. 연구원들이 작업 중인 과제를 찾아서 더 발전시킬 수 있도록 LLM 기반 어시스턴트가 높은 정확도로 질문에 응답하는 것이 매우 중요했습니다. 이를 구현하기 위해 Databricks Mosaic AI 에이전트 프레임워크를 사용하여 미국 특허청 데이터로 증강된 Hello Generative AI 솔루션을 구축했습니다. Databricks 데이터 인텔리전스 플랫폼을 활용하여 검색 속도, 응답 품질 및 정확성을 크게 개선했습니다. - 데니스 카모츠키, 수석 소프트웨어 엔지니어, 코닝

AI 시스템 관리

최신 첨단 파운데이션 모델의 급격한 증가로 인해 고객들이 새로운 모델을 빠르게 채택하는 것을 목격했습니다. 예를 들어, DBRX는 출시 2주 만에 천 명의 고객이 실험에 참여했으며, 최근 출시된 Llama3 모델도 수백 명의 고객이 실험에 참여하고 있습니다.

많은 기업들이 합리적인 기간 내에 플랫폼에서 이러한 최신 모델을 지원하기 어렵고, 프롬프트 구조와 쿼리 인터페이스의 변경으로 인해 구현이 어렵다는 것을 알게 되었습니다. 또한 기업이 최신의 최고 모델에 대한 액세스를 개방함에 따라, 사람들이 많은 것을 구축하게 되면서 거버넌스 문제가 발생할 수 있습니다. 일반적인 거버넌스 문제로는 속도 제한에 도달하여 프로덕션 애플리케이션에 영향을 미치는 것, 대규모 테이블에서 GenAI 모델을 실행할 때 발생하는 비용 폭증, 타사 모델 공급자에게 PII를 전송할 때 발생하는 데이터 유출 우려 등이 있습니다.

이에 대응하여 오늘 거버넌스를 위한 AI 게이트웨이의 새로운 기능과 모델 검색을 지원하는 선별된 모델 카탈로그를 발표하게 되어 기쁩니다. 포함된 기능은 다음과 같습니다:

• 중앙 집중식 AI 거버넌스를 위한 Mosaic AI Gateway: Mosaic AI Gateway를 통해 고객은 통합 인터페이스를 통해 모델을 쉽게 관리, 거버넌스, 평가 및 전환할 수 있습니다. 이는 모델 서빙에 위치하여 모델 APIs(외부 또는 내부)에 대한 속도 제한, 권한 및 자격 증명 관리를 활성화합니다. 또한 고객이 시스템에서 모델을 쉽게 교체하고 사용 사례에 가장 적합한 모델을 찾기 위해 신속하게 실험할 수 있도록 Foundation Model API를 쿼리할 수 있는 단일 인터페이스를 제공합니다. Gateway Usage Tracking은 각 모델 API를 호출하는 사용자를 추적하고 추론 테이블은 어떤 데이터가 들어오고 나가는지 캡처합니다. 이를 통해 플랫폼 팀은 사용 한도를 변경하고, 비용 할당을 구현하고, 데이터 유출을 감사하는 방법을 이해할 수 있습니다.
• Mosaic AI Guardrails: 엔드포인트 수준 또는 요청 수준 안전 필터링을 추가하여 안전하지 않은 응답을 방지하거나 PII 탐지 필터를 추가하여 민감한 데이터 유출을 방지할 수도 있습니다.
• system.ai 카탈로그: 최신 오픈 소스 모델 목록을 선별하여 Unity Catalog의 system.ai 에서 관리합니다. 모델 서빙 Foundation Model APIs를 사용하여 이러한 모델을 쉽게 배포하거나 Model Training을 통해 미세 조정할 수 있습니다. 고객은 설정 > 개발자 > 맞춤 홈페이지로 이동하여 Mosaic AI 홈페이지에서 지원되는 모든 모델을 찾을 수도 있습니다.

Databricks Model Serving은 내부 또는 외부에서 호스팅되는 모델을 포함하여 여러 SaaS 및 오픈 모델에 안전하게 액세스하고 관리할 수 있도록 함으로써 Databricks AI 기반 프로젝트를 가속화하고 있습니다. 중앙 집중식 접근 방식은 보안 및 비용 관리를 간소화하여 데이터 팀이 관리 오버헤드를 줄이고 혁신에 더 집중할 수 있도록 지원합니다. - Greg Rokita, Edmunds.com 기술 담당 부사장

Databricks Mosaic AI 플랫폼은 팀이 중앙 집중식 거버넌스와 통합 인터페이스를 통해 단일 플랫폼에서 복합 AI 시스템을 구축하고 협업하여 학습, 추적, 평가, 교환 및 배포할 수 있도록 지원합니다. 엔터프라이즈 데이터를 활용함으로써 조직은 일반 인텔리전스에서 데이터 인텔리전스로 전환할 수 있습니다. 이러한 진화를 통해 조직은 보다 관련성 높은 인사이트를 더 빠르게 얻을 수 있습니다.

고객들이 다음에 어떤 혁신을 만들어낼지 기대가 됩니다!

자세히 살펴보기

• Databricks Mosaic AI
• 관련 문서

(번역: HaUn Kim)  Original Post