새로운 파운데이션 모델 기능으로 생성형 AI 앱을 더 빠르게 구축하기

Databricks 모델 서비스를 통해 모든 파운데이션 모델에 액세스, 관리 및 모니터링이 가능합니다.

작성자: 아흐메드 빌랄, 아스판디르 쿠레시, 마가렛 첸, 지안웨이 시에, Sue Ann Hong, 블라디미르 콜로브스키, 민규 리, 앙킷 마투르

December 11, 2023 in 엔지니어링 블로그

이 포스트 공유하기

지난 주 검색 증강 세대(RAG) 에 대한 발표에 이어, 모델 서빙에 대한 주요 업데이트를 발표하게 되어 기쁩니다. Databricks Model Serving은 이제 통합 인터페이스를 제공하여 모든 클라우드 및 제공업체에서 기초 모델을 실험하고 사용자 지정 및 프로덕션 하기에 더욱 쉬워졌습니다. 즉, 조직의 고유 데이터를 안전하게 활용하면서 사용 사례에 가장 적합한 모델을 사용하여 고품질의 Gen AI 앱을 만들 수 있습니다.

새로운 통합 인터페이스를 사용하면 모델이 Databricks에 있든 외부에서 호스팅이 되든 상관없이 모든 모델을 한곳에서 관리하고 단일 API로 쿼리할 수 있습니다. 또한 Llama2 및 MPT 모델과 같은 인기 있는 대규모 언어 모델(LLM)에 바로 액세스할 수 있는 파운데이션 모델 (APIs)을 출시할 예정입니다. APIs에는 토큰당 지불 또는 프로비저닝된 처리량과 같은 온디맨드 가격 옵션이 제공되므로 비용은 절감하고 유연성은 높일 수 있습니다.

지금 바로 Gen AI 앱 구축을 시작하세요! Databricks AI Playground 를 방문하여 워크스페이스에서 직접 생성 AI 모델을 빠르게 사용해 보세요.

파운데이션 모델 제작의 과제

소프트웨어는 모든 산업에 혁신을 가져왔으며, 곧 AI가 기존 소프트웨어를 더욱 지능적으로 변화시킬 것으로 믿습니다. 그 영향은 고객 지원부터 의료 및 교육에 이르기까지 모든 분야에 영향을 미칠 정도로 광범위하고 다양합니다. 많은 고객이 이미 제품에 AI를 통합하기 시작했지만, 본격적인 생산 단계로 성장하는데는 여전히 몇 가지 어려움이 있습니다:

여러 모델에서 실험하기: 각 사용 사례는 여러 개방형 및 독점 옵션 중에서 가장 적합한 모델을 식별하기 위해 실험을 거쳐야 합니다. 기업은 여러 모델 제공업체의 자격 증명, 요금 한도, 권한, 쿼리 구문을 관리하는 등 여러 모델에 걸쳐 신속하게 실험해야 합니다.
엔터프라이즈 컨텍스트 부족: 파운데이션 모델은 광범위한 지식을 보유하고 있지만 내부 지식과 도메인 전문성이 부족합니다. 그대로 사용하면 고유한 비즈니스 요구 사항을 완전히 충족하지 못합니다.
모델 운영: 품질, 디버깅 및 안전을 위해 요청과 모델 응답을 지속적으로 모니터링 해야 합니다. 모델 간에 인터페이스가 다르면 이를 관리하고 통합 하기가 어렵습니다.

Databricks 모델 서빙: 모든 재단 모델에 대한 통합 서비스

이미 수백 개의 기업에서 대규모 언어 모델 및 비전 애플리케이션을 비롯한 다양한 사용 사례를 위해 Databricks 모델 서빙을 프로덕션 환경에서 사용하고 있습니다. 최신 업데이트를 통해 모든 파운데이션 모델을 쿼리하고, 관리하고, 모니터링 하는 것이 훨씬 더 간편해졌습니다.

단일 UI

" Databricks 모델 서빙을 통해 제너레이티브 AI를 프로세스에 통합하여 고객 경험을 개선하고 운영 효율성을 높일 수 있습니다. 모델 서빙을 통해 데이터와 모델에 대한 완전한 제어권을 유지하면서 LLM 모델을 배포할 수 있습니다."
- Ben Dias, Director of Data Science and Analytics at easyJet

모든 파운데이션 모델에 액세스

Databricks 모델 서빙은 사용자 정의 모델, Databricks 관리형 모델, 타사 재단 모델 등 모든 재단 모델을 지원합니다. 이러한 유연성을 통해 작업에 적합한 모델을 선택할 수 있으므로 향후 사용 가능한 모델 범위의 발전에 앞서 나갈 수 있습니다. 이러한 비전을 실현하기 위해 오늘 두 가지 새로운 기능을 소개합니다:

파운데이션 모델 APIs: 파운데이션 모델 APIs에서 인기 있는 파운데이션 모델에 즉시 액세스할 수 있습니다. 이 APIs는 기초 모델을 호스팅하고 배포하는 번거로움을 완전히 없애는 동시에 Databricks 보안 경계 내에서 데이터를 안전하게 유지합니다. 토큰당 지불 방식으로 재단 모델 (APIs)을 시작하면 운영 비용을 크게 절감할 수 있습니다. 또는 미세하게 조정된 모델과 성능 보장이 필요한 워크로드의 경우 프로비저닝된 처리량(이전에는 최적화된 LLM 서비스라고 함)으로 전환할 수 있습니다. APIs 에서는 현재 채팅(llama-2-70b-chat), 완료(mpt-30B-instruct & mpt-7B-instruct), 임베딩 모델(bge-large-en-v1.5) 등 다양한 모델을 지원합니다. 시간이 지남에 따라 모델 제공을 확대할 예정입니다.
외부 모델: 외부 모델(이전의 AI 게이트웨이)을 사용하면 외부에서 호스팅되는 모델에 액세스하기 위한 엔드포인트를 추가할 수 있습니다(예: Azure OpenAI GPT 모델, Anthropic Claude 모델 또는 AWS Bedrock 모델) Databricks, 외부에서 호스팅되는 모델에 액세스하는 경우. 이러한 모델을 추가한 후에는 Databricks 에서 관리할 수 있습니다.

또한, 엄선된 파운데이션 모델 목록을 데이터 및 AI 자산의 오픈 마켓플레이스인 Databricks Marketplace에서 데이터 및 AI 자산을 위한 오픈 마켓플레이스인 모델 서빙을 통해 미세 조정 및 배포할 수 있는 선별된 기초 모델 목록을 추가했습니다.

스크린샷

"Databricks' 파운데이션 모델 APIs를 사용하면 버튼 하나로 최신 오픈 모델을 쿼리할 수 있어 compute과 씨름하는 대신 고객에게 집중할 수 있습니다. 우리는 플랫폼에서 여러 모델을 사용해 왔으며 지금까지 본 안정성과 신뢰성, 그리고 문제가 발생할 때마다 받은 지원에 깊은 인상을 받았습니다." - Sidd Seethepalli, CTO & Founder, Vellum

"Databricks' 기초 모델 APIs 제품은 설치와 사용이 매우 쉬워서 RAG 워크플로우가 매우 간편해졌습니다. 이 제품의 성능, 처리량, 가격에 놀랐고, 시간을 크게 절약할 수 있어서 정말 만족스러웠습니다!" - Ben Hills, CEO, HeyIris.AI"

통합 인터페이스를 통한 모델 쿼리

Databricks 모델 서빙은 이제 파운데이션 모델을 쉽게 쿼리할 수 있도록 통합된 OpenAI 호환 API 및 SDK를 제공합니다. 또한 AI 함수를 통해 SQL에서 직접 모델을 쿼리할 수 있으므로 분석 워크 플로우에 AI 통합을 간소화할 수 있습니다. 표준 인터페이스를 통해 쉽게 실험하고 비교할 수 있습니다. 예를 들어, 독점 모델로 시작한 다음 Databricks의 AI 생성 문서에서 보여준 것처럼 지연 시간과 비용을 줄이기 위해 미세 조정된 개방형 모델로 전환할 수 있습니다.

import mlflow.deployments

client = mlflow.deployments.get_deploy_client("데이터브릭스")
입력 = {
 " 메시지": [
 {
 " role": "user", 
 " content": "안녕하세요!"
        },
 {
 " role": "assistant", 
 " content": "안녕하세요! 오늘은 무엇을 도와드릴까요?"
       },
 {
 " role": "user", 
 " content": (
 " " 
 " 도메인별 데이터 세트에서 AI 모델을 학습시켜야 하는 3가지 이유를 나열하세요. 설명이 필요 없습니다.")
        }
   ],
 " max_tokens": 64,
 " temperature": 0
}

response = client.predict(endpoint="databricks-llama-2-70b-chat", 입력=입력)
print(response["choices"][0]['message']['content'])
#"\n1. 정확도 향상\n2. 일반화 향상\n3. 관련성 향상"

SELECT ai_query( 'databricks-llama-2-70b-chat', '설명 Databricks SQL 30단어로.' ) AS chat

모든 모델 관리 및 모니터링

새로운 Databricks 모델 서비스 UI 및 아키텍처를 사용하면 외부에서 호스팅되는 모델을 포함한 모든 모델 엔드포인트를 한 곳에서 관리할 수 있습니다. 여기에는 권한을 관리하고, 사용 한도를 추적하고, 모든 유형의 모델 품질을 모니터링하는 기능이 포함됩니다. 예를 들어 관리자는 외부 모델을 설정하고 팀과 애플리케이션에 액세스 권한을 부여하여 자격 증명을 노출하지 않고도 표준 인터페이스를 통해 모델을 쿼리할 수 있습니다. 이 접근 방식은 조직 내에서 강력한 SaaS 및 개방형 LLM에 대한 액세스를 민주화하는 동시에 필요한 보호 장치를 제공합니다.

"Databricks 모델 서빙은 내부 또는 외부에서 호스팅되는 모델을 포함하여 여러 SaaS 및 오픈 모델에 안전하게 액세스하고 관리할 수 있게 함으로써 당사의 AI 기반 프로젝트를 가속화하고 있습니다. 중앙 집중식 접근 방식은 보안 및 비용 관리를 간소화하여 데이터 팀이 관리 오버헤드를 줄이고 혁신에 더 집중할 수 있게 해줍니다." - Greg Rokita, AVP, Technology at Edmunds.com

개인 데이터로 안전하게 모델 커스터마이징 하기

데이터 인텔리전스 플랫폼에 구축된 Databricks 모델 서빙을 사용하면 검색 증강 생성(RAG), parameter-효율적 미세 조정(PEFT) 또는 표준 미세 조정과 같은 기술을 사용하여 기초 모델의 성능을 쉽게 확장할 수 있습니다. 독점 데이터로 파운데이션 모델을 미세 조정하고 모델 서빙에 손쉽게 배포할 수 있습니다. 새로 출시된 Databricks Vector Search는 모델 서빙과 원활하게 통합되어 상황에 맞는 최신 응답을 생성할 수 있습니다.

" Databricks 모델 서빙을 사용하여 엔터프라이즈 분석을 대중화하고 지식 그래프 비용을 절감하는 질문 답변 및 데이터 모델링 도구인 Stardog Voicebox를 위해 미세 조정된 GenAI 모델을 신속하게 배포했습니다. Databricks 모델 서빙이 제공하는 사용 편의성, 유연한 배포 옵션, LLM 최적화 덕분에 배포 프로세스가 빨라졌고, 우리 팀은 인프라 관리 대신 혁신에 집중 할 수 있게 되었습니다." - Evren Sirin, CTO and Co-founder at Stardog