(번역: Youngkyong Ko) Original Post
오픈 소스 솔루션이 생성형 AI 개발의 혁신과 투명성을 촉진할 것이라는 믿음 하에, 데이터브릭스는 유럽 최고의 생성형 AI 솔루션 제공업체 중 하나인 미스트랄 AI(Mistral AI)의 시리즈 A 펀딩에 참여하고 파트너십을 체결한다고 발표했습니다. 파트너 관계가 더욱 긴밀해짐에 따라 데이터브릭스와 미스트랄 AI는 이제 데이터브릭스 데이터 인텔리전스 플랫폼에 기본적으로 통합된 Mistral AI의 개방형 모델을 제공합니다. 이제 데이터브릭스 고객은 데이터브릭스 마켓플레이스에서 미스트랄 AI의 모델에 액세스하고, Mosaic AI Playground에서 이러한 모델과 상호 작용하며, Mosaic AI Model Serving을 통해 최적화된 모델 엔드포인트로 사용하고, 자체 데이터를 사용해 맞춤형 모델을 만들 수 있습니다.
올해 초부터 이미 1,000개에 가까운 기업이 데이터브릭스 플랫폼에서 미스트랄 모델을 활용하여 수백만 건의 모델 추론을 수행했습니다. 이러한 즉시 사용 가능한 통합을 통해 기업들은 데이터브릭스 플랫폼의 핵심인 보안, 데이터 프라이버시, 거버넌스를 훼손하지 않으면서도 생성형 AI 애플리케이션에 미스트랄 AI의 모델을 더욱 쉽게 활용할 수 있게 되었습니다.
미스트랄 AI의 설립자 겸 CEO인 아서 멘쉬(Arthur Mensch)는 다음과 같이 선언했습니다: "데이터브릭스와의 전략적 제휴를 통해 모두를 위한 인공 지능의 이동성, 개방성, 접근성에 대한 공동의 약속을 재확인하게 되어 기쁘게 생각합니다. 저희 모델을 데이터브릭스의 데이터 인텔리전스 플랫폼에 원활하게 통합함으로써 AI의 민주화라는 공동의 사명을 진전시키고자 합니다. 이번 통합은 우리의 혁신적인 솔루션을 데이터브릭스의 방대한 고객층으로 확장하는 중요한 단계이며, AI의 혁신과 상당한 발전을 지속적으로 촉진할 것입니다. 우리는 함께 전 세계 사용자에게 접근 가능하고 혁신적인 AI 솔루션을 제공하기 위해 최선을 다할 것입니다."
미스트랄 AI의 개방형 모델 Mistral 7B and Mixtral 8x7B를 소개합니다
미스트랄 AI의 개방형 모델은 데이터브릭스 플랫폼에 완벽하게 통합되어 있습니다.
Mistral 7B는 8k 컨텍스트 길이로 학습된 작지만 강력한 고밀도 트랜스포머 모델입니다. 70억 개의 파라미터로 비교적 작은 크기와 그룹화된 쿼리 어텐션(GQA) 및 슬라이딩 윈도우 어텐션(SWA)를 활용하는 모델 아키텍처로 인해 매우 효율적으로 서비스를 제공할 수 있습니다. Mistral 7B에 대해 자세히 알아보려면 미스트랄의 블로그 포스팅을 참조하세요.
Mixtral 8x7B는 32k의 컨텍스트 길이를 지원하고 영어, 프랑스어, 이탈리아어, 독일어, 스페인어를 처리할 수 있는 sparse mixture of experts model(SMoE)입니다. 여러 벤치마크에서 Llama 2 70B보다 성능이 뛰어나며, 총 450억 개의 학습된 파라미터 중 120억 개의 파라미터만 추론 중에 활성화하는 SMoE 아키텍처 덕분에 더 빠른 추론을 자랑합니다. Mixtral 8x7B에 대해 자세히 알아보려면 이전 블로그 게시물을 참조하세요.
이미 고객들은 미스트랄 AI의 모델을 활용함으로써 얻을 수 있는 이점을 경험하고 있습니다:
"Experian에서는 핵심 기능을 유지하면서 가장 낮은 환각률을 가진 Gen AI 모델을 개발하고 있습니다. 데이터브릭스에서 Mixtral 8x7b 모델을 활용함으로써 신속한 프로토타이핑이 가능해졌고, 뛰어난 성능과 빠른 응답 시간을 확인할 수 있었습니다."라고 Experian의 AI/ML 혁신 책임자 제임스 린(James Lin)은 말합니다.
"데이터브릭스는 기업에서 생성형 AI를 위한 혁신과 도입을 주도하고 있습니다. 데이터브릭스에서 미스트랄과의 파트너십을 통해 은행 관련 사용자 질문에 답변하는 RAG 기반 소비자 챗봇이 인상적인 결과를 얻었습니다. 이전에는 이 시스템이 FAQ 기반이었기 때문에 다양한 사용자 쿼리를 처리할 수 없었습니다. 미스트랄 기반 챗봇은 사용자 쿼리를 적절한 방식으로 처리할 수 있어 시스템의 정확도가 80%에서 95%로 향상되었습니다."라고 Celebal Technologies의 글로벌 얼라이언스인 루브 루하디아(Luv Luhadia)는 말합니다. "미스트랄의 최첨단 기술과 전문성은 우리 고객의 성과를 향상시켰으며, 앞으로도 미스트랄 및 데이터브릭스와의 협력을 통해 데이터와 Al의 가능성의 한계를 확장할 수 있게 되어 기대가 큽니다."
데이터브릭스 데이터 인텔리전스 플랫폼에서 미스트랄 AI의 모델 사용
데이터브릭스 마켓플레이스에서 미스트랄 AI 모델 살펴보기
데이터브릭스 마켓플레이스는 오픈 소스 Delta Sharing 표준에 기반한 데이터, 분석, AI를 위한 오픈 마켓플레이스입니다. 마켓플레이스를 통해 고객은 미스트랄 AI의 모델을 발견하고, 그 기능에 대해 알아보고, Mosaic AI Model Serving을 통한 모델 배포, Spark를 통한 일괄 추론, AI 함수를 사용한 SQL의 모델 추론 등 Databricks 플랫폼 전반에서 모델을 활용하는 방법을 보여주는 사례들을 살펴볼 수 있습니다. 데이터브릭스 마켓플레이스와 AI 모델 공유에 대해 자세히 알아보려면 블로그 게시물을 참조하세요.
Mosaic AI 모델 서빙을 통한 미스트랄 모델 추론
Mosaic AI Foundation Model API는 고객이 배포 및 엔드포인트를 생성하고 유지 관리할 필요 없이, 고도로 최적화된 모델 배포를 활용하여 Mixtral 8x7B(및 기타 최신 모델)에 액세스하고 쿼리할 수 있도록 지원하는 Model Serving의 기능입니다. 자세한 내용은 Foundation Model API 문서를 참조하세요.
데이터브릭스 Mosaic AI Model Serving을 통해 고객은 다른 파운데이션 모델에 사용되는 것과 동일한 API를 사용하여 미스트랄의 모델에 액세스할 수 있습니다. 이를 통해 고객은 다양한 클라우드와 제공업체에서 모든 파운데이션 모델을 배포, 관리, 쿼리 및 모니터링할 수 있으므로, 대규모 언어 모델을 실험하고 생산화할 수 있습니다.
또한 고객은 ai_query SQL 함수를 사용하여 Databricks SQL에서 직접 모델 추론을 호출할 수도 있습니다. 자세한 내용은 아래 SQL 코드와 ai_query 설명서를 참조하세요.
Mosaic AI를 통한 미스트랄 모델 조정
Mosaic AI는 고객이 쉽고 비용 효율적으로 자체 맞춤형 모델을 만들 수 있는 방법을 제공합니다. 고객은 자체 데이터 세트를 활용하여 Mistral AI의 모델뿐만 아니라 다른 기본 모델을 조정할 수 있습니다. 모델 조정의 목표는 특정 도메인이나 사용 사례에 대한 모델의 이해도를 높이고, 회사의 고유 언어에 대한 지식을 강화하며, 궁극적으로 특정 작업의 성능을 개선하는 것입니다. 모델이 튜닝 또는 조정되면 사용자는 Mosaic AI 모델 서비스를 사용하여 추론을 위해 조정된 모델을 신속하게 배포하고 비용 효율적인 서비스의 혜택을 누릴 수 있으며, 차별화된 모델 IP(지적 재산)의 소유권을 확보할 수 있습니다.
Mosaic AI Playground 에서 대화형 추론
사전 학습되고 미세 조정된 미스트랄 모델을 빠르게 실험하기 위해 고객은 데이터브릭스 콘솔에서 제공되는 Mosaic AI Playground에 액세스할 수 있습니다. AI Playground에서는 대화형 멀티턴(multi-turn) 대화, 온도 및 최대 토큰과 같은 모델 추론 샘플링 매개변수 실험, 다양한 모델을 나란히 추론하여 모델 응답 품질과 성능 특성을 관찰할 수 있습니다.
데이터브릭스 + 미스트랄 AI
데이터브릭스 벤처스의 포트폴리오 기업이자 파트너로 미스트랄 AI를 맞이하게 되어 기쁘게 생각합니다. 이제 엔드투엔드 생성형 AI 애플리케이션 구축, 테스트, 배포를 위한 가장 포괄적인 툴 세트를 제공하는 데이터브릭스에서 다양한 방식으로 미스트랄 AI 모델을 사용하고 커스터마이즈할 수 있습니다. 사전 학습된 모델을 나란히 비교하는 것으로 시작하든, 토큰당 지불을 통해 모델을 사용하든, 빠르게 시작할 수 있는 몇 가지 옵션이 있습니다. 특정 사용 사례에 대한 정확도를 개선해야 하는 사용자의 경우, Mosaic AI Foundation Model Adaptation을 통해 독점 데이터에 Mistral AI 모델을 커스터마이즈하면 비용 효율적이고 쉽게 사용할 수 있습니다. 마지막으로, 효율적이고 안전한 서버리스 추론은 거버넌스 및 보안에 대한 통합된 접근 방식을 기반으로 합니다. 데이터브릭스는 데이터 프라이버시, 투명성, 제어에 대한 타협하지 않는 자세와 세계 최고의 파운데이션 모델을 결합하여 미스트랄 AI 모델을 제공하며, 기업들은 이를 이용해 구축한 AI 솔루션에 대해 확신을 가질 수 있습니다.
다가오는 The GenAI Payoff in 2024 웨비나에서 데이터브릭스로 GenAI 앱을 구축하는 방법에 대해 자세히 알아보세요.