오픈 소스 AI의 새로운 표준: Meta Llama 3.1 on Databricks

우리는 Meta와의 파트너십을 통해 데이터브릭스에서 Llama 3.1 모델 시리즈를 사용할 수 있도록 출시하게 되어 매우 기쁩니다. 이를 통해 강력한 오픈 모델의 기준을 한 단계 더 높일 수 있게 되었습니다. Llama 3.1의 도입으로 기업들은 이제 최고 품질의 GenAI 애플리케이션을 구축하면서도 소유권과 커스터마이징을 유지할 수 있게 되었습니다. 데이터브릭스는 Meta와 함께 AI 혁신을 가속화하고 안전한 오픈 언어 모델 시스템을 구축하는데 힘쓰고 있으며, 이를 통해 이 새로운 모델들을 기업 고객들에게 즉시 제공하게 된 것을 기쁘게 생각합니다.

우리는 Llama 3.1을 데이터브릭스 플랫폼에 기본적으로 통합하여 고객들이 이를 이용해 애플리케이션을 쉽게 개발할 수 있도록 했습니다. 오늘부터, 데이터브릭스 고객들은 Mosaic AI를 사용하여 Llama 3.1 모델을 서비스하고 미세 조정하고, 이를 Retrieval Augmented Generation (RAG) 와 에이전트 시스템에 원활하게 연결하며, 사용 사례에 대한 합성 데이터를 쉽게 생성하고, 모델을 확장 가능한 평가에 활용할 수 있습니다. 이러한 기능들은 기업이 자사의 고유 데이터를 최고 품질의 오픈 소스 모델과 결합하여 실제 운영 환경에서 사용 가능한 GenAI 애플리케이션을 구축할 수 있도록 지원합니다.

"오픈 소스 AI가 산업 표준이 될 것이며, 이것이 미래의 방향이라고 나는 믿습니다. 데이터브릭스와 Llama 3.1의 파트너십은 개발자들이 합성 데이터 생성과 실시간 배치 추론 같은 고급 기능을 더 쉽게 사용할 수 있게 해줍니다. 이를 통해 사람들이 어떤 혁신적인 것들을 만들어낼지 정말 기대됩니다."

— 마크 주커버그, 창립자 & CEO, Meta

Llama 3.1 모델의 새로운 특징

Llama 3.1 모델은 지금까지 가장 능력이 뛰어난 오픈 모델이며, 아래와 같이 많은 새로운 기능을 도입하였습니다.

• Meta Llama 3.1-405B-Instruct 는 현재 세계에서 가장 고품질의 오픈 모델입니다. 이는 최고의 AI 모델에 버금가는 뛰어난 추론 능력, 조종성, 그리고 일반 지식을 특징으로 합니다. 이러한 능력들은 이전에는 오픈 모델로는 불가능했던 복잡한 애플리케이션을 구축하는 데 도움이 됩니다.
• 기존 8B 및 70B 모델의 품질 향상: 이미 천 명 이상의 데이터브릭스 고객들이 사용 중입니다. 데이터브릭스에서는 새로운 모델로 쉽게 이동하고 품질 향상의 혜택을 즉시 받을 수 있습니다.
• 128k 토큰의 확장된 컨텍스트 길이: 큰 데이터셋의 분석을 가능하게 하고, 더욱 관련성 높은 컨텍스트에 접근함으로써 RAG 애플리케이션을 개선하고 환각(hallucination) 현상을 줄입니다.
• 8개 언어 지원: 이를 통해 기업들이 더 넓은 고객 기반에 효과적으로 다가가고 소통할 수 있습니다.
• 도구 사용과 함수 호출의 향상: 복잡한 다단계 에이전트 작업 흐름을 생성하고 복잡한 질문에 대답할 수 있도록 하여 정교한 작업을 자동화할 수 있습니다.
• 업그레이드된 LlamaGuard 모델 및 Safety Models: 엔터프라이즈 사용 사례를 위해 안전하고 책임 있는 컴파운드 AI 시스템을 배포할 수 있도록 지원합니다.

Databricks Mosaic AI에서 Llama 3.1로 개발하기

Llama 3.1 및 다른 기반 모델로 실험하기

Llama 3.1 모델 패밀리가 이제 system.ai 카탈로그 (Unity Catalog 내)에서 쉽게 접근할 수 있으며, Mosaic AI Model Serving 에서 다른 기반 모델과 동일한 통합 API 및 SDK를 사용하여 제공할 수 있습니다. 이 통합 인터페이스를 통해 Llama 3.1 컬렉션 내의 모델을 쉽게 실험하고, 전환하고, 배포하며, 다른 제공업체의 기타 기반 모델과 비교할 수 있습니다. 이러한 유연성을 통해 애플리케이션의 품질, 지연 시간 및 비용 요구 사항을 충족하는 최적의 모델을 선택할 수 있습니다. 이러한 모델들은 Azure Databricks와 AWS에서 사용할 수 있습니다.

고유 데이터로 Llama 3.1을 확장하여 품질 향상

데이터브릭스에서 기업들은 이미 Mosaic AI Model Training을 사용하여 고유 데이터로 Llama 모델을 커스터마이징하고, 특정 비즈니스 컨텍스트와 기술에 맞게 특화하여 더 높은 품질의 모델을 구축하고 있습니다. 이제 고객은 새로운 모델을 커스터마이징하여 8B 및 70B 모델의 확장된 컨텍스트 길이와 향상된 기본 품질을 활용함으로써 전반적인 애플리케이션 품질을 개선하고 새로운 사용 사례를 개척할 수 있습니다. 

Model Training은 이제 Llama 3.1 405B도 지원하므로 기업은 선도적인 AI 모델과 동등한 추론 및 기능을 갖춘 개방형 모델을 커스터마이즈할 수 있습니다. 이러한 업그레이드는 각 지역별로 처리 용량 확보에 따라 적용될 예정입니다.

Llama 3.1을 이용한 지능형 에이전트 및 RAG 앱 배포

RAG 애플리케이션과 에이전트는 우리 플랫폼에서 가장 인기 있는 GenAI 애플리케이션으로, Meta Llama 3.1의 새로운 도구 사용 기능에 대한 기대가 큽니다.

새로 도입된 Mosaic AI Agent Framework and Evaluation을 통해 기업은 Meta Llama 3.1을 사용해 최고 품질의 AI 시스템을 구축할 수 있으며, Mosaic AI Vector Search을 통해 자체 데이터로 이를 보강할 수 있습니다. 우리는 데이터 플랫폼에 긴밀하게 통합된 유일한 벡터 검색 제품을 제공하여 모든 다운스트림 애플리케이션이 단일 거버넌스 계층인 Unity Catalog를 통해 안전하게 제어 및 관리될 수 있도록 지원합니다. 

또한, 고객들은 이미 Llama 모델을 함수 호출에 사용할 수 있으며, 새로운 업데이트는 이러한 워크플로우의 품질을 더욱 향상시킬 것입니다.

이러한 기능을 함께 사용하면 개발자는 단일 플랫폼에서 커스텀 에이전트를 만들고 새로운 에이전트 동작을 탐구하여 더 광범위한 사용 사례를 구현할 수 있습니다.

합성 데이터 생성을 통한 모델 훈련 및 평가 가속화

Llama 3.1의 개방적인 라이선스와 Llama 3.1-405B-Instruct 모델의 뛰어난 성능 덕분에, 기업들은 이제 처음으로 고품질 합성 데이터를 활용하여 데이터 선순환을 강화할 수 있게 되었습니다. 다시 말해, Model Training으로 모델을 커스터마이징할 때, 데이터셋의 샘플을 큰 모델에 자동으로 보여주고 비슷한 데이터를 생성하도록 요청할 수 있습니다. 

데이터브릭스는 Foundation Model API와 Foundation Model Training 서비스와의 통합을 통해 이 워크플로우를 쉽게 만들어, Unity Catalog 데이터셋을 Data Intelligence Platform의 안전한 경계 내에서 모두 확장할 수 있습니다. 이를 통해 커스터마이즈 품질을 혁신하고 엔터프라이즈 GenAI 애플리케이션을 강화할 수 있을 것으로 기대합니다.

데이터브릭스와 개방형 모델로 혁신하고 있는 고객들

많은 데이터브릭스 고객들이 이미 Llama 3 모델을 활용하여 GenAI 전략을 추진하고 있습니다. 우리 모두 그들이 Llama 3.1로 무엇을 할지 기대하고 있습니다.

• "Databricks에서 우리는 LLMs를 사용하여 매일 100만 개 이상의 파일을 처리하여, 부동산 기록에서 거래 및 엔티티 데이터를 추출하는 지루한 수작업을 자동화할 수 있었습니다. 우리는 Meta Llama3 8b를 미세 조정하여 정확도 목표를 초과 달성하였고, Mosaic AI Model Serving을 사용하여 대규모의 고가 GPU를 관리할 필요 없이 이 작업을 대규모로 확장할 수 있었습니다.." - Prabhu Narsina, VP Data and AI, First American
• “Databricks를 이용하여 우리는 빠르게 Llama 모델을 미세 조정하고 안전하게 배포하여, 상담사 훈련을 위한 대화 시뮬레이터와 응답 품질 유지를 위한 단계 분류기와 같은 다양한 GenAI 사용 사례를 구축할 수 있었습니다. 이러한 혁신을 통해 실시간 위기 개입을 개선하여 더 빠르게 확장하고 위기에 처한 사람들에게 중요한 정신 건강 지원을 제공할 수 있게 되었습니다.”  - Matthew Vanderzee, CTO, Crisis Text Line
• "Databricks의 통합 데이터 및 AI 플랫폼과 Meta Llama 3과 같은 오픈 모델을 사용하여, 우리는 사일로를 제거하고 배포를 간소화하여 GenAI 시스템을 20배 빠르게 프로덕션에 배포할 수 있게 되었습니다. 이를 통해 우리는 GenAI를 제품 전반에 더 깊게 통합하여 전체 제품, 운영, 전반적인 효율성을 향상시킬 수 있었습니다." - Ian Cadieu, CTO, Altana
• Databricks 덕분에 아이디어를 생산 단계로 빠르게 가져갈 수 있게 되었습니다.. Llama와 같은 작고 최신의 오픈 모델을 사용하고 우리의 데이터로 커스터마이징함으로써, 우리는 고품질의 비용 효율적인 GenAI 솔루션을 만들었습니다. 놀랍게도, 이것은 단 한 사람에 의해 개발되었고 이미 우리의 내부 팀의 생산성을 향상시키고 있습니다." - Thibault Camper, Senior Data Scientist, Locala
• “Mosaic AI와 최첨단 오픈 모델인 Llama 3을 통해 자체 데이터와 비즈니스 규칙을 기반으로 맞춤형 모델을 생성하고 안전하게 배포할 수 있습니다. 이를 통해 우리는 새로운 GenAI 기능을 구축하고, 63%의 작업을 자동화하며, 개발 팀이 수동 프로세스보다는 혁신에 집중할 수 있게 되었습니다.”  - Guilherme Guisse, 데이터 및 분석 팀장, Orizon

데이터브릭스 Mosaic AI에서 Llama 3.1 시작하기

 AI Playground 에서 Llama 3.1을 바로 사용해 볼 수 있습니다. 자세한 정보는 다음 자료를 참조하십시오:

• Llama 3.1 출시에 대한 블로그 포스트
• Foundation Model 탐색 시작 가이드
• AI functions 로 대량의 batch 데이터에 LLM 적용
•  Agent Framework 과 Evaluation를 이용하여 프로덕션 품질의 에이전트와 RAG 애플리케이션 구축
• 가격 정보

이러한 기능들은 지역별 컴퓨팅 가용성이 확보되는 것에 맞추어 지역별로 출시되고 있습니다.

(번역: Youngkyong Ko)   Original Post