모자이크 AI 모델 훈련: 특수 작업 및 지식을 위한 Databricks에서의 LLM 미세 조정

Foundation LLM은 전반적인 지식과 일반적인 작업에서 뛰어납니다. 그러나 많은 사용 사례들은 특정한 지식이나 행동을 필요로 합니다. 

Databricks를 사용하면, 기본 모델을 뛰어넘는 특화된 OSS LLM 버전을 쉽게 미세 조정하고 배포할 수 있습니다:

• 더 작은 LLM들을 배포하고 소유하면서, 비용을 줄이고 개인정보/보안을 강화하면서도 더 큰 모델들을 능가합니다.
• 자신만의 비즈니스 지식에 LLM을 훈련시켜 보세요
• LLM 동작을 개선하여 Named-entity recognition (NER)과 같은 특정 작업을 더 잘 수행하도록 변경하십시오.

이 튜토리얼에서는 다음을 배울 수 있습니다:

• 깨끗한 훈련 및 평가 데이터셋을 준비하십시오
• Databricks Mosaic AI 모델 훈련을 활용하여 기존의 OSS LLM (Mistral, Llama, DBRX...)을 커스터마이즈하세요.
• 이 모델을 모델 서빙 엔드포인트에 배포하여 실시간 추론을 제공합니다
• MLflow Evaluate를 활용하여 Fine Tuned 모델을 기준 모델과 비교하고 평가하는 방법

데모를 실행하려면 무료 Databricks 작업 공간 을 받아 다음 두 명령어를 Python 노트북에서 실행하세요:

%pip dbdemos 설치

import dbdemos
dbdemos.install('llm-fine-tuning', catalog='main', schema='dbdemos_llm_fine_tuning')