モザイクAIモデルトレーニング：特化したタスクと知識のためのDatabricksでのLLMの微調整

Foundation LLMsは、グローバルな知識と一般的なタスクで優れています。しかし、多くのユースケースでは、特定の知識や行動が必要となります。

Databricksを使用すると、ベースラインモデルを上回る特化したOSS LLMバージョンを簡単にファインチューニングしてデプロイすることができます：

• より小さなLLMをデプロイし、所有することで、コストを削減し、プライバシー/セキュリティを強化しながら、大きなLLMを上回るパフォーマンスを発揮します
• あなた自身のカスタムビジネス知識でLLMを訓練してください。
• LLMの振る舞いを変更して、名前付きエンティティ認識（NER）などの特定のタスクをより良く実行します。

このチュートリアルモジュールでは、次の方法を学習します。

• クリーンなトレーニングと評価のデータセットを準備する
• Databricks Mosaic AIモデルトレーニングを活用して、既存のOSS LLM（Mistral、Llama、DBRX...）をカスタマイズします
• このモデルをModel Servingエンドポイントにデプロイし、ライブ推論を提供します
• ファインチューニングされたモデルをそのベースラインと比較し、MLflow Evaluateを活用して評価とベンチマークを行います

デモを実行するには、無料のDatabricksワークスペースを取得し、Pythonノートブックで以下の2つのコマンドを実行します：

%pip dbdemosをインストールします

import dbdemos
dbdemos.install('llm-fine-tuning', catalog='main', schema='dbdemos_llm_fine_tuning')