長いシーケンスでLlama 3.1をファインチューニング
私たちは、 Mosaic AIモデルトレーニング が、Meta Llama 3.1モデルファミリーの微調整時に131Kトークンの全文脈長をサポートするようになったことを発表することを嬉しく思います。この新機能により、Databricksの顧客は、長い文脈長のエンタープライズデータを使用して特化したモデルを作成することで、さらに高品質なRetrieval Augmented Generation（RAG）またはツール使用システムを構築することができます。 LLMの入力プロンプトのサイズは、その コンテキスト長 によって決定されます。お客様は特にRAGやマルチドキュメント分析のようなユースケースでは、短いコンテキスト長に制限されることが多いです。Meta Llama 3.1モデルは、コンテキスト長が131Kトークンと長いです。比較すると、『グレート・ギャツビー』は 約72Kトークン です。Llama 3.1モデルは、大量のデータコーパスを理解することを可能にし、RAGでのチャンキングや再ランキングの必要性を減らすか、
MegaBlocksをDatabricksへ: 次世代のトレーニングパワーを解き放つ
Databricksでは、大規模AIモデルのための最も効率的で高性能なトレーニングツールの構築に尽力しています。最近リリースされた DBRX では、トレーニングと推論の効率を大幅に向上させるMixture-of-Experts（MoE）モデルの力を強調しました。本日、DBRXのトレーニングに使用されたオープンソースライブラリである MegaBlocks が公式のDatabricksプロジェクトになることを発表します。また、オープンソースのトレーニングスタックである LLMFoundry へのMegaBlocks統合もリリースします。これらのオープンソースリリースに加え、スケールで最高のパフォーマンスを得る準備ができたお客様に対して、最適化された内部バージョンのオンボーディングも開始します。 Mixture of Experts（MoE）モデルとは？ Mixture of Experts（MoE）モデルは、複数の専門ネットワーク、または「エキスパート」の出力を組み合わせて予測を行う機械学習モデルです。各エキスパート