メインコンテンツへジャンプ

Databricks上のMeta Llama 3.2の紹介:高速な言語モデルと強力なマルチモーダルモデル

新しいLlama 3.2モデルをチューニングして、エンタープライズのユースケースに対して高品質かつ高速を実現します
ダニエル・キング
Hanlin Tang
Patrick Wendell(パトリック・ウェンデル)
Share this post

Metaとのパートナーシップを通じて、Llama 3シリーズの最新モデルをDatabricks Data Intelligence Platformでローンチすることを楽しみにしています。このLlama 3.2リリースの小型テキストモデルは、顧客が高速なリアルタイムシステムを構築することを可能にし、大型のマルチモーダルモデルは、Llamaモデルが視覚理解を獲得する初めてのマークです。 両方とも、Databricksの顧客が複合AIシステムを構築するための重要なコンポーネントを提供し、これらのモデルを企業データに接続してデータインテリジェンスを可能にします。

Llamaシリーズの他のモデルと同様に、Llama 3.2モデルは今日からDatabricks Mosaic AIで利用可能で、あなたのデータで安全かつ効率的にチューニングすることができ、簡単にMosaic AI ゲートウェイエージェントフレームワークにプラグインすることができます。

今日からDatabricksでLlama 3.2を使い始めましょう!モデルをデプロイするそして、それをMosaic AI Playgroundで使用し、Mosaic AI Model Trainingを使用して、モデルを自分のデータにカスタマイズします。MetaとDatabricksからのLlama 3.2について深く掘り下げるためのウェビナーに登録してください。

今年、Llamaは10倍の成長を達成し、オープンソースモデルがイノベーションを推進するという私たちの信念をさらに支持しました。Databricks Mosaic AIソリューションと共に、新しいLlama 3.2モデルは、企業の独自データを正確かつ安全に処理することで、組織がデータインテリジェンスを構築するのを支援します。Databricksとの連携を続け、企業が自社のAIシステムを自社のエンタープライズデータでカスタマイズするのを支援することを楽しみにしています。- アフマド・アルダーレ、GenAI部門長、Meta

Llama 3.2の新機能は何ですか?

Llama 3.2シリーズには、超低レイテンシを必要とするユースケース向けの小型モデルと、新たな視覚理解ユースケースを可能にするマルチモーダルモデルが含まれています。

  • Llama-3.2-1B-Instruct Llama-3.2-3B-Instructは、低レイテンシーと低コストのエンタープライズユースケースのために特別に作られています。彼らは「単純な」タスク、例えばエンティティ抽出、多言語翻訳、要約、RAGなどに優れています。あなたのデータでのチューニングにより、これらのモデルはあなたのビジネスに関連する特定のタスクのための迅速で安価な代替手段となります。
  • Llama-3.2-11B-Vision-Instruct Llama-3.2-90B-Vision-Instruct 企業が強力でオープンなLlamaシリーズを視覚理解タスク、例えばドキュメントの解析や商品説明の生成などに使用できるようにします。
  • マルチモーダルモデルには、新しいLlamaガード安全モデル、Llama-Guard-3-11B-Visionが付属しており、マルチモーダルアプリケーションの責任あるデプロイを可能にします。
  • すべてのモデルは、超長いドキュメントを処理するために、Llama 3.1シリーズの拡張された128kのコンテキスト長をサポートしています。長いコンテキストは、チャンキングと検索への依存を減らすことで、RAGとエージェンティックなアプリケーションの品質を向上させ、簡素化します。

さらに、Metaは Llama Stackというソフトウェアレイヤーをリリースし、アプリケーションの構築を容易にします。Databricksは、そのAPIをLlama Stackに統合することを楽しみにしています。

より速く、より安価に

Llama 3.2シリーズの新しい小型モデルは、レイテンシとコストに敏感なユースケースにとって優れた新しいオプションを提供します。一般的なAIモデルの全能力を必要としない多くの生成型AIユースケースがあり、データに対するデータインテリジェンスと組み合わせることで、コード補完、リアルタイムの要約、大量のエンティティ抽出など、低レイテンシまたは低コストが必要な新しいユースケースを開くことができます。これはUnity Catalogでアクセス可能で、Databricksで構築したアプリケーションに新しいモデルを簡単にスワップすることができます。特定のタスクでモデルの品質を向上させるために、Meta Llama 3.1 405Bのようなより強力なモデルを使用して、少数のシード例から合成訓練データを生成し、その合成訓練データを使用してLlama 3.2 1Bまたは3Bを微調整し、データに対して高品質で低レイテンシを実現します。これらすべては、Databricks Mosaic AIの統一された体験でアクセス可能です。

DatabricksでのLlama 3.2のファインチューニングは、たった一つのシンプルなコマンドです:

# まずはdatabricks genaiパッケージをインストールします

# pip install databricks-genai --upgrade

from databricks.model_training import foundation_model as fm

finetuning_run = fm.create(
    # ファインチューニングするモデル
    model='meta-llama/Llama-3.2-1B-Instruct',
    #<your-uc-path><your-cluster-id> ファインチューニングしたモデルをデプロイするための登録先
    train_data_path='',
    # トレーニング用のUCテーブルを準備するためのスパーククラスター
    data_prep_cluster_id='',
    # ファインチューニングデータを含むテーブル
    register_to='catalog.schema.table' 
)

Mosaic AI Modelトレーニングのドキュメントを参照して、詳細情報とチュートリアルをご覧ください!

新しいオープンなマルチモーダルモデル

Llama 3.2シリーズには、視覚的な入力とテキスト入力の両方を可能にする強力な、オープンなマルチモーダルモデルが含まれています。マルチモーダルモデルは、エンタープライズデータインテリジェンスのための多くの新しいユースケースを開きます。ドキュメント処理では、スキャンしたドキュメントとテキスト入力を一緒に分析することで、より完全で正確な分析を提供するために使用できます。eコマースでは、ユーザーが製品の写真をアップロードして、生成された説明に基づいて類似のアイテムを見つける視覚的な検索を可能にします。マーケティングチームにとって、これらのモデルは画像に基づいてソーシャルメディアのキャプションを生成するようなタスクを効率化します。これらのモデルの使用を提供できることを嬉しく思いますDatabricksで、このフロントでのさらなる情報をお待ちください!

ここに、Llama 3.2にテーブルをJSON表現に解析させる例があります:

画像(RAFT論文の表2):

RAFT

プロンプト:テーブルをJSON表現にパースします。

出力: 

> アシスタント: **ステップ1: テーブル内のメソッドとデータセットを特定します。**

使用される方法はRAFT w.o CoTとRAFTです。データセットはPubMed、HotpotQA、 
HuggingFace、Torch Hub、そしてTensorFlowです。

**ステップ2: メソッドをキーとするJSONオブジェクトを作成します。**

```json
{
  "RAFT w.o CoT": {},
  "RAFT": {}
}
```

**ステップ3: 各メソッドの下にデータセットをサブキーとして追加します。**

```json
{
  "RAFT w.o CoT": {
    "PubMed": 68.30,
    "HotpotQA": 25.62,
    "HuggingFace": 59.07,
    "Torch Hub": 86.56,
    "TensorFlow": 83.21
  },
  "RAFT": {
    "PubMed": 73.30,
    "HotpotQA": 35.28,
    "HuggingFace": 74.00,
    "Torch Hub": 84.95,
    "TensorFlow": 86.86
  }
}
```

**ステップ4: テーブルの最終的なJSON表現は次のようになります:**

```json
{
  "RAFT w.o CoT": {
    "PubMed": 68.30,
    "HotpotQA": 25.62,
    "HuggingFace": 59.07,
    "Torch Hub": 86.56,
    "TensorFlow": 83.21
  },
  "RAFT": {
    "PubMed": 73.30,
    "HotpotQA": 35.28,
    "HuggingFace": 74.00,
    "Torch Hub": 84.95,
    "TensorFlow": 86.86
  }
}
```

顧客がDatabricksとオープンモデルでイノベーションを生み出す

多くのDatabricksの顧客がすでにLlama 3のモデルを活用して、GenAIの取り組みを推進しています。皆がLlama 3.2で何をするのか楽しみにしています。

  • “Databricksのスケーラブルなモデル管理機能により、私たちは先進的なオープンソースLLMのMeta Llamaを効率的に統合し、新しいAI技術を迅速に顧客に提供することが可能になりました。” - Bryan McCann, 共同創設者/CTO, You.com
  • “Databricks Mosaic AIは、私たちが先進的なAIと効果的なデータ管理との強力な関係を示す強化サービスをクライアントに提供することを可能にし、Meta Llamaのような最先端のGenAI技術を簡単に統合することができます。” - データ分析部門副社長、Colin Wenngatz、MNP
  • “Databricks Data Intelligence Platformは、私たちがMeta Llamaのような最先端のAIモデルを自社の環境内で安全にデプロイすることを可能にし、機密データを露出することなく行うことができます。 このレベルのコントロールは、データプライバシーの維持とヘルスケア基準の遵守に不可欠です。” - Navdeep Alam, 最高技術責任者, Abacus Insights
  • "Databricks Mosaic AIのおかげで、私たちはプロンプトの最適化と指示の微調整をオーケストレーションし、専門的なコーパスからドメイン固有の言語を取り込むオープンソースのLLM、例えばMeta Llamaの性能を向上させ、行動シミュレーション分析のパフォーマンスを向上させ、運用効率を向上させることができました。" - クリス・コフリン、シニアマネージャー、DDI

Databricks Mosaic AIのLlama 3.2を始める

こちらのデプロイメントの手順に従って、ワークスペースから直接Llama 3.2を試してみてください。詳細は以下のリソースを参照してください:

次の Databricks GenAIウェビナー に参加してください。10/8/24:データインテリジェンスへのシフト。MetaのVP、Ash JhaveriがオープンソースAIとMeta Llamaモデルの未来について話します

Databricks 無料トライアル

関連記事

Databricks上のMeta Llama 3でエンタープライズ生成AIアプリを構築

私たちはMeta社と共同で、最新の大規模言語モデル Meta Llama 3 を Databricks上でリリースできることを嬉しく思います。Databricks上のLlama 3により、あらゆる規模の企業が、完全に管理されたAPIを介してこの新しいモデルを導入することができます。Meta Llama 3は、オープン言語モデルの新しいスタンダードとなり、最先端のクローズドモデルに匹敵する機能を、コミュニティと独自のLLMを開発する企業の両方に提供します。Databricksでは、オープンな言語モデルを推進するというMetaのコミットメントに共感しており、この新しいモデルを初日から企業のお客様にご利用いただけることに興奮しています。 Meta Llama 3は、今後数日のうちにリージョンごとに展開される予定で、Databricksモデルサービング上の統一的なAPIを通じてアクセスすることができます。 つまり、組織固有のデータを安全に活用しながら、ユースケースに最適なモデルを使用して、高品質で本番規模の生成AIアプリ

オープンソースAIの新標準:DatabricksでMeta Llama 3.1が利用可能に

当社は Meta と提携して Databricks 上で Llama 3.1 シリーズのモデルをリリースし、強力なオープン モデルの標準をさらに前進させられることを嬉しく思います。Llama 3.1 を使用すると、企業は所有権やカスタマイズを犠牲にすることなく、最高品質の GenAI アプリを構築できるようになります。 Databricks では、イノベーションを加速し、オープン言語モデルを使用してより安全なシステムを構築するという Meta の取り組みに賛同しており、新しいモデル スイートを初日からエンタープライズのお客様に提供できることを嬉しく思っています。 Llama 3.1 を Databricks 内にネイティブに統合し、顧客がこれを使用してアプリケーションを簡単に構築できるようにしました。...

長いシーケンスでLlama 3.1をファインチューニング

私たちは、 Mosaic AIモデルトレーニング が、Meta Llama 3.1モデルファミリーの微調整時に131Kトークンの全文脈長をサポートするようになったことを発表することを嬉しく思います。この新機能により、Databricksの顧客は、長い文脈長のエンタープライズデータを使用して特化したモデルを作成することで、さらに高品質なRetrieval Augmented Generation(RAG)またはツール使用システムを構築することができます。 LLMの入力プロンプトのサイズは、その コンテキスト長 によって決定されます。お客様は特にRAGやマルチドキュメント分析のようなユースケースでは、短いコンテキスト長に制限されることが多いです。Meta Llama 3.1モデルは、コンテキスト長が131Kトークンと長いです。比較すると、『グレート・ギャツビー』は 約72Kトークン です。Llama 3.1モデルは、大量のデータコーパスを理解することを可能にし、RAGでのチャンキングや再ランキングの必要性を減らすか、
生成 AI一覧へ