Databricks上のMeta Llama 3でエンタープライズ生成AIアプリを構築

私たちはMeta社と共同で、最新の大規模言語モデルMeta Llama 3をDatabricks上でリリースできることを嬉しく思います。Databricks上のLlama 3により、あらゆる規模の企業が、完全に管理されたAPIを介してこの新しいモデルを導入することができます。Meta Llama 3は、オープン言語モデルの新しいスタンダードとなり、最先端のクローズドモデルに匹敵する機能を、コミュニティと独自のLLMを開発する企業の両方に提供します。Databricksでは、オープンな言語モデルを推進するというMetaのコミットメントに共感しており、この新しいモデルを初日から企業のお客様にご利用いただけることに興奮しています。

Meta Llama 3は、今後数日のうちにリージョンごとに展開される予定で、Databricksモデルサービング上の統一的なAPIを通じてアクセスすることができます。 つまり、組織固有のデータを安全に活用しながら、ユースケースに最適なモデルを使用して、高品質で本番規模の生成AIアプリを作成することができます。

Meta Llama 3モデルは、数日中にすべてのモデルサービングのリージョンに展開されます。利用可能になると、UI、API、SQLインターフェイスを介してアクセスすることができます。詳細はこちらのガイドをご覧ください。

Meta Llama 3とは何か？

Meta Llama 3は、開発者、研究者、企業が生成AIアプリケーションを構築し、実験し、責任を持って拡張できるように設計された、オープンな大規模言語モデル（LLM）です。 広範な業界ベンチマークで最先端の性能を実証し、推論の強化を含む新機能を導入しています。

• Meta Llama 3は、前モデルと比較して、15兆を超える膨大なトークンのデータセットで学習され、理解力と複雑な言語ニュアンスへの対応が向上しています。
• Llama 2の2倍である8kトークンの拡張コンテキストウィンドウを備えており、より多くの情報に基づいた意思決定のために、長い文章からより多くの情報にアクセスすることができます。
• このモデルは、128kトークンの語彙を持つ新しいTiktokenベースのトークナイザを利用し、英語と多言語の両方のコンテキストにおける能力を向上させています。

Meta Llama 3を使ったDatabricksでの開発

プロダクショングレードのAPIでMeta Llama 3にアクセス： Databricksモデルサービングは、基盤モデルAPIを通じてMeta Llama 3に即座にアクセスできます。これらのAPIは、Databricksのセキュリティ境界内でデータの安全性を確保しながら、基盤モデルのホスティングとデプロイの手間を完全に取り除きます。

Meta Llama 3と他のモデルを簡単に比較し、管理することができます：Meta Llama 3には、他の基盤モデルと同じ統一されたAPIとSDKでアクセスできます。この統一されたインターフェイスにより、すべてのクラウドプロバイダーで基盤モデルの実験、切り替え、デプロイが簡単に行えます。内部および外部でホスティングされたすべてのモデルが1つの場所に配置されているため、追加のセットアップ費用を負担したり、継続的なアップデートに負担をかけたりすることなく、新しいモデルリリースの恩恵を簡単に受けることができます。

from openai import OpenAI
import os
       
        
chat_completion = client.chat.completions.create(
  messages=[
  {
    "role": "system",
    "content": "You are an AI assistant"
  },
  {
    "role": "user",
    "content": "Tell me about Large Language Models"
  }
  ],
  model="databricks-meta-llama-3-70b-instruct",
  max_tokens=256
)
        
print(chat_completion.choices[0].message.content)

`ai_query` SQL関数を使えば、Meta Llama 3の推論をSQLから直接呼び出すこともできます。詳しくはai_queryのドキュメントを参照してください。

SELECT ai_query(
    'databricks-meta-llama-3-70b-instruct',
    'Databricks SQL を 30 語で説明してください。'
  )AS chat

Meta Llama 3をプライベートデータで安全にカスタマイズ： Llama 2がリリースされた時、コミュニティと企業の両方が特化したカスタムモデルを開発したため、イノベーションの波が巻き起こりました。私たちは、Meta Llama 3がこのトレンドをさらに促進すると予想しており、そこから生まれる微調整されたモデルに興奮しています。Databricksモデルサービングは、これらすべての微調整されたバリアントのシームレスなデプロイメントをサポートしており、企業がドメイン固有のデータや専有データでモデルを簡単にカスタマイズできるようになっています。さらに、企業はMeta Llama 3をベクトル検索とフィーチャーサービングによって構造化データと非構造化データで補強することができます。

パフォーマンスを最適化した最新モデルで最先端を維持： Databricksは、最適化された推論を備えた最良かつ最新のオープンモデルへのアクセスを保証することに専念しています。このアプローチにより、各タスクに最適なモデルを柔軟に選択することができ、利用可能なモデルのスペクトルが拡大し続けている中で、常に新たな開発の最前線にいることができます。当社のパフォーマンスチームは、お客様が最も低いレイテンシーとTCOの削減を引き続き享受できるよう、最適化のさらなる改善に積極的に取り組んでいます。

DatabricksでMeta Llama 3を使い始めるには

Databricksワークスペース内のAI Playgroundから直接Meta Llama 3をお試しいただけます。 より詳しい情報については、以下のリソースをご参照ください：

• Meta Llama 3発売記念ブログ記事
• 基盤モデル 入門ガイド
• AI関数を使用したSQLからのLLM呼び出しの発見