メインコンテンツへジャンプ

私たちはMeta社と共同で、最新の大規模言語モデルMeta Llama 3Databricks上でリリースできることを嬉しく思います。Databricks上のLlama 3により、あらゆる規模の企業が、完全に管理されたAPIを介してこの新しいモデルを導入することができます。Meta Llama 3は、オープン言語モデルの新しいスタンダードとなり、最先端のクローズドモデルに匹敵する機能を、コミュニティと独自のLLMを開発する企業の両方に提供します。Databricksでは、オープンな言語モデルを推進するというMetaのコミットメントに共感しており、この新しいモデルを初日から企業のお客様にご利用いただけることに興奮しています。

Meta Llama 3は、今後数日のうちにリージョンごとに展開される予定で、Databricksモデルサービング上の統一的なAPIを通じてアクセスすることができます。 つまり、組織固有のデータを安全に活用しながら、ユースケースに最適なモデルを使用して、高品質で本番規模の生成AIアプリを作成することができます。

Meta Llama 3モデルは、数日中にすべてのモデルサービングのリージョンに展開されます。利用可能になると、UI、API、SQLインターフェイスを介してアクセスすることができます。詳細はこちらのガイドご覧ください

Meta Llama 3とは何か?

Meta Llama 3は、開発者、研究者、企業が生成AIアプリケーションを構築し、実験し、責任を持って拡張できるように設計された、オープンな大規模言語モデル(LLM)です。 広範な業界ベンチマークで最先端の性能を実証し、推論の強化を含む新機能を導入しています。

  • Meta Llama 3は、前モデルと比較して、15兆を超える膨大なトークンのデータセットで学習され、理解力と複雑な言語ニュアンスへの対応が向上しています。
  • Llama 2の2倍である8kトークンの拡張コンテキストウィンドウを備えており、より多くの情報に基づいた意思決定のために、長い文章からより多くの情報にアクセスすることができます。
  • このモデルは、128kトークンの語彙を持つ新しいTiktokenベースのトークナイザを利用し、英語と多言語の両方のコンテキストにおける能力を向上させています。

Meta Llama 3を使ったDatabricksでの開発

プロダクショングレードのAPIでMeta Llama 3にアクセス: Databricksモデルサービングは、基盤モデルAPIを通じてMeta Llama 3に即座にアクセスできます。これらのAPIは、Databricksのセキュリティ境界内でデータの安全性を確保しながら、基盤モデルのホスティングとデプロイの手間を完全に取り除きます。

Meta Llama 3と他のモデルを簡単に比較し、管理することができます:Meta Llama 3には、他の基盤モデルと同じ統一されたAPIとSDKでアクセスできます。この統一されたインターフェイスにより、すべてのクラウドプロバイダーで基盤モデルの実験、切り替え、デプロイが簡単に行えます。内部および外部でホスティングされたすべてのモデルが1つの場所に配置されているため、追加のセットアップ費用を負担したり、継続的なアップデートに負担をかけたりすることなく、新しいモデルリリースの恩恵を簡単に受けることができます。

from openai import OpenAI
import os
       
        
chat_completion = client.chat.completions.create(
  messages=[
  {
    "role": "system",
    "content": "You are an AI assistant"
  },
  {
    "role": "user",
    "content": "Tell me about Large Language Models"
  }
  ],
  model="databricks-meta-llama-3-70b-instruct",
  max_tokens=256
)
        
print(chat_completion.choices[0].message.content)

`ai_query` SQL関数を使えば、Meta Llama 3の推論をSQLから直接呼び出すこともできます。詳しくはai_queryドキュメント参照してください

SELECT ai_query(
    'databricks-meta-llama-3-70b-instruct',
    'Databricks SQL を 30 語で説明してください。'
  )AS chat

Meta Llama 3をプライベートデータで安全にカスタマイズ: Llama 2がリリースされた時、コミュニティと企業の両方が特化したカスタムモデルを開発したため、イノベーションの波が巻き起こりました。私たちは、Meta Llama 3がこのトレンドをさらに促進すると予想しており、そこから生まれる微調整されたモデルに興奮しています。Databricksモデルサービングは、これらすべての微調整されたバリアントのシームレスなデプロイメントをサポートしており、企業がドメイン固有のデータや専有データでモデルを簡単にカスタマイズできるようになっています。さらに、企業はMeta Llama 3をベクトル検索とフィーチャーサービングによって構造化データと非構造化データで補強することができます。

パフォーマンスを最適化した最新モデルで最先端を維持: Databricksは、最適化された推論を備えた最良かつ最新のオープンモデルへのアクセスを保証することに専念しています。このアプローチにより、各タスクに最適なモデルを柔軟に選択することができ、利用可能なモデルのスペクトルが拡大し続けている中で、常に新たな開発の最前線にいることができます。当社のパフォーマンスチームは、お客様が最も低いレイテンシーとTCOの削減を引き続き享受できるよう、最適化のさらなる改善に積極的に取り組んでいます。

DatabricksでMeta Llama 3を使い始めるには

Databricksワークスペース内のAI Playgroundから直接Meta Llama 3をお試しいただけます より詳しい情報については、以下のリソースをご参照ください:

Databricks 無料トライアル

関連記事

MetaのLlama 2とDatabricksでジェネレーティブAIアプリを構築する

翻訳:Junichi Maruyama. - Original Blog Link 本日、Meta社は最新の大規模言語モデル(LLM)である Llama 2 をオープンソースとして公開し、商用利用を開始した1。これはオープンソースAIにとって重要な進展であり、ローンチ・パートナーとしてMetaと協力できたことはエキサイティングでした。私たちは、Llama 2のモデルを事前に試すことができ、その能力とあらゆる可能性のあるアプリケーションに感銘を受けました。 今年初め、メタ社は LLaMA をリリースし、オープンソース(OSS)LLMのフロンティアを大きく前進させた。v1モデルは商用利用はできないが、生成AIとLLMの研究を大きく加速させた。 Alpaca と Vicuna は、高品質な指示フォローとチャットデータがあれば、LLaMAをChatGPTのように振る舞うようにファインチューニングできることを実証した。この研究結果に基づいて、Databricksは databricks-dolly-15k 命令追跡データセ

MLflow AI GatewayとLlama 2を使ってジェネレーティブAIアプリを構築する

翻訳:Junichi Maruyama. - Original Blog Link 顧客サポートボット、社内ナレッジグラフ、またはQ&Aシステムを構築するために、顧客は多くの場合、事前に訓練されたモデルを独自のデータと一緒に活用するRAG(Retrieval Augmented Generation)アプリケーションを使用します。しかし、安全なクレデンシャル管理と不正使用防止のためのガードレールがないため、お客様はこれらのアプリケーションへのアクセスと開発を民主化することができません。私たちは最近、 MLflow AI Gateway を発表しました。これは拡張性の高いエンタープライズグレードのAPIゲートウェイで、組織がLLMを管理し、実験や生産に利用できるようにします。本日、AI Gatewayを拡張し、RAGアプリケーションをより良くサポートすることを発表できることを嬉しく思います。組織は、プライベートホスティングモデルAPI( Databricks Model Serving 経由)、プロプライエ

Mixtral 8x7B と Databricks モデルサーヴィングのご紹介

reviewed by saki.kitaoka 本日、Databricksは モデルサーヴィングで Mixtral 8x7Bをサポートすることを発表します。Mixtral 8x7BはスパースなMixture of Experts(MoE)オープン言語モデルで、多くの最先端モデルを凌駕するか、あるいはそれに匹敵します。最大32kトークン(約50ページのテキスト)の長いコンテキストを処理する能力を持ち、そのMoEアーキテクチャはより高速な推論を提供するため、RAG(Retrieval-Augmented Generation)やその他の企業ユースケースに理想的です。 Databricks Model Servingは、 プロダクショングレードのエンタープライズ対応プラットフォーム 上で、オンデマンド価格でMixtral 8x7Bへの即時アクセスを提供します。毎秒数千のクエリをサポートし、シームレスな ベクターストア 統合、自動化された品質 モニタリング 、統合 ガバナンス 、アップタイムのSLAを提供します。このエ
データサイエンス・ML一覧へ