Mosaic AI 基盤モデルサービング
リアルタイムおよびバッチ推論ワークロードのニーズに対応する、最先端のオープン基盤モデルを提供します。これにより、独自のモデル展開を維持することなく、高品質な生成 AI モデルを活用したアプリケーションを迅速かつ容易に構築できます。
Loading...
基盤モデルサービングの DBU レートとスループット
| モデル | Pay-Per-Token | プロビジョニングthroughput スケーリングバンド1 |
プロビジョニングthroughput エントリーバンド用 (アメリカ、カナダ、ブラジルのベースモデルのみ）3 |
|||
|---|---|---|---|---|---|---|
| DBU / 1 M 入力トークン（グローバル） | DBU / 1 M 出力トークン（グローバル） | DBU / 時間（グローバル） | スループット範囲2（最大トークン / 秒） | DBU / 時間（グローバル） | 最大トークン/秒 | |
| 現在のモデル | ||||||
| Llama 3.1 405B | 35.714 | 142.857 | 600.000 | 3,400 | 150.000 | 850 |
| Llama 3.3 70B | 7.143 | 21.429 | 342.857 | 9,500 | 85.714 | 2,400 |
| Llama 3.1 70B | N/A | N/A | 342.857 | 9,500 | 85.714 | 2,400 |
| Llama 3.1 8B | N/A | N/A | 106.000 | 19,000 | 50.000 | 9,500 |
| Llama 3.2 3B | N/A | N/A | 92.857 | 22,000 | 46.429 | 10,900 |
| Llama 3.2 1B | N/A | N/A | 85.714 | 35,000 | 42.857 | 15,800 |
| GTE | 1.857 | N/A | 20.000 | 9,450 | 20.000 | 9,450 |
| BGE Large | 1.429 | N/A | 24.000 | 11,800 | 24.000 | 11,800 |
| レガシーモデル | ||||||
| DBRX | 10.714 | 32.143 | 171.429 | 650 | 171.429 | 650 |
| Llama 2 70B | N/A | N/A | 212.143 | 1,000 | 212.143 | 1,000 |
| Llama 3 8B | N/A | N/A | 106.000 | 3,000 | 106.000 | 3,000 |
| Llama 2 70B | N/A | N/A | 290.800 | 1,200 | 290.800 | 1,200 |
| Llama 2 13B | N/A | N/A | 112.000 | 980 | 112.000 | 980 |
| Mixtral 8x7B | 7.143 | 14.286 | 290.857 | 5,000 | 290.857 | 5,000 |
| MPT-30B | N/A | N/A | 112.000 | 450 | 112.000 | 450 |
| MPT 7B | N/A | N/A | 20.000 | 2,450 | 20.000 | 2,450 |
2 スループット範囲は、上記の時間単価で提供されるモデル固有の最大スループット（1 秒あたりのトークン）です。プロビジョニング済みスループットサービングでは、モデルのスループットは特定の「スループット範囲」の単位で提供されます。より高いモデルのスループットでは、お客さまがスループット範囲の適切な倍数を設定する必要があり、その倍数に基づいて上記の時間単価が課金されます。
1 スループットは、入力 3500 トークン、出力 300 トークンの典型的なリアルタイムのユースケースに基づく例です。実際のスループットは、ユースケース、クエリの形状、その他の要因によって異なります。入出力比は、埋め込みモデルには適用されません。
3:エントリーバンドはアメリカ、カナダ、ブラジル以外ではご利用いただけません。 また、ベースモデルのファインチューン版にはエントリーバンドは設定されていません。
トークン単位の従量課金サービングの料金の例
| モデル | インプットトークン | アウトプットトークン | リージョン | 単価ドル / DBU | 合計料金 |
|---|---|---|---|---|---|
| Llama 3.1 405B | 4,000,000 | 1,000,000 | US East | $0.070 | $20.00 |
| Llama 3.3 70B | 4,000,000 | 1,000,000 | US East | $0.070 | $3.50 |
プロビジョニング済みスループットサービングの料金の例
| モデル | スループット範囲 | 時間 / 月 | リージョン | 単価ドル / DBU | 合計料金 |
|---|---|---|---|---|---|
| Llama 3.1 405B | 1 | 720 | US East | $0.070 | $7,560 |
| Llama 3.3 70B | 1 | 720 | US East | $0.070 | $4,320 |
| Llama 3.1 8B | 2 | 720 | US East | $0.070 | $5,040 |
従量課金制のプランを 14 日間無料でお試しいただけます。コミットに応じた割引価格および、カスタム要件もご用意しております。