メインコンテンツへジャンプ

私たちは、Databricksが現在、Amazon EC2 G6インスタンスをNVIDIA L4 Tensor Core GPUでサポートすることを発表することを嬉しく思います。これによりDatabricksデータインテリジェンスプラットフォーム上でのより効率的でスケーラブルなデータ処理、機械学習、AIワークロードを可能にする一歩を示しています。

AWS G6 GPUインスタンスの利点は何ですか?

Amazon Web Services (AWS)のG6インスタンスは、低コストでエネルギー効率の高いNVIDIA L4 GPUを搭載しています。このGPUは、NVIDIAの第4世代テンソルコアAda Lovelaceアーキテクチャに基づいており、最も要求の厳しいAIや機械学習のワークロードをサポートします。

  • G6インスタンスは、NVIDIA T4 GPUを使用するG4dnインスタンスと比較して、ディープラーニングの推論やグラフィックスワークロードで最大2倍のパフォーマンスを提供します。
  • G6インスタンスは、NVIDIA A10GテンソルコアGPUを搭載したG5インスタンスの2倍の計算能力を持ちながら、メモリ帯域幅は半分です。(注: 多くのLLMやその他の自己回帰型トランスフォーマーモデルの推論はメモリに依存する傾向があるため、A10Gはチャットなどの用途に依然として適しているかもしれませんが、L4は計算負荷の高いワークロードでの推論に最適化されています。)

ユースケース:AIと機械学習のワークフローを加速する

  • ディープラーニング推論: L4 GPUは、バッチ推論ワークロードに最適化されており、高い計算能力とエネルギー効率のバランスを提供します。TensorRTや他の推論最適化ライブラリに優れたサポートを提供し、コンピュータビジョン、自然言語処理、推奨システムなどのアプリケーションでのレイテンシを減らし、スループットを向上させます。
  • 画像と音声の前処理:  L4 GPUは並列処理に優れており、これは画像や音声の前処理のようなデータ集約型のタスクにとって重要です。例えば、画像やビデオのデコードや変換はGPUから利益を得るでしょう。
  • ディープラーニングモデルの訓練: L4 GPUは、パラメータが少ない(10億未満)比較的小さなディープラーニングモデルの訓練に非常に効率的です

使用方法

DatabricksでG6 GPUインスタンスを使用するには、GPU対応のDatabricksランタイムバージョンで新しいコンピュートを作成し、ワーカータイプとドライバータイプとしてG6を選択します。詳細は、Databricksのドキュメンテーションをご覧ください。

G6インスタンスは、現在AWS US East(N.バージニアおよびオハイオ)およびUS West(オレゴン)地域で利用可能です。将来的に利用可能な地域については、AWSのドキュメンテーションをご確認ください。

スクリーンショット

先を見据えて

AWSでのG6 GPUサポートの追加は、DatabricksがAIとデータ分析のイノベーションの最前線に立ち続けるための多くの取り組みの一環です。お客様が最新のプラットフォーム機能を活用し、独自のデータからインサイトを得ることに意欲的であることを私たちは理解しています。今後もGr6やP5eインスタンスなどのGPUインスタンスタイプや、AMDなどのさらなるGPUタイプのサポートを拡大していく予定です。お客様が利用できるようになるAIコンピュートの革新を積極的にサポートしていくことが私たちの目標です。

まとめ

推奨システムのようなDLモデルをトレーニングしたい研究者、UCからのデータを使ってDLバッチ推論を実行したいデータサイエンティスト、あるいはビデオやオーディオデータを処理したいデータエンジニアにとって、今回の最新の統合により、DatabricksがあらゆるデータとAIのニーズに応える堅牢で将来に備えたプラットフォームを提供し続けることが可能になりました。

今すぐ始めて、Databricks上でのデータと機械学習ワークロードにおける次世代のパフォーマンスを体験してください。

 

Databricks 無料トライアル

関連記事

Databricks上で高度にスケーラブルなディープ推薦システムを訓練する(パート1)

推薦システム(RecSys)は、さまざまなプラットフォームでパーソナライズされたコンテンツの提案を支える現代のデジタル体験の不可欠な部分となっています。これらの洗練されたシステムとアルゴリズムは、ユーザーの行動、好み、アイテムの特性を分析し、興味のあるアイテムを予測し、推奨します。ビッグデータと機械学習の時代において、推薦システムは単純な協調フィルタリングのアプローチから、深層学習技術を活用する複雑なモデルへと進化しています。 これらの推薦システムをスケールすることは、特に何百万人ものユーザーや何千もの製品を扱う場合には、困難な場合があります。これを行うには、コスト、効率、精度のバランスを見つける必要があります。 このスケーラビリティの問題に対処する一般的なアプローチは、2段階のプロセスを含みます:初期の効率的な「広範な検索」に続いて、最も関連性の高いアイテムに対するより計算的に集中的な「狭範な検索」です。例えば、映画の推薦では、効果的なモデルはまず検索空間を数千からユーザーごとに約100項目に絞り込み、その後、
生成 AI一覧へ