Intel Gaudi 2 AIアクセラレーターによるLLMトレーニングと推論
Databricksでは、お客様がデータのプライバシーやコントロールを犠牲にすることなく、ご自身のデータでジェネレーティブAIアプリケーションを構築し、展開できるよう にしたいと考えています。 カスタムAIモデルのトレーニングをご希望のお客様には、簡単かつ効率的に、低コストでトレーニングできるようお手伝いします。 この課題に対処するための1つの手段は、MLハードウェアの最適化です。この目的のために、私たちはLLMスタックが様々なMLハードウェアプラットフォーム（例えば、NVIDIA [1][2]、AMD [3][4]）をシームレスにサポートできるよう、たゆまぬ努力を続けてきました。 本日は、AIトレーニングおよび推論市場におけるもう1つの主役、Intel® Gaudi® AIアクセラレーター・ファミリーについてご紹介します！ これらのアクセラレータは、AWS（第一世代のGaudi）、Intel Developer Cloud（Gaudi 2）、およびオンプレミス実装の場合はSupermicroとWiWynn（Gau
AMD MI250 GPUによるLLMの大規模トレーニング
序章 4カ月前、AMDが ジェネレーティブAIのための有能なプラットフォームとして 登場し、AMD Instinct GPUを使用してLLMを簡単かつ効率的に訓練する方法を実証したことを紹介した。 今日、我々はヒットが続いていることに興奮している！ AMD GPUのコミュニティでの採用は拡大している： Laminiの ようなAIスタートアップは、AMD MI210およびMI250システムを使用して、カスタムLLMの微調整とデプロイを行っており、 Morehは 1200個のAMD MI250 GPUを使用して、同社のプラットフォーム上で221Bのパラメータ言 語モデルをトレーニングすることができた。 さらに、 AI2のOLMoの ようなオープンソースのLLMも、AMD GPUの大規模クラスタ上でトレーニングされている。 一方、AMDでは、 ROCmソフトウェア・プラットフォームが バージョン5.4から5.7にアップグレードされ、FlashAttention用のROCmカーネルが...