GenAI Journey：企業が一般目的からカスタムLLMへと進化している方法

企業におけるGenAIについては、興奮が現実と衝突しています。リーダーたちはこの技術の力を認識し、自分たちの業務に熱心に適用したいと考えています。しかし、多くの人々が継続的なパフォーマンスの問題に悩まされています。

企業は、広範で一般的なモデルがインターネットの広大なアーカイブを要約するように設計されているとき、自分たちのビジネスに関する特別な洞察を提供することが期待されるときには不十分であることを認識しています。現在、焦点はこれらのますます強力なシステムをビジネスの競争優位を支えるカスタマイズされたソリューションの基盤として使用することにあります。

基礎からカスタマイズされたLLMへのこの道のりは、各企業で異なりますが、リーダーが求める正確で統制されたGenAIを開発者が提供するための新しいツールが必要となります。

旅の理解

ほとんどのビジネスでは、GenAIの旅は大きな基本的なモデルを試すことから始まります。これらは独自のモデルであるか、またはますますオープンソースのシステムである可能性があります。

この初期段階では、リーダーは使用をガイドする公式ポリシーを考慮する必要があります。その後、彼らは内部チームが異なるシステムをテストすることを許し始めます。これにより、対処すべき技術的および組織的な障害を特定し、最も価値を提供すると約束された初期のユースケースに焦点を当てることができます。

すぐに、ビジネス全体でのAIのより広範な利用を妨げるパフォーマンスの制限を克服することが焦点となります。組織は、LLMを自分たちの特定のニーズに合わせてカスタマイズする方法を学びたいと考えています。これには通常、検索拡張生成のような手法を使用し、企業独自のプライベートデータコーパスをさらに訓練して、ビジネスに関するユニークな質問に対応するモデルを訓練します。

最終的には、企業はさらにカスタマイズを進め、出力に対するコントロールを強化したいと考えるでしょう。これには、モデルのより深い微調整が必要です。大量のデータセットを持つ企業では、自社のLLMを事前に訓練することを検討するかもしれません。

カスタマイズされたGenAIへの典型的な道のりについては、こちらで詳しく学んでください。

基盤の進化

これらの各ステージは、組織的および技術的な障害を持っています。GenAIが急速に進化しているため、企業はこの技術の構築とサポートに対するアプローチを機敏に行う必要があります。統一されつつも柔軟な基盤が重要であり、信頼性とパフォーマンスの高いAIに必要なデータ品質と強固なガバナンスを推進できるものが必要です。

データの準備、取得モデル、言語モデル、ランキングとポストプロセッシングのパイプライン、プロンプトエンジニアリングなど、GenAIシステムを構築するための多くのコンポーネントがあります。開発者は、このプロセスのすべての側面を組み合わせて最適化する基盤プラットフォームが必要であり、また、データとモデル出力の品質を理解するための豊富なツールを提供します。

DatabricksのData Intelligence Platformを使用すると、エンジニアはGenAI成熟度サイクルの各ステップにおける固有の課題を解決するために設計された幅広いサービスにアクセスできます。組織がモデルを試し、数千のGPUを通じてシステムを訓練し、微調整し、品質と安全性の向上のために人間のフィードバックを取り入れるためのソリューションが存在します。

一つの基盤から、ビジネスはすべてのAIシステムのライフサイクルを管理し、高精度で、統制され、安全な出力を生み出すことができます。DIプラットフォームを使用すれば、企業の限界は想像力と実験への意欲だけです。詳細情報は、"GenAIの大全集"をご覧ください。