ファインチューニングされたラマモデルに対するバッチ推論とMosaic AIモデル提供
序章 本番環境向け、スケーラブルでフォールトトレラントな生成型AIソリューションを構築するには、信頼性の高いLLMの利用可能性が必要です。あなたのLLMエンドポイントは、専用の計算をあなたのワークロードのために持つことで需要を満たす準備ができている必要があります。必要に応じて容量をスケーリングし、一貫したレイテンシを持ち、すべてのインタラクションをログに記録する能力、そして予測可能な価格設定を持つことが求められます。このニーズを満たすために、Databricksは プロビジョニングされたスループットエンドポイント を、各種の高性能基盤モデル（全ての主要なラマモデル、DBRX、ミストラルなど）で提供しています。しかし、最新で最も性能の高い微調整されたLlama 3.1と3.2のバリアントを提供することはどうでしょうか？NVIDIAの Nemotron 70Bモデル は、Llama 3.1の微調整されたバリアントで、多様なベンチマークで競争力のあるパフォーマンスを示しています。Databricksの最近の革新により、
新登場！Python Data Source APIでデータ取り込みが驚くほど簡単に！
データエンジニアリングチームは、多様なカスタムデータや業界固有のデータソースに対応するため、専用の取り込みソリューションを構築するタスクを頻繁に求められます。しかし、この取り込みソリューションの構築作業は煩雑で時間がかかることが多いのが現状です。こうした課題を解決するために、さまざまな業界の企業にインタビューを実施し、多岐にわたるデータ統合ニーズを深く理解しました。この包括的なフィードバックを基に開発されたのが、Apache Spark™向けの Python Data Source API です。 Shellとの取り組み 私たちが密接に協力してきた企業の一つがShellです。エネルギー業界では、設備の故障が安全性、環境、運用の安定性に重大な影響を及ぼす可能性があり、Shellではこれらのリスクを最小化することが重要課題となっています。そのため、設備の信頼性の高い運用に注力しています。 Shellは1,800億ドル以上の価値を持つ多種多様な資本設備と機器を所有しており、その運用から生成される膨大なデータを管理するた
SnowflakeでUnityカタログテーブルを読み取るには！？たった4ステップ！
Unity CatalogのIceberg REST APIにSnowflakeから接続し、単一のソースデータファイルをIcebergとして読み込む方法を学びましょう。
DatabricksのサーバーレスコンピュートでVM起動を7倍高速化
Databricksのサーバーレスコンピュートインフラは、3大クラウドプロバイダー上で毎日数百万台の仮想マシン（VM）を起動・管理しています。この規模で効率的にインフラを運用することは、大きな課題です。本日は、真のサーバーレス体験を実現するための最近の取り組みをご紹介します。これにより、コンピュートリソースだけでなく、Apache SparkクラスタやLLMの提供など、あらゆるデータとAIのワークロードを大規模に処理するための基盤 システムが数秒で準備完了します。 私たちの知る限り、これほど多様なデータおよびAIワークロードを大規模に数秒以内で実行できるサーバーレスプラットフォームは他にありません。最大の課題は、VM環境を最適なパフォーマンスでセットアップするための時間とコストにあります。このセットアップには、さまざまなソフトウェアパッケージのインストールだけでなく、実行環境の十分なウォームアップも必要です。たとえば、Databricks Runtime（DBR）では、JVMのJITコンパイラをウォームアップするこ
Providence Health：Databricks Mosaic AIを使用したML/AIプロジェクトのスケーリング
Providence Healthの広範なネットワーク は50以上の病院と複数の州にまたがるその他の施設を包含しており、特定の部門内での患者数と日々の患者数を予測することは多くの課題を伴います。この情報は、短期および長期のスタッフニーズ、患者の転送、一般的な運用認識についての情報提供を行うために重要です。Databricksの採用初期段階では、Providenceは新しいリクエストを迅速に進め、探索を支援し、多くの場合初期の予測を提供するシンプルな基準患者数モデルを作成することを目指 しました。また、この患者数をほぼリアルタイムで数千の部門をサポートするようにスケーリングするには一部の作業が必要だと認識しました。 私たちは、 Databricks Mosaic AI ツールの実装を開始しました Databricks AutoML を使用しています。スケジュールされたワークフローが実行されるたびに、数行のコードから自動的に予測を実行する能力を高く評価しました。AutoMLは詳細なモデル設定を必要とせず、データを初めて
Databricks SQLにおいてマテリアライズドビューとストリーミングテーブルが正式リリース！
Databricks SQL において、 マテリアライズドビュー （MV）と ストリーミングテーブル （STs）が AWS と Azure で正式リリースされました！ ストリーミングテーブルは、クラウドストレージやメッセージバスといったソースから、SQL 数行でシンプルかつ増分でデータ取り込みが可能です。マテリアライズドビューは、クエリ結果を事前に計算し、増分で更新することで、ダッシュボードやクエリの実行速度を大幅に向上させます。この2つを組み合わせることで、データ取り込みから変換まで、SQL だけで効率的かつスケーラブルなデータパイプラインを作成できます。 このブログでは、これらのツールがアナリストやアナリティクスエンジニアにどのように力を与え、DBSQL ウェアハウス内でデータおよび分析アプリケーションをより効果的に提供できるようにするかについて詳しく説明します。また、MV と ST の新機能であるモニタリング、エラー対応、コスト追跡の強化についてもご紹介します。 データウェアハウスユーザーが直面する課題 デー
Aimpoint Digital：Databricksにおける安全で効率的なマルチリージョンモデル提供のためのDelta Sharingの活用
機械学習モデルを提供する際、 遅延 は、予測をリクエストしてからレスポンスを受け取るまでの時間であり、エンドユーザーにとって最も重要な指標の一つです。遅延は、リクエストがエンドポイントに到達する時間、モデルによって処理される時間、そしてユーザーに戻る時間を含みます。異なる地域に基づくユーザーにモデルを提供すると、リクエストとレスポンスの両方の時間が大幅に増加する可能性があります。顧客が基づいている地域とは異なる地域でモデルをホスティングし、提供している企業を想像してみてください。この地理的な分散は、データがクラウドストレージから移動する際の高いエグレスコストを発生させ、2つの仮想ネットワーク間のピアリング接続と比較してセキュリティが低下します。 地域間の遅延の影響を示すために、ヨーロッパから米国にデプロイされたモデルエンドポイントへのリクエストは、ネットワーク遅延として100-150ミリ秒を追加することができます。対照的に、米国内のリクエストは、この Azureネットワークの往復遅延統計 ブログから抽出した情報に
正式リリース！Unity CatalogからMicrosoft Power BIサービスへの直接公開が可能に！
「Unity Catalog から Microsoft Power BI Service へのデータ公開」機能が正式に利用可能となりました！この新機能により、 Unity Catalog のデータから数クリックで Power BI Web レポートを作成できるようになり、シームレスなカタログ統合とデータモデル同期が実現しました。Databricks の UI を離れることなく、Power BI Service に直接データセットを公開することが可能です。 Unity Catalog...
Logically AIでGPU推論をターボチャージ！
2017年に設立された Logically は、AIを使用してクライアントのインテリジェンス能力を強化する分野のリーダーです。ウェブサイト、ソーシャルプラットフォーム、その他のデジタルソ ースから大量のデータを処理し分析することで、Logicallyは潜在的なリスク、新たな脅威、重要なナラティブを特定し、それらをサイバーセキュリティチーム、プロダクトマネージャー、エンゲージメントリーダーが迅速かつ戦略的に行動できるように整理します。 GPU加速はLogicallyのプラットフォームの重要な要素であり、高度に規制されたエンティティの要件を満たすためのナラティブの検出を可能にします。GPUを使用することで、Logicallyは訓練と推論の時間を大幅に短縮し、ソーシャルメディアやインターネット全体での偽情報の拡散を防ぐために必要なスケールでのデータ処理を可能にしました。現在のGPUリソースの不足も、最適なレイテンシとAIプロジェクトの全体的な成功を達成するために、その利用を最適化することが重要であることを意味します。 ロ
LLMのためのコーディングテスト作成 〜Spark SQLに焦点を当てて〜
はじめに コード生成のための大規模言語モデル（LLM）の活用はますます一般的になっており、より速く、よりスマートにコーディ ングできる利点があります。しかし、LLMが生成するコードの正確性が主な懸念点です。多くのオープンソースのコーディングベンチマークは一般的なコーディングスキルの評価を目的としていますが、企業環境では、LLMは一般的なプログラミング能力だけでなく、MLflowやSpark SQLといった特定のライブラリやツールの利用にも対応する必要があります。 このため、LLMが特定のコーディングライブラリにおける能力を体系的に評価する方法が求められています。 本ブログ記事では、この課題に対処するため、 LLM向けのライブラリ特化型コードテストを生成する手法をご紹介 します。これらの生成されたテストケースは、モデルを評価するための構造化された方法を提供し、特定のライブラリに適したモデルを選定する助けとなります。また、ドメイン固有のファインチューニングにより、特定のライブラリへの熟練度向上も測定可能です。 この記事