本日、すべてのクラウド プラットフォームで Databricks Assistant と AI 生成コメントが一般提供されることをお知らせいたします 。Databricks の使命は、プラットフォームをできるだけ簡単に使えるようにし、データと AI を民主化することです。 そのため、これらの機能をすべてのお客様に追加料金なしで提供しています。
昨年 11 月、当社は、データ インテリジェンス プラットフォームと呼ばれる新世代のデータ プラットフォームのビジョンを発表しました。 これは、AI の力を活用して、データの管理、統制、およびデータからの知見の抽出方法に革命をもたらすものです。Databricks Assistant と AI 生成コメントの提供開始により、このビジョンに一歩近づきました。これらの機能は、AI モデル、検索、ランキング、およびパーソナライゼーション システムを活用して組織のデータと使用パターンのセマンティクスを理解する複合 AI システムによって実現されています。
Databricks Assistant
Databricks Assistant では 、エンタープライズ データ向けの最高の AI 搭載生産性向上ツールの構築を目指しました。 プレビュー以来、圧倒的な導入実績を誇っています。Assistant はこれまでで最も急速に成長している Databricks 機能の 1 つであり、毎月 150,000 人を超えるユーザーがこれを活用して、コードの自動生成、エラーのトラブルシューティング、視覚化とダッシュボードの作成を行っています。
コーディングの生産性を変革する画期的な AI 搭載ツールです。
— モルガン・スタンレー、VP/SDM Data、Saptagiri Kintali 氏
ここ数か月、私たちはユーザーエクスペリエンスと回答の質の向上に懸命に取り組んできました。 ここでは 、主な新機能をいくつかご紹介します。
- より正確な回答のためのデータ認識コンテキスト：アシスタントのようなAIツールは、最良の結果を出すために、高品質のメタデータにアクセスする必要があります。データセットとその使用パターンを理解することは、意味理解を深めるために必要であり、より豊富なAI機能がデータ プラットフォームに備わると私たちが考える主な理由です。過去 1 年間で、関連するワークスペース コンテキストを組み込むことがアシスタントの応答の精度に最も大きな影響を与えることがわかりました。スタック トレース、リネージ、人気のあるお気に入りのテーブル、データフレーム スキーマ、近くのセル、関連するドキュメントから追加のコンテキストを追加することで、アシスタントの精度が大幅に向上しました。
- すべてのページでアシスタントが利用可能に：アシスタントをノートブックとSQLエディターから移動し、Databricksのすべてのページに追加しました。これにより、すべてのDatabricks製品ページで会話を続けることができます。たとえば、1 回の会話で、 Databricks Assistant はジョブの失敗を診断し、コードを修正する方法を提案し、ジョブを再開するのに役立ちます。また、複数の会話スレッド機能も追加され、新しいアシスタント チャットを作成したり、以前のタスク を再開したりできるようになりました。
- コードとクエリの絞り込みのためのインライン チャット：アシスタントの UX 強化にも取り組んでいます。コード行を選択し、インライン チャットのキーボード ショートカット (Windows の場合は Ctrl+i、Mac の場合は Cmd+i) を使用すると、エディターを離れることなくコードをすばやく反復処理できます。
- 簡単なショートカットのためのスラッシュ コマンド：セマンティック検索を活用して、 /findTables でテーブルを検索したり、 /doc でコメントを追加したりできます。組み込みのスラッシュ コマンドを使用すると、長いプロンプトを入力しなくてもタスクを簡単に実行できます。
- アシスタントのオートコンプリート（プレビュー）： 最近、入力時にリアルタイムでコード候補を提供する AI を活用した新しい機能である Databricks Assistant のオートコンプリートを導入しました。Unity Catalog メタデータやコードのその他のコンテキストを活用して、SQL および Python に関連性の高いコード補完を提供します。
- AI/BI ダッシュボード チャートの生成 (プレビュー)：アシスタントを使用すると、 Databricks AI/BIダッシュボード エディターで視覚化をすばやく作成して反復処理できます。
アシスタントを使用して Databricks での生産性を向上させる方法を見て、私たちはとても興奮しています。 今後数か月の間に、多くのエキサイティングなアシスタント機能が計画されており、近日中に発表するのが待ちきれません。
「Databricks Assistant は生産性の向上に重要な役割を果たします。 ペアコーディングと Databricks Assistant の専門知識を活用することで、チームは開発と分析のタスクを約 50% 高速化できます」
—Banco Bradesco、データエンジニア、Pedro Antonio Boareto 氏
Unity Catalog における AI 生成コメント
本日 GA としてリリースされるもう 1 つの機能は、Unity Catalog における AI 生成コメントです 。この機能は、生成AI を活用して、関連するテーブルの説明と列のコメントを提供します。この機能のリリース以来、Databricks のテーブル メタデータ更新の 80% 以上が AI 支援によるものとなっています。
カタログ全体でAI生成コメントを使用することは、アシスタントの回答を改善する最良の方法の 1 つです。テーブルと列に説明的なコメントを提供することで、ベンチマークでの応答の精度が大幅に向上しました。Databricks Assistantを最大限に活用するための 5 つのヒントでは、行レベルのデータの例を列のコメントに手動で追加することで、さらに一歩前進しました。説明的なメタデータの構築には時間がかかりますが、アシスタントの精度を向上させるために実行できる最も価値のあるタスクの 1 つです。
ユーザーの生産性が大幅に向上
リリース以来、私たちはアシスタントがさまざまなタスクにおける生産性と効率性にどのような影響を与えているかをより深く理解するために、アシスタントのトップユーザーにアンケートを送ってきました 。これまでに受け取った回答に基づくと、ユーザーの 72% が時間の節約を報告し 、生産性が最大 50% 向上したと報告しています。
ここでは、寄せられた上位のコメントを抜粋してご紹介します。
「SiriusXM では、 Databricks Assistantを使用して、データベースを作成し、複雑なクエリを作成し、データレイク内でテーブルを結合する方法を特定し、コーディングの問題を解決することで、データ チームの開発時間を節約しています」
— Sirius XM、データエンジニアリング担当副社長、Bernie Graham 氏
「Databricks Assistant の導入により、ユーザー ベースがスキル セットを向上させることが容易になりました。 開発サイクルにシームレスに統合することで、専門のデータ サイエンティスト、エンジニア、アナリストの生産性が大幅に向上しました。 ユーザーは、コードをこれまで以上に迅速に理解、生成、最適化、トラブルシューティングできます。 Databricks エコシステムの継続的な成長と Databricks Assistant の継続的な進歩により、次のレベルのツールがより利用しやすくなります。」
— ゼネラルモーターズ、シニアマネージャー、Nicholas Heier氏
「アシスタントは、反復的なコーディング タスクの自動化を通じて、チーム全体の生産性の向上を促進します。 デバッグにも最適です」
— SSEビジネスエナジー、データサイエンティスト、Luke Woolley 氏
Databricks Assistant は企業のニーズに合わせて構築されています
企業顧客がデータから価値を引き出し、世界で最も困難な問題を解決できるよう支援することに注力するデータおよび AI 企業として、当社は、テクノロジーを開発する企業とそれを利用する企業および組織の両方が AI の導入方法に関して責任を持って行動する必要があると強く信じています。
Databricks Assistant は、最初からエンタープライズ ワークロードの需要を満たすように設計されました。 Assistant は Unity Catalog のガバナンスを尊重し、規制の厳しい業界のコンプライアンス基準を満たしています。データは顧客間で共有されることはなく、トレーニングモデルに使用されることもありません。詳しい情報については「Databricks信頼性と安全性」を参照してください。
本日より提供開始
Databricks Assistant をすべてのクラウドのすべてのユーザーが利用できるようになりました。Databricks Assistant、AI 生成コメント、Databricks Assistant オートコンプリートは、すべての顧客に追加費用なしで提供されます。
Databricks Assistant の動作を確認するには、デモ ビデオをチェックして、アシスタントを使用してデータパイプライン、 クエリ、およびデータ視覚化を構築する方法を確認してください。
アシスタントまたはAI 生成コメントのアイコンが表示されない場合は、管理者がこちらに記載されている手順 に従って、Databricks アカウントとワークスペースで Databricks Assistant を有効にすることができます。
