LakehouseIQのご紹介： あなたのビジネスを独自に理解するAIエンジン

翻訳：Junichi Maruyama.  -  Original Blog Link

本日、LakehouseIQを発表いたします。LakehouseIQは、お客様のビジネスとデータのユニークなニュアンスを学習し、様々なユースケースで自然言語によるアクセスを可能にするナレッジエンジンです。LakehouseIQは、組織内のどの従業員でも自然言語でデータを検索、理解、照会することができます。LakehouseIQは、お客様のデータ、使用パターン、組織図に関する情報をもとに、専門用語や独自のデータ環境を理解し、素朴なLarge Language Models (LLM)よりもはるかに優れた回答を提供します。

ラージ・ランゲージ・モデルはもちろん、データに言語インターフェースをもたらすと約束されており、どのデータ会社もAIアシスタントを追加しているが、現実には、これらのソリューションの多くは企業データでは不十分である。どの企業も独自のデータセット、専門用語、ビジネス上の質問に答えるために必要な内部知識を持っており、質問に答えるためにインターネットで訓練されたLLMを呼び出すだけでは、間違った結果を出してしまう。顧客」の定義や会計年度のような単純なものでさえ、企業によって異なります。

LakehouseIQは、企業内のビジネスとデータの概念を自動的に学習することで、この問題を直接解決する世界初のナレッジエンジンです。Unity Catalog、ダッシュボード、ノートブック、データパイプライン、ドキュメントなど、Databricks Lakehouseプラットフォーム全体からのシグナルを使用し、Databricksプラットフォーム独自のエンドツーエンドの性質を活用して、データが実際にどのように使用されているかを確認します。これにより、LakehouseIQはお客様の企業に特化した精度の高いモデルを構築することができます。

私たちはLakehouseIQを使って、クエリからトラブルシューティングまで、Databricks全体で新しい自然言語インターフェイスを提供しています。さらに重要なのは、APIを通じてLakehouseIQの機能を公開し、自動学習されたナレッジを利用した独自のAIアプリを構築できるようにすることです。私たちは、このような企業向けの知識エンジンが、次世代のソフトウェア・スタックの重要な構成要素になると信じています。

自然言語クエリ

ほとんどのDatabricksユーザーが最初に目にするAIサーフェスは、SQLエディターとノートブックの新しいアシスタントです。すでに何百時間もの時間を節約しています。このアシスタントはLakehouseIQに大きく依存しており、各アクティビティに適したデータを見つけ、理解し、正確な答えを返します。LakehouseIQのようなナレッジエンジンがなければ、LLMは企業内でデータがどのように使用されているのかを把握できないことがよくあります。例えば、下のクエリでは、LakehouseIQを搭載したアシスタントは「ヨーロッパ」という営業テリトリーの検索をオフにし、結果を見つけられませんでした。これは、この企業が実際には南北2つのヨーロッパテリトリーを持っていることを知らないためです。LakehouseIQバージョンは、この情報を知っているだけでなく、このデータセットを使用した他のクエリ、ダッシュボード、ノートブックから学習した内部使用を除外するフィルタを自動的に追加します。

LakehouseIQで検索

また、LakehouseIQはDatabricksの製品内検索を大幅に強化します。LakehouseIQの新しい検索エンジンは、単にデータを見つけるだけでなく、それを解釈し、整列し、実用的で文脈に沿ったフォーマットで表示することで、すべてのユーザーがより早くデータを使い始められるよう支援します。LakehouseIQは、Databricksのサーバーレスのコードネームが "Nephos "であること、"DBUs "が使用量の指標であることを理解し、適切な結果を見つけます。また、各テーブルの人気度、鮮度、頻度の高いユーザーに関するシグナルも公開しています。

管理およびトラブルシューティング

また、LakehouseIQをレイクハウスの管理ワークフローの多くに統合しています。例えば、データセットに意味のあるコメントを提供することが、自動サジェストにより簡単になります。また、ドキュメントを追加すればするほど、LakehouseIQはそのデータをよりよく利用できるようになります。また、LakehouseIQは、ジョブ、データパイプライン、SparkやSQLクエリを理解し、デバッグすることができます（上流のジョブが失敗しているため、データセットが不完全である可能性があることを伝えるなど）。

LakehouseIQ API: 独自のエンタープライズAIアプリケーションをパワーアップ

LakehouseIQのナレッジエンジンは、LakehouseのジェネレーティブAI機能において、正確な結果とでっち上げの結果を分けるものです。このようなアプリにもLakehouseIQのナレッジの恩恵を受けてもらうため、LangChainのようなLLMアプリケーションフレームワークへの統合を含め、APIを通じて主な機能を公開しています。お客様のAIアプリは、Lakehouse上のデータやドキュメントと自然言語で会話することができ、ビジネスのためのリッチで根拠のあるアプリケーションを構築することができます。

ガバナンスとセキュリティ

LakehouseIQは、データとAI全体のセキュリティとガバナンスのためのDatabricksのフラッグシップソリューションであるUnity Catalog上に構築され、Unity Catalogによって管理されます。LakehouseIQを使用すると、ユーザーはUnity Catalogでアクセスできるデータセットの結果のみを見ることができるため、新たなセキュリティ上の問題を心配することなく、より多くのユーザーにデータ分析を公開することができます。AIベースの自動データ分類、モニタリング、外部システムへのLakehouseフェデレーションなど、本日発表するその他の機能と組み合わせることで、LakehouseIQは企業内のすべてのデータの民主化を支援します。

Next Steps

私たちは、LakehouseIQが前例のないデータ民主化時代の幕開けになると信じています。Databricksは、LakehouseIQの洗練された言語能力と深い文脈理解力を活用することで、あらゆるデータソースに対する実質的な洞察を魅力的な会話形式で提供し、データとの接し方に革命をもたらします。私たちは、単にデータにアクセスできるようにするだけでなく、データを分かりやすく、実用的で、より価値のあるものにしようとしています。LakehouseIQは年間を通して様々な機能を展開していく予定です。

Don't miss the opportunity to witness LakehouseIQ in action at our Data + AI Summit.