Lakehouse Apps のご紹介

翻訳：Saki Kitaoka.  Original Blog Link

Lakehouse Appsは、Databricksのネイティブアプリケーションを構築する新しい方法です。Lakehouse Appsは、Databricksのセキュリティとガバナンス機能をフルに活用し、革新的なデータおよびAIアプリケーションをDatabricks Lakehouse Platform上で構築、配布、実行する最も安全な方法を提供します。

データおよびAIソリューションを構築する開発者にとっては、Databricks Marketplaceを通じてLakehouse Appsを配布することで、10,000社を超えるDatabricksの顧客にアクセスでき、採用までの時間が劇的に短縮されます。お客様にとっては、Lakehouse Appsは、Lakehouse内のデータの価値を最大限に引き出し、Databricksネイティブサービスを活用し、新しい機能でDatabricksを拡張するアプリケーションを実行する最も安全な方法となります。

データアプリケーションのジレンマ

データおよびAIアプリケーションは、最も急速に成長しているソフトウェアカテゴリの1つであり、ジェネレーティブAIと大規模言語モデル（LLM）の成長がこの傾向を加速させています。開発者は日々、革新的なデータおよびAIソリューションを開発しており、企業の開発チームは、レイクハウス内のデータを直接使用する社内アプリケーションや、そのデータに基づいて構築・訓練されたLLMやその他のAIモデルを構築しています。

しかし、これらのソリューションをユーザーの手に届けることは、不必要に複雑です。

• 企業のデータは最も貴重な資産であり、多くの場合、厳格なセキュリティ要件や規制要件の対象となります。外部アプリケーションにそのデータへのアクセスを許可するには、通常、困難な法的、セキュリティ的、商業的ハードルをクリアする必要があります。このプロセスにはコストがかかり、時にはソフトウェア・ベンダーが顧客との取引を進められなくなることさえあります。
• データとAIのワークロードには、膨大な計算能力とスケールが必要です。これらのアプリケーションを複数のクラウドやリージョンで確実かつスケーラブルに提供するために必要なサービスの構築と運用には、多大な労力がかかります。
• エンタープライズ対応のアプリケーションは、顧客のセキュリティ、管理、ガバナンスシステムと統合する必要があります。このような統合は構築コストが高く、新しいアプリケーションには統合されていないことがよくあります。 

これらの課題に対処するために、開発者はしばしば2つの代替手段のいずれかに頼ることがよくあります：

• 妥協：開発者は、顧客のデータプラットフォーム内で安全に実行できるように、アプリケーションの一部をSQLや独自のスクリプト、フレームワークで書き換えることができます。この場合、アプリケーションの全機能を提供することは難しく、プラットフォームごとに複雑なコードを書いてテストする必要があります。
• 複雑さ： 開発者は自社製品の「オンプレミス」バージョンを構築して配布することができますが、顧客は自社VPC内で手動でインストール、設定、セキュリティ保護、運用を行う必要があります。このプロセスは時間がかかり、信頼性が低く、拡張性がありません。
  
  もっと良い方法があります！

Lakehouse Appsです： 妥協のないセキュリティ

Lakehouse Appsは、ネイティブでセキュア、妥協のないソリューションでこれらの課題に対応します。

Lakehouse Apps はお客様の Databricks インスタンス上で直接実行され、お客様のデータとの統合、Databricks サービスの使用と拡張、シングルサインオンによるユーザーとのやり取りが可能です。データはお客様のインスタンスを離れる必要はありません。

Lakehouse Appsは、Databricks Marketplaceを通じて10,000社以上のDatabricks顧客に即座に配布し、収益化することができます。お客様は、Databricksのネイティブ機能と同様に、アプリの発見、インストール、セキュリティ保護、管理、ガバナンスを効率的に行うことができます。アプリが使用するコンピュートリソースは、Databricksが直接顧客に請求します。お客様の社内アプリをインスタンスに直接インストールすることもできます。

Lakehouseアプリはセキュアでサンドボックス化され、管理されます。すべてのアプリは、セキュアで設定可能なサンドボックス内で実行されます。お客様はDatabricksの統合ガバナンスソリューションであるUnity Catalogを使用して、アプリがアクセスできるリソースを選択し、アプリと対話できるユーザーを制御し、アプリのアクティビティを自動的に管理できます。

Lakehouseアプリは、お客様が選択したテクノロジーで構築されます。アプリは、ほぼすべての言語で記述できるコンテナ化されたコードを実行するセキュアで自動スケールのコンピュート上で実行されるため、開発者は特定のフレームワークで構築することに制限されません。現在Databricksと統合しているアプリケーションは、簡単にアプリに変換できます。

Lakehouse Appsは完全にLakehouseネイティブです。Databricksプラットフォームには、高速データウェアハウス、ワークフローとパイプライン、AI/LLMトレーニングとサービングなど、スケーラブルでコスト効率の高い強力なサーバーレスサービスが含まれています。Lakehouseアプリケーションは、これらの機能のいずれかを活用できます。また、アプリケーションはカタログを使用し、Unityカタログでメタデータとリネージを提供したり、Lakehouseファイルシステムと統合したり、カスタム機能でLakehouseを拡張したりすることもできます。

Lakehouseアプリのメリット

開発者にとって：

• データとAIソリューションで1万人以上の顧客に即座にリーチできます。
• 導入までの時間を劇的に短縮します。
• 選択したプラットフォームとコードを活用することで、既存の投資を再利用できます。
• Databricks Lakehouseプラットフォームを活用してアプリケーションやサービスを拡張できます。
• Databricksを拡張することで、数十万人のデータおよびAIの専門家にリーチできます。
• DatabricksのエコシステムとDatabricks for Startupsなどのプログラムの恩恵を受けることができます。

お客様にとって：

• 幅広い革新的な新しいアプリケーションに安全かつ簡単にアクセスできます。
• ノートブックやダッシュボードのように、社内データアプリケーションを簡単かつ安全に構築および配布できます。
• データおよびAIアプリケーションの導入、統合、管理にかかる時間と労力を削減します。
  

パートナーの声

近い将来、Lakehouse AppsをDatabricksに導入できることを楽しみにしています。私たちは現在、Retool、Posit、Plotly、Immuta、Kumo.ai、Lamini、Codeium、Habuを含む厳選された初期パートナーと協力して、革新的なソリューションをLakehouse Appsとして構築しています。

「開発者はRetoolを使用して、あらゆるデータスタックの上に載る使いやすいグラフィカル・ユーザー・インターフェースでカスタム・ビジネス・ソフトウェアを構築し、デプロイします。RetoolとDatabricksのネイティブな統合により、開発者はスピード、セキュリティ、信頼性を犠牲にすることなく、情報を最も必要とする人の手に届けるアプリケーションを作成することができます。データエンジニア、データサイエンティスト、ソフトウェア開発者、そしてデータアプリケーションのエンドユーザーは、Databricks Marketplaceに掲載されている当社の強力な製品から恩恵を受けることができます。」

- Retool社、COO、マーク・シャーフ氏

「Databricks社とのパートナーシップにより、RStudio、Jupyter、VS Codeといったお気に入りのオーサリング環境へのシームレスなアクセスをRおよびPythonユーザーに提供できることを嬉しく思います。Databricks MarketplaceにPosit Workbenchを導入することで、私たちの共同顧客の障壁を大幅に下げ、Databricks Lakehouse Platformのセキュリティ、信頼性、スケーラビリティ、パフォーマンスを活用しながら、安全なデータアクセスを可能にします。今後、Posit Connectのユーザーが現在享受している高度なパブリッシング機能で、10,000社を超えるDatabricksのお客様をサポートできることを期待しています。」

- Posit Software、PBC社長、タリーフ・カワフ氏

「Immutaのデータセキュリティプラットフォームは、企業がクラウドデータから価値を引き出すことを可能にします。Lakehouse Appsを利用することで、Databricksで管理されているデータにより近いサービスを提供することができ、私たちの共同出資者はより早くサービスを開始することができます。Databricks Appsの柔軟性により、お客様は既存のコードとスキルを再利用し、Lakehouseプラットフォームとの緊密な統合を構築することができます。」

- Immuta 最高製品責任者 Mo Plassnig 氏

「Plotly の Dash Enterprise は、プロダクショングレードのデータアプリケーションを構築するための主要なプラットフォームです。3200の一般的な組織がPlotly & DashとDatabricksを使用しており、PlotlyはDatabricksの主要なデータおよびAIパートナーです。Databricks Lakehouseプラットフォームのセキュリティ、ガバナンス、スケーラビリティの恩恵を受けながら、ユーザーがデータの認証と認可を含め、さらに緊密に統合された方法でデータを扱うことができるよう、Databricksと協力できることを嬉しく思います。」

- クリス・パーマー、Plotly共同創業者、Dashクリエイター

Lakehouse Appsパートナーにご興味がありますか？お問い合わせはこちら！（Contact Us）