翻訳：Ryo Hasegawa. - Original Blog Link
Databricksのミッションは「データ分析とAIを民主化する」ことです。このステートメントは、データエキスパートの日常業務に意味を与えるだけでなく、今日のデータとAI分野において、スケールすることが難しいという現状を反映した適切なものと言えます。McKinsey、Deloitte、 Accenture などによる複数の独立した調査や研究ノートも、同じ結論を示しています。データとAIの需要と関心はかつてないほど高まっていますが、ほとんどの企業はデータとAIをスケールしてエンタープライズレベルの価値をを達成するのに苦労しているのは事実です。
2022年にアクセンチュアが発表した「AI成熟に関するアート 」と呼ばれるレポートもそのひとつで、強力な競争優位性を実現し、データおよびAIの達成者と呼べる企業は、調査対象となった1,200社のうち、わずか12％に過ぎないことが示されました。つまり、88％の企業がデータとAIの本当の価値を引き出せていないと言えます。
大企業が直面している課題 - データとAIをスケールして真の価値を得るためには -
- オーガニックな成長によって構築されたレガシー・アーキテクチャをモダナイズし、進化するビジネス優先事項をサポートする
- バラバラのツールやサイロ化したインフラで現状業務を続けることに時間と労力がかかりすぎている
- データ＋AIイニシアチブを牽引する人材の不足
- 潜在的な収益を引き出するために 新プロダクト、新サービス とより良い顧客体験を迅速に活用しなければならない
- 競争上の優位性を獲得するために、テクノロジー（生成系AIなど）の進化のスピードを利用しなければならない
エンタープライズ企業は、データとAIへの投資から最大限の価値を引き出すために、トランスフォーメーションにおける人、プロセス、テクノロジーの側面を全体として管理し、最善の道を歩む必要があります。
このブログでは、Databricksがこの旅において多くのお客様をどのように支援してきたかをご紹介します。
データAIビジネスにおける４つの原則
私たちは、世界のトップエンタープライズ企業と協力し、大規模のデータおよびAIの難問の解決を支援してきました。過去10年にわたるこれらの経験と教訓をもとに、お客様が実践的でスケーラブルなデータとAIを構築するのを最適に支援する方法について、私たちは、成功への視点と方法論を形成してきました。何百ものお客様がレイクハウスの旅に乗り出すのを見て、私たちは、最も成功しているお客様、つまり真のゲーム・チェンジャーが、私たちが成功するデータ・AIビジネスの4つの原則と呼んでいる以下の4つの領域において具体的な施策に昇華しています。
- データとAIのブリープリント
- ビジネスに沿ったデータとAI戦略
- 適切に設計されたレイクハウス
- データモデルとガバナンス
- セキュリティ、パフォーマンス、コストにおける拡張性
- レイクハイス・オペレーション
- プラットフォームのインフラストラクチャとロードマップ
- ワークスペースの管理
- 安定性と観測性
- DevOps プレイブックの統合
- Databricks サポート
- ユースケースアクセラレーション
- データとAIを用いた問題解決の構想策定とデリバリーサポート
- ユースケースの優先順位付け
- 本番稼働の準備
- 再利用可能な資産と自動化
- EDW、Hadoop、クラウド（たとえば、Redshift、Snowflake、BQなど）の移行サポート
- 組織活性化と人材育成
- 人材変革戦略
- 拡張可能なイネーブルメント・プラットフォーム
- ペルソナ別の変革プロセス
- 統合されたエンエーブルメント計画
- アセットとナレッジの管理
Databricksは、4つの原則のそれぞれにおいて、以下の最終目標を念頭に置いて顧客と協業してきました。
- データとAIのブリープリント
- データおよびAIのアクアアーキテクチャーとガバナンスが、安全で、信頼性が高く、効率的で、費用対効果が高く、測定可能なビジネスベネフィットに沿ったものであることを保証する。
- レイクハイス・オペレーション
- 自動化され、モダンでスケーラブルなDevOpsとMLOpsのプラクティスでワークロードとデータプラットフォームを実行する。
- ユースケースアクセラレーション
- インパクトのある重要なビジネス成果を提供し、価値実現までの時間を短縮する。
- 組織活性化と人材育成
- データとAIに関する施策への投資から最大限の利益を得るために必要なスキルを組織に装備する。
組織として重要なポイントとは、MLとAIに関する社内の専門知識をもつチーム、センター・オブ・エクセレンス（CoE）を設立することです。成功しているデータネイティブ企業は、CoEの組織がよく見られます。CoEは、4つの原則によって具体化されたデータとAIの実践方法について、他の組織を教育し、拡大する役割を担います。CoEは、さまざまな利害関係者を巻き込み、適切な専門知識やナレッジ、専門家を事業部門に提供し、主要なプロジェクトを追いかけ、迅速な推進を支援し、ベストプラクティスを共有することによって、これを実現します。
CoEの設立とそのビルディングブロック
これらの企業は、CoEにおける能力の構築は単なる一過性のものではありません。成功した顧客は、CoE の構築を（以下のように）「設立、拡大、自律化」 の３段階のジャーニーのように捉えています。
以下の図は、レイクハウスのCoEフレームワークの "What "を高いレベルで表したものであり、顧客がそのジャーニーの過程で構築し検証すべき主要なCoE能力の概要を示しています。これは、"良い "とはどのようなものか、また、成熟するにつれて減るべきステップと、どのようにそこに到達するかを表しています。
上記の赤枠で囲まれたハイライトは、CoEのマイルストーンを表しています。例えば、「データとAIのブループリント」では、"設立"フェーズにおいて、顧客はしっかりとしたデータモデルとガバナンスを構築し、文書化する必要があります。データプロダクトやアプリケーションの構築方法、ビジネス目標を達成するための最適なプラットフォームの運用など、下流の活動に情報を連携するために、初期段階でこのような青写真を確立する必要があります。”拡大”フェーズでは、”設立”フェーズの成果を応用して、ビジネス・ユニットの主要なビジネス・イニシアチブと日々のデータ活動の規模拡大を支援します。例えば、「レイクハウス・オペレーション」のマイルストーン "DevOpsの統合"では、他のビジネスユニットで活用・再利用できるデータプロダクトを開発するために、開発プラクティスにCI/CDを全面的に導入する必要があります。
これらのマイルストーンは、CoEのビルディングブロックとして機能し、その更に詳細かされたタスク構造と必要な労力は、すでに実施された作業から情報を得て、当社のエキスパートと検証し、お客様が必要とする適切な支援レベルについて相互に合意します。このアプローチは、お客様の成熟度の評価とともに、Databricksとお客様が、長期的なデータとAIのビジョンとバランスの取れた短期的なニーズの両方に対応する包括的な成功プラン/サービスロードマップをまとめるのに役立ちます。この取り組みの成功を測る上で本当に重要なのは、お客様がデータおよびAIの実践を大規模に管理する上で自社の中で自給自足できる強固なCoE能力を開発することです。
強いデータとAI文化を構築する
これまでレイクハウスのCoEフレームワークとアプローチについて述べてきましたが、規模を拡大するために次に重要なポイントは、人材とプロセスをどのように組織化すべきかです。
To tie together all of the points above, you need to create a Lakehouse Center of Excellence, which will consolidate cross-functional proficiency in digital technologies such as AI and IoT by bringing different stakeholders together, prioritizing and tracking projects, helping them move faster, sharing with the rest of the organization best practices gleaned from business units within and what Databricks is seeing in the industry — along with talent transformation driving upskilling through data and AI education.
上記のすべてのポイントを結びつけるには 、レイクハウスCoEを設立し、AIやIoTなどのデジタルテクノロジーにおける部門横断的な熟練度を集約するもので、さまざまなステークホルダーを集め、プロジェクトの優先順位付けと追跡を行い、プロジェクトの迅速な推進を支援し、組織内の事業部門から得たベストプラクティスやDatabricksの事例などを他の組織と共有し、データとAIに関する教育を通してスキルアップと人材変革を達成します。
CoEの組織化と運営
この考え方が理にかなっているのであれば、顧客はどのような方法でCoEを組織し、運営すればよいのでしょうか。CoEの運営モデルには、集中型アプローチや分散型アプローチなど、さまざまな形態があります。一部の顧客は、データ・メッシュ・アーキテクチャを活用し、特定のビジネス・ドメインごとにデータやデータプロダクトを整理することで、分散型アプローチをさらに進めています。
集中型アプローチでは、中央の共有チームが組織全体のユースケースをサポートします。主な利点としては、プロセスの開発と管理が比較的容易であること、KPIの定義と使用が一貫していること、データの一元管理（Single Source of Truth）を確立するための労力が管理しやすいことなどが挙げられます。すべての人に当てはまるとは限りませんが、CoEを始めようとしているのであれば、これはさらに検討する良い選択肢かもしれません。
サクセス・ストーリー
では、私たちはどこでこのようなことを行ってきたのでしょうか？ここでは、レイクハウスのCoEとお客様とのパートナーシップが有意義なインパクトをもたらした代表的な事例をいくつかご紹介しましょう。
下の表から最初の例を取り上げます。この多国籍投資銀行および金融サービス企業に対して、Databricksは3年間にわたり4つの原則をベースにパートナーシップを組みました。エンゲージメントの中盤に差し掛かった頃、プラットフォームの利用スキルが不足しているため、プラットフォーム利用率の停滞が見られました。私たちは顧客と協力して、包括的なイネーブルメント戦略の定義を支援しました。お客様に合わせたトレーニングを提供するだけでなく、認定エンジニアやエンジニアリング・エクセレンス・イニシアチブをサポートするために、自己啓発の一環として統合された認定ゴールにつながる自習型トレーニングを利用するためのラーニングパスを定義しました。
現在、1,800人以上のスキルアップ・ユーザーと700以上のバッジを獲得しており、6ヶ月で約350人が、日々の業務の中で迅速に洞察を得るために、このプラットフォームを利用しています。さらに、再利用可能なコンポーネントを定義し、社内ポータルに公開することで 、事業部門全体で利用できるようにするため、ユースケース・アクセラレーターに焦点を当てたデータ＆AIブループリントの構築にも協力しました。このポータルでは、トレーニングの内容やリンク、顧客ユーザーコミュニティのイベントの記録なども集約され、セルフサービス方式でアクセス可能かつ拡張可能になっています。Databricks のプロフェッショナルサービスは、レイクハウス・オペレーションの最適化とコスト削減を推進するため、マルチスキルチームとしてビジネスユニットと協業しています。このような緊密なパートナーシップにより、Databricksは3年間で7億1500万ドルの価値予測を達成しました。
These CoE engagements demonstrate how customers across different industries were able to reduce TCO, drive efficiency and scale, and accelerate their business outcomes.
これらのCoEの取り組みは、さまざまな業種の顧客においても、TCOを削減、効率化、規模拡大をしながら、ビジネス成果を加速させることができたか、を示しています。
顧客の利益と価値の実現
- 生産性の向上と洞察の到達と市場投入までの時間の短縮
- ガバナンスと透明性の向上によるリスクの低減
- 組織が人材を獲得し、維持し、育成し続けることによるスループットの向上
- 再利用可能なブループリントとベストプラクティスによるTCOの削減
- 新たなAIユースケースの発掘
- ビジネスメリットに合致し、良く設計されたワークロード
支援タイプとスケジュール
レイクハウスのCoEエンゲージメントには3つのタイプがあります：
- Databricksのプロフェッショナルサービス、もしくはC&SIパートナーとの共同提供
- Databricksエキスパートコーチ
- ラーニングとイネーブルメント
下記の図のように、顧客のニーズを反映しつつ、様々なレベルのエンゲージメントとして設計されます。
最後に、レイクハウス CoEは、多くのお客様の大規模なデータおよびAIに関する問題解決を支援することによって実証し強化されたデリバリーフレームワークと方法論です。データとAIの実践を加速させるために、レイクハウスがどのようなお手伝いができるかご相談があれば、お知らせください。
次のステップ
データ・エンジニア、データ・サイエンティスト、アナリスト、CIO、CDO、CTOなどのビジネス/ITリーダーを問わず、このブログの読者の皆様には、データとAIをスケールし、企業価値を最大化を達成するために、私たちが皆様とどのようにパートナーシップを組めるかについて、ぜひ私たちにご相談ください。連絡先は、こちら [email protected] まで。
またDatabricks のプロフェッショナルサービスのページ もぜひご覧ください。
