DatabricksのLakehouseがTD銀行グループのデータ・トランスフォーメーションの新時代をどのように支えているか

翻訳：Saki Kitaoka.  Original Blog Link

TDでは、組織全体で信頼できるデータを保護し、活用することの重要性を認識しています。データはTDを「より良い銀行」にするために不可欠なものであり、お客様をサポートするために有意義な洞察とインパクトを生み出すデータの育成に注力しています。このようなデータの管理、処理、分析、対処は、しばしば複雑で時間のかかるものでした。今日の環境では、お客様のニーズや刻々と変化する市場の需要に対応するため、リアルタイムの意思決定と洞察が求められています。

規制当局からの圧力や顧客からの要求の高まりにより、すべての組織はデータの管理と正確性をより厳しく管理する必要に迫られています。最近では、データの可用性を高め、データの質を向上させることが、銀行にとって2つの重要な優先事項となっています。現在、プライバシー法またはデータ保護法を制定している国は100カ国を超えます。国民のデータのセキュリティと安全性に重点を置く国が増えるにつれ、この傾向は今後ますます強まるでしょう。どのようなテクノロジーや機能を探求するにしても、お客様からの信頼は私たちのイノベーション哲学の中核をなすものです。日々、お客様の情報のプライバシーと、当行のシステムを保護し情報を安全に保ちながらお客様の信頼を維持することの重要性は、基本的な優先事項です。

私たちの仕事のやり方を変えるため、当行は新しい業務モデルと体制を全行的に導入しました。その目的は、多くの同僚が日常的にどのように仕事をしているかを見直し、どうすればより効率的に仕事ができるかを考えることでした。TDのこの変革は「Next Evolution of Work」、つまりNEWと呼ばれています。その原動力は、優秀な人材を惹きつけ、維持しながら、より良い成果をより早く顧客に提供することです。データの観点から、チームはお客様の要望やニーズをより深く理解するためにデータを活用し、安全・安心でパーソナライズされたヒューマン・エクスペリエンスの実現を支援しています。

このような組織改革と並行して、TDはDatabricks社およびマイクロソフト社との協業を選択し、安定性とセキュリティの向上を支援するために、クラウド上で新たな高パフォーマンスのデータプラットフォーム戦略（Lakehouse）を実現しました。Azure（Microsoft）とDatabricksが提供する単一のデータおよびアナリティクス・プラットフォームのメリットを活用し、TDは一元化されたデータの単一ソースを確立しました。この一元化されたソースは、すべてのビジネスライン、技術的能力、ビジネス資産を1つの屋根の下に機敏にまとめ、DaaS（Data as a Service）として知られています。

Data as a Serviceの目的は明確で、最も費用対効果の高い方法で、安全で信頼できるデータへの迅速なアクセスを提供することです。

組織構成

DaaSは、新たな変革を通じて、データを熟知し、エンジニアリングし、サポートし、管理する人材を集めました。DaaSは2,000人以上の社員で構成され、新しいデータ製品や機能を提供し、社員の能力を高めることに注力しています。私たちは、データ・エンジニア、アナリスト、プロダクト・オーナー、データ・アーキテクト、アジャイル・リーダー、リスク管理専門家、ドメイン・エキスパートからなる部門横断的なチームです。キャリアパスのあらゆる側面で同僚をトレーニングし、スキルアップさせ、成長させることが、すべてのチームの包括的な目標です。

新しい組織構成

私たちは、データプロダクトとケイパビリティを管理し、企業全体に提供するプロダクトファミリーを構成しています。

• ケイパビリティとビジネス機能別に設計されたスケーラブルでアジャイルな組織
• データドメインの専門知識を持つプロダクトオーナー、データエンジニアをモデル全体に統合
• 標準化されたデータプラットフォーム、ツール、能力、プロセス
• 簡素化、スピード、コスト削減に焦点を当てた、統合された目的、主要な結果、成果
• データ・トランスフォーメーションを主導するための統一された戦略、ロードマップ、前進の道筋

DaaSを確立することで、大規模かつ全社的なデータ変革が可能になります。Databricksは、当社のエンジニア、アナリスト、リーダーが最新のツール、テクノロジー、機能を新しいペース、集中力、推進力で活用するための統一プラットフォームを提供しました。Databricksの統一プラットフォームは、私たちのチームがTDのデータ基盤を運用、提供、実現するための基盤となっています。

Lakehouse プラットフォーム

TDのデータバックボーンを確立するためには、高性能で統一された、スケーラブルかつセキュアなプラットフォームが必要でした。さらに、データと人工知能（AI）の導入が金融サービス業界全体で発展・継続する中、私たちは今が、前進しながら私たちの能力を向上させる重要な時期であると考えています。Databricks Lakehouseの導入は、TDが次世代の進歩、機能、革新に備えるのに役立ちます。

私たちはAzure Databricksを導入し、大規模なデータの移動、管理、変換、処理を行っています。私たちは、データプラットフォームアーキテクチャを簡素化し、市場投入までの時間を短縮する必要がありました。DatabricksをAzureの他のネイティブサービスと組み合わせることで、そのビジョンを実現することができました。

目指す姿

私たちは、この変革の一環として生み出す成果を重視しています。その5つの柱とは

1. データへのアクセスの高速化
   データは、DatabricksとDelta Lakeが提供する単一のオープンフォーマットプラットフォームに保存、処理、変換され、データ処理と配信時間の短縮、コストの削減、エンドユーザーエクスペリエンスの向上を目指します。
2. 信頼できるデータ
   データドメインに基づく承認されたプロビジョニングポイントは、分析、レポート、洞察のための単一の真実のソースを提供します。データは、ビジネスでの使用と導入のために理解、管理、信頼されます。
3. 近代化されたプラットフォーム
   スケーラブルな運用フレームワーク、コントロール、モニタリングに支えられた簡素化されたアーキテクチャは、導入、ツール、統合の必要性を簡素化します。
4. 優れた運用性、安定性、セキュリティ
   企業のデータパイプラインの稼働時間、サポート、信頼性が向上しました。さらに、自己回復型のオペレーションとプロセスは、今や当社の環境の標準となっています。
5. 優秀な人材の確保と育成
   データプロダクトオーナーとデータエンジニアは、最新のデリバリー技術、ツール、テクノロジーを活用した統一プラットフォーム上で共同作業を行います。新しい働き方と最新のテクノロジーは、優秀な人材の獲得、開発、採用に役立っています。

今後の展望

私たちの価値観に基づいたデータの有効活用は、TDの将来にとって不可欠です。統一されたプラットフォームと専門組織を通じてデータを管理・提供し、規模を拡大することで、データをより強固なものにできると考えています。

Databricksがサポートする安全で安定した信頼できるAIプラットフォームを新たに構築することで、当社のデータ・トランスフォーメーションは加速し、簡素化されました。

金融サービス業界は新しい時代を迎えようとしています。信頼され、理解され、アクセス可能なデータがなければ、最先端のソリューションは実現できません。TDは今後も、データ主導のパーソナライズされた、コネクテッドでヒューマンな体験を、お客様や同僚に、加速度的に提供していきます。また、TDは今後も、スケールの大きなデータを活用し、事業や市場のあり方を再定義していきます。

私たちは、データ、アナリティクス、AIにとって世界で最も影響力のある時代のひとつになることが約束されていることに興奮し続けています。

6月26日から29日まで開催される今年のData + AI Summitで、当社の変革ストーリーをさらにご紹介できることを楽しみにしています。直接参加できない方は、on-demand replayをご覧ください。