Using Delta Sharing to Accelerate Insights with Nasdaq’s Digital Assets Market Data
This is a collaborative post from Databricks and Nasdaq. We thank Mitch Tessier, Product Marketing Manager at Nasdaq, for his contributions. Data exploration...
Coastal Community Bank（Coastal）のSVP、Head of Technology Operations and ImplementationのBarb MacLean氏とCavallo TechnologiesのRob Cavallo社長に感謝します。
ゴリアテのコミュニティ・バンクとして繁栄
ある意味で、コミュニティ・バンクであることがこれほど厳しくなったことはありません。 米国では現在、上位15行が業界の預金と資産の大半を支配しており、大手5行で総資産の56％を管理しています。 さらに、中小銀行に対する規制上の要求も高まっており、大手の競争相手と同じような厳しい資本、報告、マネーロンダリング防止基準に従うことが求められています。 Coastal Community Bank（Coastal）のSVP、テクノロジー・オペレーションおよびインプリメンテーションの責任者であるBarb MacLean氏にとって、その解決策はサービスとしての銀行（BaaS）です。 CoastalがDelta Sharingを使用して複雑なデータ環境にどのように取り組んでいるかについては、ケーススタディをお読みください。 Coastalのビジョンの中核は、信頼できる金融プロバイダーにBaaSを提供することであり、顧客データを交換するためにパートナーを団結させ、オーダーメイドの金融商品、合理化されたレポートとコンプライアンス、不正検出の強化を提供することを目標としています。
そのようなパートナーのひとつが、新興フィンテック・スタートアップのOneです。 Databricksデータインテリジェンスプラットフォーム上に構築されたデータ共有アーキテクチャを通じて、Coastalは口座やその他の顧客データを共有することで、Oneとの協力的なパートナーシップを育み、顧客が信頼できるシームレスなバンキング体験を実現しています。
Oneは、ウォルマートの160万人の従業員と1億5,000万人以上の買い物客が利用できるほか、世界中の消費者が利用できます。 Oneのリーチを考えると、彼らが日常的にCoastalと共有しようとしているトランザクション要素のデータ規模でさえ、財務処理のタイムウィンドウを満たしながら、その量の情報を簡単、安全、かつセキュアに移動させる方法という点で、すぐに限界に達します。
複雑なレガシーシステムが阻むリアルタイムのデータ共有とコラボレーション
Coastal社のCCBX部門は、One社のようなフィンテック・スタートアップと提携し、One社のオンライン・バンキング向けにバンキング・サービスを提供しています。 そのためには、異なるデータシステムを統合し、データセキュリティとプライバシー基準を厳守しながら、シームレスな顧客移行と最新のインタラクションを実現する必要がありました。
「私たちは、レガシー・テクノロジーやダイナミックなパートナー環境、サードパーティの関与、変化する業界要件など、さまざまな環境に対応しています」とマクリーンは説明します。「私たちは、彼らに良いサービスを提供する責任を負わなければなりません」。MacLean氏にとって、これは、他の組織に不必要な複雑さを押し付けることなく、さまざまなソースと連携できる柔軟なデータ基盤を構築することを意味しました。
コミュニティ・バンキングとBaaS（サービスとしての銀行）へのより協調的なアプローチに着手したCoastalは、その厳しい顧客データ共有とコンプライアンス要件をサポートする最新のデータ・プラットフォームの開発を支援するためにCavallo Technologiesを選びました。Cavallo Technologies社長のRob Cavallo氏は次のように述べています。「簡単なコラボレーションを可能にしながら、消費者の金融データの最高レベルのセキュリティ基準を満たすという、ある意味、Coastal社はパラドックスを求めていたのです。 プラットフォームは、現在のワークロードに対応するパフォーマンスとコスト効率を確保しつつ、まだ想像もされていない将来のユースケースにも対応できる適応性を備えていることが重要です。 最終的に、Databricksデータインテリジェンスプラットフォームは、それを可能にする唯一のプラットフォームでした」。 アクセシビリティとセキュリティのバランスを取るという課題にもかかわらず、彼らは、効率的で費用対効果が高く、現在と将来の両方のニーズに柔軟に対応できるDatabricksを解決策として見出しました。
強固なセキュリティとガバナンスを備えた、プラットフォーム、クラウド、地域を超えたデータの共有
Oneチームは、エンジニアリング、アナリティクス、データサイエンスのための統合プラットフォームとして、複数の言語、半構造化データの変換と推論のサポート、ネイティブオーケストレーション、ストリーミングをサポートするGoogle BigQueryの使用を廃止しようとしていました。
チームは、Delta Sharingを使用して、データを迅速に共有し、きめ細かなレベルでアクセスを制御する ことができました。 新しいプラットフォームとしてDatabricksに移行したことで、CoastalはOneのデータチームと安全なワークスペースで10分以内に関連データテーブルの受信を開始することができました。
CoastalがOne向けにトランザクションを処理する場合、ビジネスチームは土曜日に概要レポートを提出するよう要請しました。 以前は、これをすべて手作業で行っていたため、Coastalは週末をカバーするスタッフを追加で雇う必要がありました。 しかし、Databricksを使用することで、Coastalはレポート作成を自動化し、パートナーに信頼性の高い配信を提供できるようになりました。 MacLean氏は「これは私たちの以前のツールでは不可能なことでした」と語っています。
ウォルマートとのユニークな関係と統合の一環として、Oneはウォルマートの160万人の従業員と1億5,000万人以上の毎週の買い物客に利用されているほか、あらゆる消費者にも利用されています。 Oneのリーチを考えると、彼らが日常的にCoastalと共有しようとしているトランザクション要素のデータ規模でさえ、財務処理のタイムウィンドウを満たしながら、その量の情報を簡単、安全、かつセキュアに移動させる方法という点で、すぐに限界に達します。
Oneのようなパートナーとともに、Coastalは大幅な顧客増を達成し、その勢いは衰える気配がありません。 顧客は常に資金へのリアルタイムのアクセスを期待し、要求しているため、Coastalのインフラは現在も将来もリアルタイムのトランザクションをサポートしなければなりません。 「1ドルの取引でも100万ドルの取引でも、その取引をサポートするために必要なシステムには関係ありません」とCavallo氏は説明します。
長期的な顧客価値を提供するインフラの変革
- SAS、Azure Data Factory、手動のPythonスクリプトを単一の統合されたシステムに置き換えることで、ETLオペレーションを統合し、大幅なコスト削減と時代遅れのインフラの廃止を実現しました。
- 規制要件を満たし、処理コストを80％削減し、正確性を高め、監査を簡素化する自動金融取引システムを開発しました。
- 重要なスコアリング・エンジンを全面的に見直し、従来の48時間から30分で結果を出せるようにし、ビジネス上の意思決定に必要な詳細なアウトプットを自律的に出せるようにしました。
変革の旅を通して学ぶ重要な教訓
その過程で、金融サービスを対象とした競合製品やニッチ・データ・プラットフォームの徹底的な評価が一貫して行われました。 より良いソリューションがあるかもしれないという考えに対してオープンであること、そして他のどのテクノロジーも目的に合っていないことを検証することで、Databricksを最善のソリューションとして選択することができました。 全体的な結論としては、シンプルさと統一感が常に勝つということでした。
もうひとつの学びは、成功には専門分野以上のものが必要だということです。「効果的なチームワークは、技術専門家、ビジネスのスペシャリスト、複雑な議論を管理することに長けた人材の融合にかかっています。 つまり、全員が自分のエゴを入り口でチェックし、共通のゴールに到達するために協力しなければならないのです」、MacLean氏は言います。「協力と謙虚さが不可欠です」。
Coastalは、ルーチンワークを自動化することで、エンジニアをより価値の高い仕事に解放することができると信じています。 Databricksはワークフローを簡素化し、エンジニアが顧客の課題を理解し、ソリューションを考案することに集中できるようにします。 このアプローチにより、エンジニアは、部門横断的なプロジェクトを管理するための余分なチームを編成することなく、幅広い役割を担うことができます。
Coastal社の取り組みにおける最大の教訓は、巨大企業がひしめくこの業界において、小さなチームでも勝つことができるということです。 業務ワークフローが合理化され、テクノロジーが統一されれば、一般的にチームの足かせとなる制約がなくなり、高いスキルを持ち、生来やる気のある共同作業者であるチームが、ビジネスの変革的な意思決定を支援できる立場になります。
統一されたプラットフォームのメリットを継続的に実感
Databricksデータインテリジェンスプラットフォームは、複雑なデータエンジニアリングとインフラストラクチャ管理に埋もれることなく、それを活用できる唯一のプラットフォームです。 そうすることで、そのチームは銀行の期待に応え、それを上回る結果を出し続けることができるのです。「そのプラットフォームでできるかどうかを確認す る必要はありません」とCavallo氏は説明します。 各ツールがどこに適合すべきかを考える貴重な時間を無駄にする代わりに、Coastalは、より速く、より安く、より効率的に実行することに集中することができます。 例えば、Delta Live TablesとUnity Catalogがなければ、多くのワークアラウンド（メンテナンスとガバナンスチームを必要とするカスタムソリューション）が必要でした。 Coastalのエンジニアがツールを活用してアラート、隔離、さまざまな生産イベントに対応できることは言うまでもありません。「熟睡から、万が一の場合の自動オンコール呼び出しまで、解決までの時間は最短で18分でした」とMacLean氏は説明します。
さらに、Databricksチームのサポートは比類のないもので、Coastalチームは自分たちが最も重要な顧客であるかのように感じています。 チームはこのツールセットを使って仕事をするのが大好きで、これらのツールを使ってできるようになったこと、提供できるようになったことは、全面的に評価されています。 Databricksチームとの緊密な連携により、Coastalは最小限の労力で、ある1日の午後だけで25%のコスト削減を実現することができました。 また別のケースでは、以前なら対応に数日から数週間かかっていたような依頼が銀行の首脳部から来たこともありました。 10人のデータエンジニアからなる小規模なチームの努力と、Databricksデータインテリジェンスプラットフォームを使用し、Unity Catalogのデータリネージなどのデータ共有とガバナンス機能を使用することで、数時間以内にデータセット全体から回答を得ることができました。 Databricksの専門知識とCoastalの小規模で高度なエージェンシーチームのこの組み合わせは、小規模なコミュニティバンクが生き残るだけでなく、繁栄する方法です。
「私たちはDatabricksを基盤プラットフォームとして使用することで、2年分の仕事を9ヶ月で提供しました。 私たちのチームは、単一の真実の情報源にアクセスし、大量のトランザクションを迅速に処理できるようになり、コミュニティバンクとして、また主要なBaaSプロバイダーとして成長を推進できると確信しています」
Barb MacLean氏は、3月6日にニューヨークで開催される今年のDatabricks Financial Services Forumで、Coastal Community Bankの変革ストーリーをさらに詳しく紹介する予定です。 彼女の基調講演は、4月のオンデマンド再生からもご覧いただけます。
- データ共有の新しいアプローチ 第2版電子書籍 を読む
- データ共有で業界イノベーションを加速する eBookを読む
- オライリーテクニカルガイド、デルタ共有によるデータ共有とコラボレーション（早期リリース）を読む
Databricks 無料トライアル
