データドリブンなリテールの新時代をクラウドで
データパイプライン作成時間の短縮
ETLワークロードの高速化
データドリブンな経営を実践する米アウトドア用品大手コロンビアスポーツウェア社（Columbia Sportswear Company、以下、コロンビア）は、基幹業務システムのデータを集約し、各ブランドの卸売・小売事業に活用しています。しかし、従来の ETL と分析用インフラの能力は限界に達しており、大規模なバッチおよびリアルタイムのユースケースのサポートや、ビジネス部門やデータ部門のニーズへの対応が困難な状況にな っていました。その対策として、Databricks への移行を実施。その結果、データの準備と処理の効率性と信頼性が改善し、ビジネスに価値ある気づきを得て、より効果的な意思決定が行えるようになりました。
従来型分析システムの「高コスト・低速」という課題を解決
小売業界ではあらゆるチャネルでデジタル化が進行しており、コロンビアにおいても、販売、購買、サプライチェーンの運用管理および製品開発の各事業でデータ活用を推進しています。地理的要素やブランドアフィニティ、粗利益、コストに関するデータをいかに効率よく処理して業務や意思決定の改善につながる気づきを得るか、また、商品レビューから得られる顧客エンゲージメントのデータをいかに活用して販促キャンペーンや顧客サポートの改善に役立てるか、といった課題を抱えていました。
しかし、従来のシステムの処理能力では、ダウンストリームの分析やレポーティングを目的として収集される膨大な量のバッチ／リアルタイムデータに対応できず、社内のニーズを満たすことができませんでした。エンタープライズ情報管理（EIM）部門は、複数のデータチームをはじめとする多数の社内ユーザーのために、キュレート済みデータへのアクセスを可能にするデータパイプラインを構築する必要がありました。しかし、汎用性に乏しい ETL ツールや、容易にスケールできないサイロ化したデータウェアハウスが、それを困難にしていました。インフラにも、コスト効率が悪くスケーラビリティに欠けるという問題があり、データにアクセスするユーザー数の増大に対応できなくなっていました。
シニア・エンタープライズデータマネージャーのララ・マイナー（Lara Minor）氏は次のように述べています。
「従来のシステムでは、ETL データの分析とレポーティングに数週間かかることがありました。その結果、多様なユースケースに対応できず、データアナリストや事業部のニーズに応えることができませんでした。」
経営陣、データアナリスト、データサイエンティストなど、他部門からのデータアクセスのニーズが高まる中、そのニーズを満たす、すなわち、スケーラビリティ、俊敏性、コスト効率性を確保するには、データ分析プラットフォームをクラウド上に再構築すべきだという結論に達しました。さらに、データの準備や ETL 処理を効率化し、多様な役割を持つユーザーが、データに容易かつセキュアにアクセスし、より的確な意思決定を行えるよう支援する必要がありました。
ニーズにあわせてデータを迅速に提供
EIM 部門は、Azure Databricks と Delta Lake によるデータ処理と分析能力の改善のため、Microsoft Azure への移行を決断します。ララ・マイナー氏はその理由について次のように述べています 。
「スケーラブルで柔軟性があり、低コストのシステムを探していました。その要件を満たしたのが、Azure とデータブリックスでした。」
Databricks の導入により、コロンビアでは、バッチとリアルタイムのワークロードをサポートする高性能な ETL パイプラインの構築が可能になりました。パイプラインから Delta Lake にデータを送り込むことにより、キュレートされたデータにセキュアにアクセスできるようになります。マイナー氏は次のように述べています。
「Delta Lake は、データパイプラインの運用をシンプルにする ACID 特性によって、パイプラインの信頼性とデータの一貫性を向上させます。また、キャッシングやインデックス自動作成などの機能が、効率的なデータアクセスを可能にします。」
取り込まれたデータは、エンドユーザーやユースケースに応じて、社内のさまざまなエンドポイントに送信されます。例えば、ビジネスアナリストは、PowerBI に直接接続し、オンデマンド、リアルタイム性が求められるセールスレポートの作成にデータを活用できます。また、データサイエンティストは、データブリックスのインタラクティブな Notebook を介してデータにアクセスし、モデルの探索やトレーニングを実行できます。他にも、データをデータウェアハウスツールに送り込むことで、低レイテンシ、同時実行性が求められるユースケースに対応できます。あらゆる部門のアクセスにおいても、データの信頼性と一貫性が確保されます。
データパイプラインの高速化による洞察抽出の迅速化
データ処理時間の短縮は、データから得られる気づきを素早く業務に反映させるための鍵となります。コロンビアの EIM 部門は、データブリックスの導入によって、ETL 処理とデータの準備を加速させ、ETL パイプラインの構築時間を 70%、ETL ワークロードの処理時間を 4 時間から 5 分間にそれぞれ短縮し、48 倍の高速化を達成しています。
バッチやリアルタイムのワークロードを柔軟にサポートする、スケーラブルで高性能なプラットフォームにより、社内のさまざまなデータユーザーは、EIM 部門に依存しすぎることなく、ビジネスを左右する効果的な意思決定を行えるようになりました。
マイナー氏は、データブリックス導入による効果について、次のように述べています。
「データブリックスのプラットフォームを複数の事業部がセルフサービスで利用しています。これは以前には考えられないことでした。データブリックスの導入効果は非常に大きいと感じています。」
キュレートされたデータを容易に利用できるようになったことで、需要の予測や商品レビューの分析が可能になり、顧客満足度の向上につながるユースケースが実現しています。コロンビアでは、今後もデータドリブンな意思決定を実践し、ビジネスの成長を図っていく考えです。
