ERGO HestiaがLakebaseとMosaic AI Model Servingで市場投入までの時間を短縮した方法

次世代のリアルタイム価格設定の構築 ポーランドを代表する保険会社の1社であるERGO Hestiaは、100以上のモデルと1,000以上の変数をサポートする大規模な価格設定プラットフォームを運営しています。Databricksのポーランドにおける最大規模のユーザーの1社として、ERGO Hestiaは、ミリ秒単位の最先端の価格設定と業界をリードする実行速度において、強力な能力を構築してきました。 しかし、同チームは保険テクノロジーにおける次の大きなイノベーションを常に追求しているため、リアルタイムのB2C機能を導入することで、収益をさらに最大化する機会があると考えました。既存のアーキテクチャは非常に機能的でしたが、継続的なモデルの更新と即座の顧客対応への移行により、複雑さが増す中でイノベーションのスピードを維持するという新たな課題が浮き彫りになりました。同チームは競争力のある価格設定の技術を極めており、今や次世代のリアルタイム価格配信を開拓する準備が整っていました。 緊密で生産的なパートナーシップに基づき、ERGO HestiaとDatabricksは、次世代のリアルタイム価格設定に向けて従来のアーキテクチャをどのように強化すべきか共同で議論しました。この素晴らしいコラボレーションにより、Lakebaseを使用してオンライン特徴量ストアを提供するとともに、Mosaic AI Model Serving Endpointsを活用して、すべてのデータとロジックをDatabricksエコシステム内に維持するプラットフォームへと進化させました。このアーキテクチャは、データとモデルサービングの両方をレイクハウス内に維持することで、外部システムを排除し、モデルのデプロイ時間を短縮します。Unity Catalogを介してガバナンスを統一することで、チームはデータとモデルの管理を統合し、過去のトレーニングセットやモデルバージョンの完全なトレーサビリティと長期保存を保証します。このアーキテクチャは、価格設定のエキスパートに信頼性の高い監査証跡を提供し、モデルのピークパフォーマンスを維持しながら、すべての決定が完全に追跡可能かつ検証可能であることを保証します。最終的に、この変革により、チームはイノベーションのスピードを加速させ、市場の状況に迅速に対応しながら、最先端の価格設定モデルを継続的に進化させることができるようになります。 課題：摩擦を生むことなくスピードをスケールさせる 従来のアーキテクチャは、Databricksがメダリオンアーキテクチャを通じて価格データをインジェストおよび変換し、処理されたデータセットを外部のAzure PostgreSQLデータベースにエクスポートするという論理的なパターンに従っていました。中間のアダプターレイヤーがキャッシュを処理し、価格設定エンジンにデータを公開していました。スループットが中程度であるうちは、これでうまく機能していました。しかし、データ量が増加し、モデルの反復が加速するにつれて、データをレイクハウスから外部データベース、キャッシュレイヤーを経てアプリケーションへと移動させるマルチホップパターンが、パフォーマンスと俊敏性を制限し始めました。 運用上の複雑さ：外部データベースとカスタムアダプターレイヤーの維持は、抽出ジョブの膨大なメンテナンス負担がこのような重要なユースケースにおける最大の課題となったため、大きな運用オーバーヘッドを生み出しました。さらに、データ処理用のDatabricksや本番サービング用のPostgreSQLを含むシステム間での断片化したデータガバナンス、およびリクエストロジックと統合を処理するカスタムアプリケーションコードへの対応は、リネージの追跡を困難にし、コンプライアンスと監査性が低下することを意味していました。 モデルデプロイのスピード：従来のマルチホップアーキテクチャでは、モデルロジックと基盤となるサービングインフラストラクチャとの間で慎重な同期が必要であり、これが調整されたデプロイウィンドウへの技術的な依存関係を生み出していました。チームはすでに迅速に反復するための価格設定の専門知識を持っていましたが、外部データベースとアダプターレイヤーの複雑さにより、システムの安定性を確保するために更新はオフピークの時間帯にスケジュールされることがよくありました。この特殊なオーケストレーションにより、外部アダプターレイヤーにおけるパフォーマンスリスクを避けるため、営業時間中の更新頻度が制限されていました。 データの鮮度のボトルネック：大規模なデータのインジェストは、営業時間への影響を避けるために慎重なオーケストレーションを必要とするパフォーマンス上の制約を生み出しました。具体的には、これらの更新によって外部サービングレイヤーで10倍から20倍のレイテンシスパイクが発生することが多く、事実上、データの更新が時間指定のバッチウィンドウに制限されていました。リアルタイムのB2C価格設定への戦略的な移行をサポートするために、チームは、これらの運用上のトレードオフなしに、1日を通じて継続的なデータ可用性を提供できるアーキテクチャを必要としていました。 規制の厳しい業界で1,000以上の変数にわたる100以上のモデルを管理する組織にとって、この断片化は運用上の摩擦とガバナンスリスクの両方を生み出していました。 解決策：レイクハウス内への統合 ERGO Hestiaの変革は、レイクハウス内ですべての業務を統合する3つの主要な技術的柱に基づいて構築されました。 統合データサービングのためのLakebase。Databricks...