オートマチックリキッドクラスタリングの発表

私たちは、予測最適化によって駆動される自動リキッドクラスタリングのパブリックプレビューを発表することを嬉しく思います。この機能は、Unity Catalog管理テーブルに自動的にリキッドクラスタリング列を適用、更新し、クエリのパフォーマンスを向上させ、結果としてコストの削減をします。

オートマチックリキッドクラスタリングは、手動のチューニングの必要性を排除し、データ管理を簡素化します。これまでは、データチームは各テーブルの特定のデータレイアウトを手動で設計しなければなりませんでした。今、予測最適化はUnity Catalogの力を利用して、あなたのデータとクエリパターンを監視し分析します。

オートマチックリキッドクラスタリングを有効にするには、パラメータCLUSTER BY AUTOを設定して、UC管理の未分割またはリキッドテーブルを設定します。

有効にすると、予測最適化はテーブルのクエリ方法を分析し、負荷に基づいて最も効果的なクラスタリングキーをインテリジェントに選択します。それから、テーブルを自動的にクラスタリングし、データが最適なクエリパフォーマンスのために整理されることを保証します。Deltaテーブルから読み取るエンジンはこれらの改善から、大幅に高速なクエリを実現します。さらに、クエリパターンが変化すると、予測最適化は動的にクラスタリングスキームを調整します、Deltaテーブルの設定時の手動のチューニングやデータレイアウトの決定を完全になくすことができます。

プライベートプレビュー期間中、数十の顧客がオートマチックリキッドクラスタリングをテストし、すばらしいな結果を得ました。多くの人々がそのシンプルさとパフォーマンスの向上を評価しています。一部の人々はすでにゴールドテーブルで使用しており、すべてのデルタテーブルに拡大する計画を立てています。

Healthriseのようなプレビュー顧客は、自動リキッドクラスタリングによる顕著なクエリパフォーマンスの改善を報告しています：

「私たちはオートマチックリキッドクラスタリングをすべてのゴールドテーブルに展開しました。それ以来、私たちのクエリは最大10倍速くなりました。手動でデータレイアウトを設計したり、メンテナンスを行う必要なく、すべてのワークロードがはるかに効率的に実行されるようになりました。

— Li Zou、主任データエンジニア、Brian Allee、データサービスディレクター、テクノロジー＆アナリティクス、Healthrise

最適なデータレイアウトの選択は難しい問題です

最適なデータレイアウトをテーブルに適用することで、クエリのパフォーマンスとコスト効率が大幅に向上します。伝統的に、パーティショニングでは、顧客はデータの偏りや同時実行の競合を避けるための適切なパーティショニング戦略を設計するのが難しいと感じてきました。パフォーマンスをさらに向上させるために、顧客はパーティショニングの上にZORDERを使用するかもしれませんが、ZORDERingはとても高価で、さらに管理が複雑です。

リキッドクラスタリングは、データレイアウトに関連する決定を大幅に簡素化し、クラスタリングキーをデータの書き換えなしに再定義する柔軟性を提供します。お客様は、クエリアクセスパターンに基づいてクラスタリングキーを選択するだけで、カーディナリティ、キーオーダー、ファイルサイズ、潜在的なデータの偏り、並行性、将来のアクセスパターンの変更などを心配する必要はありません。私たちは、リキッドクラスタリングでクエリパフォーマンスが向上した数千の顧客と協力し、現在、月間3000以上のアクティブな顧客が毎月200+ PBのデータをリキッドクラスタリングテーブルに書き込んでいます。

しかし、Liquid Clusteringの進歩にもかかわらず、あなたはまだテーブルをどのようにクエリするかに基づいてクラスタリングする列を選択しなければなりません。データチームは次のことを理解する必要があります：

• どのテーブルがリキッドクラスタリングの恩恵を受けるでしょうか？
• このテーブルに最適なクラスタリング列は何ですか？
• ビジネスニーズが進化するにつれて、私のクエリパターンが変わる場合はどうなるのか？

さらに、組織内では、データエンジニアはしばしば複数の下流の利用者と協力してテーブルのクエリ方法を理解し、変化するアクセスパターンと進化するスキーマに対応しなければなりません。この課題は、データ量が分析ニーズとともにスケールアップすると、指数関数的に複雑になります。

自動リキッドクラスタリングがデータレイアウトを進化させる方法

自動リキッドクラスタリングを使用すると、Databricksはすべてのデータレイアウトに関連する決定をお客様に代わって行います - テーブルの作成から、データのクラスタリング、データレイアウトの進化まで - これにより、お客様はデータからの洞察を引き出すことに集中できます。

例のテーブルで自動リキッドクラスタリングがどのように動作するか見てみましょう。

example_tblというテーブルを考えてみてください。これは日付と顧客IDで頻繁にクエリされます。それは2月5日-6日と顧客ID AからFのデータを含んでいます。データレイアウトの設定がない場合、データは挿入順に保存され、次のレイアウトになります：

顧客がSELECT * FROM example_tbl WHERE date = '2025-02-05' AND customer_id = 'B'を実行するとします。クエリエンジンはDeltaデータスキップ統計（最小/最大値、nullカウント、ファイルごとの総レコード数）を利用して、スキャンするべき関連ファイルを特定します。不必要なファイルの読み取りを削除することは重要で、これによりクエリ実行中にスキャンされるファイルの数が減少し、直接的にクエリのパフォーマンスが向上し、計算コストが低下します。クエリが読み取る必要のあるファイルが少なければ少ないほど、それはより速く、効率的になります。

この場合、エンジンは2月5日の5つのファイルを特定し、ファイルの半分が日付列の最小/最大値がその日付と一致しています。しかし、データスキップ統計は最小/最大値のみを提供するため、これら5つのファイルはすべて、顧客IDの最小/最大値が顧客Bがどこか中間にあることを示しています。結果として、クエリは顧客Bのエントリを抽出するためにすべての5つのファイルをスキャンする必要があり、これによりファイルの剪定率が50％（10ファイル中5ファイルを読み取る）となります。

ご覧の通り、核心的な問題は、顧客Bのデータが単一のファイルに共有されていないことです。これは、顧客Bのすべてのエントリを抽出するためには、他の顧客のエントリの大部分を読み取る必要があることを意味します。

ここでファイルの剪定とクエリパフォーマンスを改善する方法はありますか？オートマチックリキッドクラスタリングは両方を強化することができます。こういう方法です：

オートマチックリキッドクラスタリングの裏側：その仕組み

有効にすると、オートマチックリキッドクラスタリングは以下の3つのステップを継続的に実行します：

1. テーブルがリキッドクラスタリングキーの導入または進化から利益を得るかどうかを判断するためのテレメトリーの収集。
2. ワークロードのモデリング で適格な列を理解し、特定します。
3. 列の選択を適用すると、コスト便益分析に基づいてクラスタリングスキームを進化させます。

ステップ1：テレメトリー分析

予測最適化は、クエリの述語やJOINフィルターなどのクエリスキャン統計を収集し分析します。これにより、テーブルがリキッドクラスタリングから利益を得るかどうかを判断します。

私たちの例では、予測最適化は、列‘date’と‘customer_id’が頻繁にクエリされることを検出します。

ステップ2：ワークロードモデリング

予測最適化はクエリワークロードを評価し、データスキップを最大化するための最適なクラスタリングキーを特定します。

過去のクエリパターンから学習し、異なるクラスタリングスキームのパフォーマンス向上の可能性を推定します。過去のクエリをシミュレートすることで、それぞれのオプションがスキャンするデータ量をどれだけ減らすかを効果的に予測します。

例えば、‘date’と‘customer_id’に登録されたスキャンを使用し、一貫したクエリを仮定すると、予測最適化は次のことを計算します：

• ‘date’によるクラスタリングは、50％の剪定率で5つのファイルを読み込みます。
• 「customer_id」によるクラスタリングでは、約2つのファイル（推定）を読み取り、プルーニング率は80％です。
  • 「date」と「customer_id」の両方によるクラスタリング（以下のデータレイアウトを参照）では、1つのファイルだけを読み取り、プルーニング率は90％です。

ステップ3：コスト-ベネフィット最適化

Databricksプラットフォームは、クラスタリングキーの変更が明確なパフォーマンスの利点を提供することを保証します。なぜなら、クラスタリングは追加のオーバーヘッドを導入する可能性があるからです。新しいクラスタリングキーキャンディデートが特定されると、予測最適化はパフォーマンスの向上がコストを上回るかどうかを評価します。利益が大きい場合、Unityカタログ管理テーブルのクラスタリングキーを更新します。

例えば、‘date’と‘customer_id’によるクラスタリングは、データの削減率が90％になります。これらの列は頻繁にクエリされるため、減少した計算コストと改善されたクエリパフォーマンスは、クラスタリングのオーバーヘッドを正当化します。

プレビュー顧客は、予測最適化のコスト効率、特に手動でデータレイアウトを設計するのに比べてオーバーヘッドが低いことを強調しています。CFC Underwritingのような企業は、総所有コストの低減と効率の大幅な向上を報告しています。

“私たちは本当にDatabricksのAutomatic Liquid Clusteringを愛しています。なぜなら、それは私たちに最も最適化されたデータレイアウトが手に入るという安心感を与えてくれるからです。また、データレイアウトを維持するためのエンジニアの必要性を排除することで、私たちの時間を大幅に節約しました。この機能のおかげで、私たちはデータ量をスケールアップしても、コンピューティングコストが下がっていることに気づきました。

— Nikos Balanis、データプラットフォームの責任者、CFC

この機能の要点： 予測最適化は、データスキップからの予測されるコスト節約が、クラスタリングの予測されるコストを上回るように、あなたの代わりにリキッドクラスタリングキーを選択します。

無料トライアル

まだ予測最適化を有効にしていない場合は、アカウントコンソールの設定>機能有効化の隣にある予測最適化を選択して有効にすることができます。

Databricks を初めて使用しますか？2024年11月11日以降、Databricksはすべての新しいDatabricksアカウントでデフォルトで予測最適化を有効にし、Unityカタログ管理テーブルのすべての最適化を実行しています。

今日から始めて、Unityカタログ管理テーブルにCLUSTER BY AUTOを設定してください。新しいAUTOテーブルを作成するか、既存のLiquid / パーティション化されていないテーブルを変更するには、Databricks Runtime 15.4+が必要です。近い将来、新しく作成されたUnityカタログ管理テーブルでは、自動リキッドクラスタリングがデフォルトで有効になります。詳細は後日発表します。