今年のData and AI Summitで最近発表されたように、Databricks AI/BIは、非常に視覚的でインタラクティブなローコードAI/BIダッシュボードと、AI/BIGenieによって駆動されるノーコード会話型分析を用いて、組織全体でビジネスインテリジェンスと分析を民主化します。このブログでは、AI/BIダッシュボードのパフォーマンスと対話性を向上させる新機能をいくつか紹介します。
これらの日々、非常にインタラクティブ（またはクリック可能な）ビジネスインテリジェンスダッシュボードは必須です。これらは、ダッシュボードのユーザーがデータを動的に探索し、クリックごとに洞察をカスタマイズできるようにするため、不可欠です。これにより、ユーザーはデータに対するフォローアップの質問を行い、より早く、より情報に基づい た決定を下すことができます。これは、分析を通じて探索と問題解決を制限する静的なダッシュボードとは異なります。
このブログで取り上げる主な改善点は以下の通りです：
- クロスフィルタリング：視覚化の中で興味深いデータポイントをクリックすることで、ダッシュボードをフィルタリングし、他の重要な指標や視覚に与える影響を確認することができます。これにより、新たな洞察を引き出す関係性や相関性を理解するために、データを探索することができます。
- 静的ウィジェットパラメータ：データの異なる側面を強調する複数のフィルタリングされた視覚化を作成します。例えば、現年度と前年度の売上に焦点を当てた2つのチャートを作成します。静的ウィジェットパラメータを使用すると、カスタムデータセットを視覚化ごとに作成することなく、単一のパラメータ化されたデータセットから視覚化を作成できます。
- フィルターのデフォルト値：ダッシュボード内の特定のデータやコンテキストに視聴者の注意を集めるために、初期ロード時に適用されるデフォルトのフィルター値を設定します。
- パフォ ーマンスの向上：誰もがダッシュボードがロックされたり、開いたり興味深いデータポイントをクリックするたびに「お待ちください」と言われるのは好きではありません。そのため、ユーザーが追加のSQLクエリを実行せずにデータに対するフォローアップの質問をすることができるように、高速なインタラクティブダッシュボードを確保するためのいくつかのパフォーマンス向上を追加しました。
- クエリベースのパラメータ：ダッシュボードの作成者は、フィールドとパラメータフィルタの両方で表現豊かな体験を作成できるはずです。パラメータとフィールドを単一のフィルタに組み合わせることを可能にすることで、クエリ結果でパラメータドロップダウンを動的に埋めるなど、新たな機能を実現しました。
クロスフィルタリング
ダッシュボードを探索する際、視覚化における特定のデータポイントがさらなる調査のために目立つかもしれません。一部のフィルタはすでに設定されているかもしれませんが、すべての視聴者のニーズを予測することはできません。
クロスフィルタリングにより、すべてのチャートをデータのフィルタリングに使用できるようになりました。ダッシュボードをフィルタリングし、データをより深く探索するためには、ビジュアライゼーションをクリックするだけです。クロスフィルタリングは、同じデータセットを共有するすべてのビジュアライゼーションに自動的に有効になっています。つまり、ビジュアライゼーションの一部（バーチャートのバーなど）をクリックすると、ダッシュボード内のすべての関連ビジュアライゼーションのデータをフィルタリングできます。
ヒートマップの視覚的に異なるマークなど、外れ値をクリックしてデータをスライスし、分析を集中させます。
集約されたビジュアライゼーションを通じて階層的なデータを掘り下げてナビゲートします。例えば、年次データをクリックすると、他のチャートがその年のデータに制限されます。月次チャートと週次チャートのバーをクリックして、さらに掘り下げを続けます。
現在、バーチャート、ヒートマップ、パイチャート、散布図に対応しており、クロスフィルタリングは既存のフィールドフィルタとパラメータフィルタを補完します。ヒストグラム、折れ線グラフ、エリアチャート、コンボチャート、マルチバリューセレクションなど、追加のビジュアライゼーションのサポートが近く提供されます。
静的ウィジェットパラメータ
ダッシュボードの作成は、データセットが少ない方が簡単です。特定のビジュアライゼーションのためにフィルターや集計を追加するためにデータセットをクローンすると、煩雑さや手間が増えます。
静的ウィジェットパラメーターを使えば、フィルタをカスタマイズして各ビジュアライゼーションに適用でき、個別のフィルター付きデータセットを作成する必 要がなくなり、このプロセスが簡略化されます。この機能は、既存のビジュアライゼーションごとに集計やビンを定義する機能を補完します。
たとえば、単一のデータセットを使用して、異なる場所の温度メトリクスを強調表示するには、次のような条件を追加することができます:
/*
このフィルタは、ビューアが'All'を選択したときに総計を表示することを可能にします。
- 特定の場所が選択された場合、フィルターはその場所のレコードに一致します。
- 'All'が選択された場合、フィルタ条件は常に真を返し、すべての場所を結果に含めます。
このパターンについての詳細はこちらをご覧ください
*/
WHERE location = :location OR :location = 'All'
次に、新しい可視化ごとに異なる静的パラメータ値を設定するだけです。以下の例では、すべての場所、シアトル、ニューヨークの3つのチャートを見ることができます。各チャートは同じデータセットを使用しますが、データを適切にフィルタリングするために異なる静的値が適用されます。
この機能を拡張して、フィールドを使用したウィジェットごとのフィルタリングをサポートするように作業しています。例えば、基礎となるデータセットをパラメータ化することな く、ロケーションフィールドで各チャートをフィルタリングすることができます。
デフォルト値
ダッシュボードの作成者として、視聴者を特定のデータスライス、例えば特定の日付範囲や場所に誘導したいかもしれません。
デフォルト値を使用すると、初期のダッシュボードのロード時や選択がリセットされたときに適用される特定のフィルタ値を設定できます。これにより、視聴者は最初からキーデータポイントに焦点を当てることが保証されます。デフォルト値は、現在のビューのURLを共有することでダッシュボードフィルターの選択を保持する既存の機能を補完します。
例えば、雪の日は極端な気温と高い降水量があるため、興味深いです。デフォルトの天候フィルターを「雪」に設定すると、新しいダッシュボードの閲覧者がこの天候タイプを最初に探索することを奨励します。他の天候の傾向をレビューした後、彼らは雪の日に深く潜るためにフィルターをリセットできます。
パフォーマンスが向上しました。
インタラクティブなダッシュボードが本当に魅力的であるためには、速さが必要です。フィルター適用ごとにクエリの実行を待つと、分析の流れが中断される可能性があります。
AI/BIダッシュボードは、クエリキャッシングや深いプラットフォーム統合のような技術を通じて、大量のデータでも高性能に最適化されています。クエリキャッシングは自動的にクエリ結果を24時間保存し、以前に実行したクエリを活用してパフォーマンスを向上させます。また、スケジュールを通じてキャッシュを積極的に充填することもできます。
AI/BIダッシュボードは、初期ロードを迅速に提供するだけでなく、フィルタをブラウザで評価することにより、小さなデータセットに対してほぼ瞬時のインタラクティビティを提供し、すべての変更ごとにクエリを再実行することなく行います。
最近、クライアント側のフィルタ評価制限を100K行に増やしました。これは、この制限内のデータセットについては、データセット全体が一度にクエリされ、その後のすべてのフィルタリングはクライアント側で処理されるため、追加のサーバーサイドのクエリが不要になることを意味します。大きなテーブルでも、マテリアライズドビューという技術を用いた事前集計により、より小さく、より速くフィルタリングできるデータセットを作成できます。
一般的には、パラメーターよりもフィールドでフィルタリングすることをお勧めします。パラメーターは常にサーバー側でのクエリが必要となるためです。パラメーターは、サブクエリでのフィルタリングや複雑な集計を持つデータセットの定義など、フィールドでのフィルタリングがまだ対応できないケースに最適です。
クライアント側でのフィルタ制限のさらなる増加など、追加の最適化も引き続き検討しています。今後の機能として、ビジュアライ ゼーションレベルでの計算が導入される予定で、これによりフィールドでのフィルタリングで完全に対応できるユースケースが増える見込みです。
クエリベースのパラメータ
パラメータは強力なツールであり、データセットのSQLのどこでも導入することができ、フィルタを定義する際の最大の柔軟性を提供します。パラメータはSQLのリテラルのプレースホルダーであるにもかかわらず、他のフィールドと同様に動作し、著者がドロップダウンやその他のフィルタを使用して値を設定することを可能にするべきです。
パラメータとフィールドの混合を可能にすることで、他のデータセットからの値でパラメータフィルタを充填する能力を追加しました。このクエリベースのパラメータ値のアプローチにより、動的に変更する日付の粒度など、高度な分析機能が解放されます。
例えば、集約に使用されるDATE_TRUNC関数をパラメータ化することで、異なる日付の粒度を通じて詳細に掘り下げることが可能になります。結果として得られるデータセットとメトリクスは集約されており、これは追加の天候フィルタを追加することもクエリのパラメータ化を必要とすることを意味します。
SELECT
DATE_TRUNC(:date_granularity, date) as date,
avg(wind) as average_wind_speed,
sum(precipitation) as total_precipitation
FROM
weather
WHERE
:weather = 'All' or weather = :weather
GROUP BY ALL
ダッシュボードの閲覧者は、フィルターのドロップダウンで有効な値を簡単に選択できるべきです。例えば、「YEAR」または「YEARLY」が日付切り捨ての正しいリテラルかどうかを推測する必要はありません。ドロップダウンを正しく表示するためには、以下の2つのデータセットを作成してください。
--データセット1：有効な日付の粒度の静的なリストを生成する
SELECT * FROM VALUES ('day'), ('week'), ('month'), ('year') AS t(date_granularity)
--データセット2: 基本テーブルから異なる天候カテゴリを選択します
SELECT DISTINCT weather FROM weather UNION ALL SELECT DISTINCT 'All' AS Weather
これらのデータセットのフィールドを参照して日付の粒度と天候パラメータフィルタを変更し、ドロップダウンを埋めて日付をドリルダウンします。
単一のウィジェットでフィールドとパラメータを組み合わせることにより、それらのデータセットがパラメータまたはフィールドフィルタを使用しているかどうかに関係なく、複数のデータセットを制御するための1つのフィルタを使用することができます。
デートレンジパラメーターやマルチバリューパラメーターのような今後の機能により、フィールドとパラメーターのフィルタリングにさらなる柔軟性を提供することを楽しみにしています。
AI/BIダッシュボードについてもっと学ぶ
私たちが示したように、AI/BIダッシュボードはDatabricksの重要な投資領域であり、インタラクティビティが重要な焦点となっています。これらの新機能を探索し、自分のダッシュボードをどのように向上させることができるかを見てみることをお勧めします。AI/BI ダッシュボードに関するDatabricksのドキュメンテーションをチェックしてみてください。これには、パラメータとフィルタについての深い洞察が含まれています。
AI/BIダッシュボードを洗練させ、拡大するために、あなたのフィードバックは非常に貴重です。皆様のご意見や提案をお待ちしております！
