Delta Engine

Delta Lake で高性能クエリを可能に

高速性と柔軟性を追求した新しいクエリエンジン「Delta Engine」は、データレイク上のあらゆるワークロードを高速化します。最新のクラウドハードウェアで高速性能を実現すべくゼロから構築され、データエンジニアリング、データサイエンス、機械学習、データ分析など、データを利用するあらゆるユースケースに対応。Delta Engine は、データブリックスの Delta Lake を強化します。

メリット

現実世界での性能：合成試験だけでなく、実運用におけるデータやアプリケーションで確実に高速性能を発揮する設計

オープンで互換性のある API：Apache Spark™ API との完全な互換性により、コード変更なしでワークロードをシームレスに実行

多様な言語をサポート：データレイクで実行する SQL、Python、R、Scala、Java のストリーミング／バッチワークロードに、最高クラスの性能を提供

機能

ネイティブ実行エンジン（Photon）：Apache Spark 完全互換のベクトル化されたクエリエンジンが最新の CPU アーキテクチャを活用し、データの超高速並列処理を可能にします。

キャッシュレイヤー：データを自動的にキャッシュし、CPU 効率の高いフォーマットに変換することで、NVMe SSD ストレージの高速性を活かし、あらゆるワークロードでスキャン性能を最大 5 倍高速化します。

改良版クエリオプティマイザ：Spark の最適化機能の拡張により、データレイクでのスタースキーマのワークロードを最大 18 倍まで高速化します。

コストベースのオプティマイザ：より高度な統計および、結合タイプ、シャッフルサイズの最適化による、より高速なクエリプランの作成
アダプティブなクエリ実行：実行中のクエリを動的に再プランすることにより、データの読み込みにあわせたライブ性能が向上
動的なランタイムフィルタ：高粒度でのデータスキップにより、クエリ性能を高速化

無料お試し・その他のご相談を承っております

データブリックスの無料トライアル