Delta Engine

Delta Lake で高性能クエリを可能に

高速性と柔軟性を追求した新しいクエリエンジン「Delta Engine」は、データレイク上のあらゆるワークロードを高速化します。最新のクラウドハードウェアで高速性能を実現すべくゼロから構築され、データエンジニアリング、データサイエンス、機械学習、データ分析など、データを利用するあらゆるユースケースに対応。Delta Engine は、データブリックスの Delta Lake を強化します。

メリット

現実世界での性能:合成試験だけでなく、実運用におけるデータやアプリケーションで確実に高速性能を発揮する設計

オープンで互換性のある API:Apache Spark™ API との完全な互換性により、コード変更なしでワークロードをシームレスに実行

多様な言語をサポート:データレイクで実行する SQL、Python、R、Scala、Java のストリーミング/バッチワークロードに、最高クラスの性能を提供

機能

 

ネイティブ実行エンジン(Photon):Apache Spark 完全互換のベクトル化されたクエリエンジンが最新の CPU アーキテクチャを活用し、データの超高速並列処理を可能にします。
 
キャッシュレイヤー:データを自動的にキャッシュし、CPU 効率の高いフォーマットに変換することで、NVMe SSD ストレージの高速性を活かし、あらゆるワークロードでスキャン性能を最大 5 倍高速化します。 

改良版クエリオプティマイザ:Spark の最適化機能の拡張により、データレイクでのスタースキーマのワークロードを最大 18 倍まで高速化します。
  • コストベースのオプティマイザ:より高度な統計および、結合タイプ、シャッフルサイズの最適化による、より高速なクエリプランの作成
  • アダプティブなクエリ実行:実行中のクエリを動的に再プランすることにより、データの読み込みにあわせたライブ性能が向上
  • 動的なランタイムフィルタ:高粒度でのデータスキップにより、クエリ性能を高速化

無料お試し・その他のご相談を承っております

データブリックスの無料トライアル