Databricks のランタイム

自動スケーリングインフラストラクチャで実行される、高度に最適化された Apache Spark™ エンジン

Databricks Runtime は、高度に最適化されたバージョンの Apache Spark 上に構築されており、最大 50 倍のパフォーマンス向上を実現します。自動スケーリングインフラストラクチャで実行され、DevOps を使用しない簡単なセルフサービスを可能にするとともに、本番に必要なセキュリティと管理制御も提供します。パイプラインの構築、ジョブのスケジューリング、モデルのトレーニングをより迅速に実行できます。

メリット

パフォーマンス

Databricks Runtime は、Apache Spark™ の創始者によって高度に最適化されています。パフォーマンスの大幅な向上により、これまでデータ処理やパイプラインでは不可能だった新しいユースケースにも対応し、データチームの生産性が向上します。
 

費用対効果

ランタイムは、自動スケーリングの計算とストレージを活用して、インフラストラクチャコストを管理します。クラスターはインテリジェントに開始および終了し、高い費用対効果により、インフラストラクチャに費やす支出を削減します。
 

シンプルさ

Databricks は、自動化および管理のための統合サービススィートを使用して Spark を制御できるようにしたことで、データチームによるパイプラインの構築および管理を容易にするとともに、IT チームの管理制御を可能にします。

機能

 

キャッシング:リモートファイルのコピーは、高速の中間データ形式を使用してローカルストレージにキャッシュされるため、同じデータの連続的な読み取り速度が向上します。

Z オーダークラスタリング:同じファイルセット内の関連情報のコロケーションにより、読み取る必要があるデータ量が大幅に減少し、クエリ応答が高速になります。

結合の最適化:さまざまなクエリパターンとスキューヒントを使用した、範囲結合とスキュー結合の最適化により、パフォーマンスを大幅に向上させることができます。

データのスキップ:データの書き込み時に自動的に収集される最小値と最大値の統計情報がクエリ実行時に使用されるため、クエリを高速化することができます。

使いやすいクラスター管理機能:クラスターの作成、再起動、および終了を簡素化した、使いやすいユーザーインターフェイスにより、クラスターの可視性および扱いやすさが向上し、コスト管理が容易になります。
高可用性:Databricks クラスターマネージャーは、取り消された、またはクラッシュしたワーカーインスタンスを透過的に再起動するため、サービスを自分で管理することなく常に稼働させておくことができます。
 

弾力性に優れたオンデマンドのクラスター:数回クリックするだけで、数分のうちにオンデマンドクラスターを構築したり、現在のニーズに基づいてスケールアップまたはスケールダウンしたりできます。チームやサービスのニーズの変化に合わせて、リソースを再構成または再利用します。

自動アップグレードとの下位互換性:使用する Spark のバージョンを選択し、Spark の最新バージョンを簡単に入手しながら、以前のバージョンで引き続きレガシージョブを実行できます。

フレキシブルなスケジューラー:さまざまなタイムゾーンで分単位から月単位の間隔を指定して、運用パイプラインのジョブ(cron 構文や再起動ポリシーなど)を指定したスケジュールに実行します。

通知:本番ジョブが開始、失敗、および/または完了すると、メールまたはサードパーティの本番ページャーとの統合によって、ユーザーの介入なしでユーザーセットに通知されます。

フレキシブルなジョブタイプ:ノートブック、Spark JAR、カスタム Spark ライブラリ、アプリケーションなど、さまざまなタイプのジョブを実行し、多様なユースケースに対応します。

最適化されたデータソース:Spark データソースの中央リポジトリには、SQL、NoSQL、Columnar、ドキュメント、UDF、ファイルストア、ファイル形式、検索エンジンなどの幅広いサポートを備えています。

仕組み

 

Databricks のランタイム

Databricks Runtime は、高度に最適化された実行エンジンを備えたオープン Apache Spark API を実装します。これにより、他のクラウド Spark プラットフォームで見られる標準のオープンソース Apache Spark と比較して、大幅なパフォーマンス向上が実現します。このコアエンジンでは、開発者の生産性とエンタープライズガバナンスのための、追加サービスを使用します。

無料お試し・その他のご相談を承っております

DATABRICKS を無料で試す


クイックスタートガイドに従ってください

リソース