機械学習のランタイム

すぐに使用できる最適化された機械学習環境

機械学習ランタイム(MLR)は、データサイエンティストと ML の実行者に、一般的なフレームワーク、組み込み AutoML、および最高のパフォーマンスを実現するための最適化を含む、スケーラブルなクラスターを提供します。

メリット

最適なフレームワーク

ML フレームワークが急激な進化を遂げる中、実行者は平均 8 つのライブラリを管理しなくてはならなくなっています。ML ランタイムは、特に一般的な ML フレームワークの高性能かつ信頼性のある分散処理、および事前に構築されたコンテナや Conda を介したカスタム ML 環境へのワンクリックアクセスを提供します。

強化された機械学習

Hyperopt および MLflow を使用したハイパーパラメータのチューニングやモデル検索といった組み込みの AutoML 機能により、データ準備から推論に至るまで、機械学習を強化します。

簡素化されたスケーリング

自動管理されたスケーラブルなクラスターインフラストラクチャを使用して、スモールデータからビッグデータへ簡単に移行できます。また、機械学習のランタイムには、特に一般的なアルゴリズムと HorovodRunner(分散型深層学習用の単純な API)に関する独自のパフォーマンス強化が含まれています。

機能

最適なフレームワーク

Conda マネージドランタイム:Python パッケージ管理のための Conda 統合のメリットを享受できます。すべての Python パッケージが 1 つの環境にインストールされています。

ML フレームワーク:TensorFlow、Keras、PyTorch、MLflow、Horovod、GraphFrame、scikit-learn、XGboost、numpy、MLeap、Pandas など、特に一般的な ML ライブラリとフレームワークをすぐに利用できます。

拡張 ML

自動実験追跡:オープンソースまたはマネージド型 MLflow および並列座標プロット機能を使用して、数十万もの実験を追跡、比較、および視覚化します。

自動モデル検索(単一ノードの ML 用):強化された Hyperopt と MLflow への自動追跡により、複数のモデルアーキテクチャで最適化および分散された条件付きハイパーパラメータ検索を実行します。

単一ノードの機械学習用自動ハイパーパラメータチューニング:強化された Hyperopt と MLflow への自動追跡により、最適化および分散されたハイパーパラメータ検索を実行します。

分散型機械学習用自動ハイパーパラメータチューニング:PySpark MLlib の相互検証との密接な統合により、MLflow で MLlib 実験を自動的に追跡します。

シンプルなスケーリングのための最適化

最適化された TensorFlow:GPU クラスター上の TensorFlow CUDA に最適化されたバージョンを活用して、パフォーマンスの最大化を実現。

HorovodRunner: シングルノードの深層学習トレーニングコードを迅速に移行し、HorovodRunner (Horovod を分散トレーニングで使用する際に直面する複雑さを抽象化する単純な API)を使って Databricks クラスターで実行。

最適化された MLlib ロジスティック回帰と決定木の分類:特に一般的な推定ツールが ML 用 Databricks ランタイムの一部として最適化されており、Apache Spark 2.4.0 と比べて最大 40% の高速化を実現。

最適化された GraphFrames:ワークロードとデータスキューに応じて、2~4 倍の速度で GraphFrames を実行し、Graph クエリを最大で 100 倍高速化することが可能。

深層学習のワークロード用に最適化されたストレージ:Azure & AWS の高性能ソリューションを活用して、データの読み込みとモデルのチェックポイント設定を行います。どちらも深層学習のトレーニングのワークロードにとって重要です。

仕組み

機械学習用ランタイムは最上部に構築され、Databricks ランタイムのリリースごとに更新されます。Azure Databricks、AWS クラウド、GPU クラスター、CPU クラスターといった、すべての Databricks 製品でご利用いただけます。

クラスターを作成する際に ML バージョンのランタイムを選択するだけで、ML 用ランタイムを使用することができます。

お客様の事例

Spark + AI Summit の講演を視聴する

Simplify Distributed TensorFlow Training for Fast Image Categorization at Starbucks

無料お試し・その他のご相談を承っております


クイックスタートガイドに従ってください