Best Practices for Cost Management on Databricks
This blog is part of our Admin Essentials series, where we'll focus on topics important to those managing and maintaining Databricks environments. Keep...
Original : Introducing Databricks Fleet Clusters for AWS
翻訳： junichi.maruyama
この度、Databricks FleetクラスタのAWSでの一般提供開始を発表します。
フリートクラスタとは？
Databricks Fleet Clusters は、Databricksがインテリジェントに最適化し、プロセスを自動化することで、手動でインスタンスを選択する手間をかけずにSpot価格の潜在能力を引き出します。Databricksの1クラスタ内の複数のインスタンスにまたがるフレックス機能により、可用性を確保しながら、AWS Spotインスタンスを可能な限り低コストで利用することが可能です。クラウドインフラの複雑な管理を回避し、本当に重要なこと、つまりデータドリブンなインサイトに時間を費やすことが できます。
Databricksのフリートクラスタは、AWSのお客様向けに新しいフリートインスタンスファミリーのセットを導入します：m-fleet、md-fleet、r-fleet、rd-fleet、サイズはxlarge、2xlarge、4xlarge、8xlarge。
クラスタがこれらのフリートインスタンスタイプの1つを使用する場合、Databricksはクラスタで使用するために、最高の価格と可用性を持つ一致するAWSの物理インスタンスタイプを選択します。Databricksは、クラスタから最大限の安定性とパフォーマンスを得られるように、可能なインスタンスの組み合わせのセットを制限しています。AWSが新たなインスタンスタイプを発表した際には、クラスタ定義を手動で調整する必要がないよう、裏で使用するインスタンスを引き続き更新していく予定です。クラスタがスポットインスタンスを使用する場合、価格が最も安く、スポット終了の可能性が低いインスタンスタイプを選択することになります。
例えば、クラスタが以下のような構成である場合：
Driver: rd-fleet.xlarge
Workers: rd-fleet.4xlarge
Number of Workers: 3
クラスタは、最終的に以下のインスタンスタイプを取得する可能性があります：
Driver: r6id.xlarge
Workers: r6id.4xlarge, r6id.4xlarge, r5d.4xlarge
具体的なインスタンスは、クラスタ作成時の価格と容量の条件により決定されます。Databricksは、取得した各インスタンスについて、通常のDBU料金に基づき請求します。
どのように使えばいいのでしょうか？
フリートインスタンスタイプを使用するには、新しいクラスタまたはインスタンスプールを作成するだけです。ワーカーとドライバーの両方にフリートインスタンスタイプを使用することをお勧めします。
また、databricksワークスペースのAWS IAMロールに、当社のドキュメントに記載されている最新のパーミッションが含まれていることを確認する必要があります。権限が不足している場合は、フリートクラスタを開始しようとするときに追加するように求められます。
注：古いワークスペースは、今後数週間でフリートクラスタをサポートするようにアップデートされる予定です。アクセスに問題がある場合は、カスタマーサポートにご連絡ください。
Databricks 無料トライアル
