マネージドSpark

マネージドSparkとは

マネージド Spark は、バッチ処理、クエリ、ストリーミング、機械学習などのオープンソースのデータツールを利用できるマネージドサービスです。ユーザーは、このような自動化を使用することで、オンデマンドでクラスタの迅速な作成や管理を容易し、タスクが完了したときにクラスタをオフにすることができます。ワークロード、パフォーマンス要件、または既存のリソースに基づいてクラスタのサイズを設定することも可能です。さらに、ほんの数秒で動的にスケールアップおよびスケールダウンできる、完全に管理された Spark クラスタへのアクセス権が付与されます。これは、ジョブの処理中でも実行できます。さらに、ユーザーは不要になったらクラスタをオフにすることで、コストを節約できます。マネージド Spark プロバイダーは、プロビジョニングを行い、全てのジョブのクラスタを保持する代わりに、一時クラスタを作成します。通常、マスターノードとワーカーノードを持つマシンのクラスタを使用します。マネージド Spark のサービスを採用することで、組織は貴重なリソースを運用ではなく分析に活用することができ、データから価値を引き出す作業に集中できるようになります。

マネージドSparkサービスを採用するメリット

クラスタ管理の自動化

特定のジョブのニーズに応じて管理された展開、ログ記録、および監視によって、クラスタに焦点を当てるのではなく、データに集中できます。安定性、拡張性のある高速なクラスタで分析作業ができます。

サイズ変更可能なクラスタ

クラスタを迅速に作成およびスケーリングするため、Spark クラスタの構築と構成による大量のリソース消費を心配する必要はありません。ノードは不要になった時点で巻き戻され、スケーリングは必要に応じて実行されます。

開発者ツール

通常、クラスタを管理する方法は複数用意されています。

自動／手動の構成

クラスタ上のハードウェアとソフトウェアは自動的に設定されますが、手動での制御も可能です。

シンプルな管理

YARNリソースマネージャーなどのツールの使用により、クラスタやリソース割り当ての優先順位付けや管理をシンプルにします。

費用対効果

従量課金制のため、ユーザーは、プロセス中に消費されるコンピューティングリソースに対してのみ料金を支払います。