Spark managé

Qu'est-ce que Spark managé ?

Un service Spark managé vous permet de profiter d'outils de données open source pour le traitement batch, l'exécution de requêtes, le streaming et le machine learning. En utilisant ce type d'automatisation, vous pouvez rapidement créer des clusters à la demande, les gérer avec souplesse et les désactiver une fois la tâche terminée. Les utilisateurs peuvent également dimensionner les clusters en fonction de la charge de travail, des besoins de performance ou des ressources existantes. De plus, vous avez accès aux clusters Spark entièrement managés, que vous pouvez agrandir et réduire en quelques secondes. Et tout cela, alors même que des tâches sont en cours de traitement. La possibilité de désactiver des clusters quand ils ne sont plus nécessaires permet de réaliser des économies. Les fournisseurs de Spark managé créent des clusters temporaires au lieu de provisionner et conserver un même cluster pour toutes vos tâches. Ils exploitent généralement un cluster de machines avec un nœud principal et des nœuds de travail. Les organisations peuvent se consacrer pleinement à extraire de la valeur de leurs données, sans perdre de temps avec les opérations.

Les avantages d'un service Spark managé :

Gestion automatisée des clusters

Le déploiement, la journalisation et la supervision sont gérés en fonction des besoins de votre tâche. Vous n'avez pas besoin de vous préoccuper du cluster, vous pouvez vous consacrer à vos données. Vos clusters seront stables, flexibles et rapides.

Clusters évolutifs

La création et la configuration de clusters Spark demandent normalement des efforts importants, mais ce n'est pas le cas ici : vous n'aurez aucun mal à créer et faire évoluer rapidement des clusters. les nœuds sont désactivés quand ils deviennent inutiles. Tout est fait en fonction des besoins

Outils pour développeurs

Il existe normalement plusieurs manières de gérer un cluster.

Configuration automatique ou manuelle

Les composants matériels et logiciels des clusters sont automatiquement configurés pour vous, sans pour autant vous priver de contrôle manuel.

Simplicité de la gestion

Vous n'aurez plus à vous inquiéter de la gestion du cluster ou de l'affectation des ressources, ni à établir des priorités dans des outils comme le gestionnaire de ressources YARN.

RENTABILITÉ

Les utilisateurs ne paient que pour les ressources de calcul consommées dans le processus.