Managed Spark

Was ist Managed Spark?

Mit einem Managed Spark-Service können Sie die Vorteile von Open-Source-Datentools für Batch-Verarbeitung, Abfragen, Streaming und Machine Learning nutzen. Mithilfe einer solchen Automatisierung können Sie bei Bedarf rasch Cluster erstellen, diese bequem verwalten und nach Erledigung der Aufgabe einfach wieder abschalten. Benutzer können Cluster zudem nach Workload oder Performance-Anforderungen oder auf der Grundlage der vorhandenen Ressourcen dimensionieren. Ferner erhalten Sie Zugang zu vollständig verwalteten Spark-Clustern, die Sie in wenigen Sekunden dynamisch hoch- und herunterskalieren können. Das ist sogar bei laufender Jobverarbeitung möglich. Darüber hinaus können Benutzer die Cluster abschalten, wenn sie nicht mehr gebraucht werden, und so bares Geld sparen. Managed Spark-Anbieter legen zeitlich begrenzte Cluster an, statt Bereitstellungen zu erstellen und einen Cluster für alle Ihre Jobs vorzuhalten. Normalerweise verwenden sie einen Rechner-Cluster, der einen Master-Knoten und Worker umfasst. Statt also wertvolle Ressourcen für den Betrieb aufzuwenden, können Unternehmen sich nun voll und ganz der Wertschöpfung aus ihren Daten widmen.

Vorteile der Verwendung eines Managed Spark-Service:

Automatisiertes Cluster-Management

Dank der verwalteten Implementierung, Protokollierung und Überwachung entsprechend den Anforderungen des jeweiligen Jobs können Sie sich voll und ganz auf Ihre Daten konzentrieren, statt sich um den Cluster kümmern zu müssen. Ihre Cluster werden stabil, skalierbar und schnell sein.

Veränderbare Cluster-Größen

Bislang waren Aufbau und Konfiguration von Spark-Clustern ressourcenintensiv. Damit ist jetzt Schluss, da Cluster im Handumdrehen erstellt und skaliert werden können. Knoten werden aufgelöst, sobald sie nicht mehr gebraucht werden. Alles wird nach Bedarf erledigt.

Entwickler-Tools

Normalerweise gibt es mehrere Möglichkeiten zur Verwaltung eines Clusters.

Automatische oder manuelle Konfiguration

Hardware und Software auf Clustern werden automatisch konfiguriert, erlauben aber auch weiterhin eine manuelle Konfiguration.

Einfaches Management

Sie müssen sich künftig nicht mehr um die Verwaltung des Clusters oder die Ressourcenzuweisung kümmern oder mithilfe von Tools wie dem YARN Resource Manager Prioritäten setzen.

KOSTENEFFIZIENT

Benutzer zahlen ausschließlich für die Rechenleistung, die während des Vorgangs tatsächlich in Anspruch genommen wird.