Apache SparkTM und Databricks im Vergleich


Apache Spark-Funktionen sind schnell, anwenderfreundlich, bieten zahlreiche Vorteile und beinhalten APIs, die eine Reihe von Anwendungsfällen unterstützen:
  • Datenintegration und ETL
  • Interaktive Analysen
  • Machine Learning und erweiterte Analysen
  • Datenverarbeitung in Echtzeit

v


Databricks basiert auf Spark und bietet zusätzlich:
  • Überaus zuverlässige und leistungsstarke Daten-Pipelines
  • Produktive Data Science, unabhängig von der Datenmenge

Want to learn more? Visit our platform page.

Funktionsvergleich

Databricks

Mehr Infos

 Ja Nein
Ausführung mehrerer Spark-Versionen Ja Nein
Integriertes Dateisystem, das für den Zugriff auf den Cloud-Speicher optimiert ist (AWS S3, Redshift, Azure Blob) Ja Nein
Datenpools ohne Server-Abhängigkeit für die automatische Konfiguration von Ressourcen für SQL- und Python-Workloads Ja Nein
In Spark integrierte präzise Ressourcen-Aufteilung für optimale Nutzung Ja Nein
Fehlerisolation von Rechenressourcen Ja Nein
Schnelleres Schreiben von Daten in S3 Ja Nein
Rechenoptimierung bei Verbindungen und Filtern Ja Nein
Schnelle Release-Zyklen Ja Nein
Automatische Skalierung von Berechnungen Ja Nein
Automatische Skalierung von lokalen Speichern Ja Nein
Hohe Verfügbarkeit für Cluster Ja Nein
Cluster-Freigabe für mehrere Benutzer Ja Nein
Automatische Migration zwischen Spot- und On-Demand-Instanzen Ja Nein
Sekundengenaue Abrechnung Ja Nein

Ja Nein

ACID-Transaktionen Ja Nein
Schema-Verwaltung Ja Nein
Support von Lese-/Schreibzugriff für Batch-/Streaming-Anwendungen Ja Nein
Versionierung von Daten Ja Nein
Leistungsoptimierungen Ja Nein

Ja Nein
Interaktive Notebooks mit Support für mehrere Programmiersprachen (SQL, Python, R und Scala) Ja Nein
Zusammenarbeit in Echtzeit Ja Nein
Überarbeitungsverlauf und GitHub-Integration für Notebooks Ja Nein
Visualisierungen mit einem Klick Ja Nein
Veröffentlichung von Notebooks als interaktive Dashboards Ja Nein

Ja Nein
Warnmeldungen für überwachte Jobs in Spark Ja Nein
Ein-Klick-Bereitstellung von Notebooks für Spark-Jobs Ja Nein
APIs zur Entwicklung von Workflows in Notebooks Ja Nein
Produktions-Streaming mit Monitoring Ja Nein

Mehr Infos

 Ja Nein
Zugriffskontrolle für Notebooks, Cluster, Jobs und strukturierte Daten Ja Nein
Audit-Logs Ja Nein
SSO mit SAML 2.0-Unterstützung Ja Nein
Datenverschlüsselung (während der Speicherung und der Übertragung) Ja Nein
Compliance (HIPAA, SOC 2-Typ 2) Ja Nein

Ja Nein
Verbindung anderer BI-Tools über authentifizierte ODBC/JDBC (Tableau, Looker usw.) Ja Nein
REST-API Ja Nein
Konnektoren für Datenquellen Ja Nein

Ja Nein
Hilfe und Support von den Programmierern, die Spark entwickeln Ja Nein
SQL-Support Ja Nein

Weitere Ressourcen

Benchmarking von Big Data-SQL-Plattformen in der Cloud

Blog

 

So konnte Hotels.com die Menge der analysierten Daten ohne Leistungseinbußen um das 20-fache steigern

Kundenbericht

 

Managed Delta Lake: Das Beste aus Data Lakes, Warehouses und Streaming-Systemen.

Demo