Kontinuierliche Anwendungen

Kontinuierliche Anwendungen sind End-to-End-Anwendungen, die in Echtzeit auf Daten reagieren. Entwickler möchten eine einzige Programmierschnittstelle verwenden, um die Facetten kontinuierlicher Anwendungen zu unterstützen, die derzeit in separaten Systemen abgewickelt werden, z. B. Abfragebereitstellung oder die Interaktion mit Batchjobs. Unten finden Sie ein Beispiel für kontinuierliche Anwendungen, die die folgenden Anwendungsfälle verarbeiten können.

• Aktualisierung der Daten, die in Echtzeit bereitgestellt werden. Der Entwickler würde eine einzelne Spark-Anwendung schreiben, die sowohl Aktualisierungen als auch Bereitstellung abwickelt (z. B. über den JDBC-Server von Spark), oder er würde eine API verwenden, die automatisch Transaktionsaktualisierungen auf einem Bereitstellungssystem wie MySQL, Redis oder Apache Cassandra durchführt.
• Extract, Transform, Load (ETL; Extrahieren, Transformieren, Laden). Der Entwickler würde einfach die erforderlichen Transformationen wie bei einem Batchjob auflisten und das Streaming-System würde die Koordination mit beiden Speichersystemen übernehmen, um eine genau einmalige Verarbeitung sicherzustellen.
• Erstellen einer Echtzeit-Version eines vorhandenen Batchjobs. Das Streaming-System würde garantieren, dass die Ergebnisse immer mit einem Batchjob auf denselben Daten konsistent sind.
• Online Machine Learning. Eine Machine Learning Library (MLlib) ist so konzipiert, dass sie Echtzeit-Training, periodisches Batch-Training und Vorhersagebereitstellung hinter derselben API kombiniert.