Structured Streaming

Structured Streaming ist eine High-Level-API für die Verarbeitung von Streams, die mit Spark 2.2 produktionsreif wurde. Mit Structured Streaming stehen Ihnen die Operationen, die Sie im Batch-Modus mithilfe der strukturierten Spark-APIs durchführen, im Streaming-Verfahren zur Verfügung. Das reduziert die Latenz und ermöglicht eine inkrementelle Verarbeitung. Der Clou an Structured Streaming ist, dass Sie damit praktisch ohne Codeänderungen schnell und einfach einen Mehrwert aus Streaming-Systemen generieren können. Außerdem können Sie Ihren Batch-Job als Prototyp schreiben und ihn dann in einen Streaming-Job umwandeln, was Prüfung und Optimierung vereinfacht. Die schrittweise Verarbeitung der betreffenden Daten macht es möglich.