Delta Live Tables mit Apache Kafka

Wie auf der Current.io 2022-Konferenz in Austin (Kafka-Summit der nächsten Generation) gezeigt, erläutert diese Live-Demo, wie die Databricks Lakehouse-Plattform das Daten-Streaming vereinfacht, um Streaming-Analytics und Streaming-Anwendungen auf einer zentralen Plattform bereitzustellen. Erfahren Sie, wie Sie latenzarme Streaming-Datenpipelines erstellen, die mit Daten von einem Message Bus wie Confluent Cloud, Apache Kafka oder jedem anderen Kafka-kompatiblen Cloud-Service (wie z. B. Amazon MSK) gespeist werden. Die gleichen Prinzipien können zum Erfassen von Daten aus Amazon Kinesis verwendet werden. Der gesamte Konferenzvortrag von Frank Munz erstreckt sich von Spark in Databricks über Spark Structured Streaming mit Delta Lake bis hin zu Delta Live Tables. Folien, Code und ein Blogpost sind verfügbar.