Lambda-Architektur

Was ist eine Lambda-Architektur?

Lambda-Architekturen sind eine Methode zur Verarbeitung großer Datenmengen (d. h. „Big Data“), die mit einem hybriden Ansatz Zugang zu Batch- und Stream-Verarbeitungsmethoden bietet. Mithilfe einer Lambda-Architektur lässt sich das Problem der Berechnung beliebiger Funktionen lösen. Lambda-Architekturen selbst bestehen aus drei Schichten:

Batch-Schicht

Neue Daten werden kontinuierlich in das Datensystem eingespeist. Sie werden gleichzeitig an die Batch- und die Speed-Schicht weitergeleitet. Alle Daten werden gleichzeitig betrachtet und schließlich in der Streaming-Schicht korrigiert. Hier finden wir viel ETL und ein traditionelles Data Warehouse. Diese Schicht wird nach einem vordefinierten Zeitplan erstellt – in der Regel ein- oder zweimal pro Tag. Die Batch-Schicht erfüllt zwei sehr wichtige Funktionen:

• Sie verwaltet das Stamm-Dataset.
• Sie berechnet die Batch-Ansichten voraus.

Bereitstellungsschicht

Die Ausgaben der Batch-Schicht in Form von Batch-Ansichten und die der Speed-Schicht in Form von Quasi-Echtzeit-Ansichten werden an die Bereitstellung weitergeleitet. Diese Schicht indiziert die Batch-Ansichten, sodass sie mit geringster Latenz ad-hoc abgefragt werden können.

Speed-Schicht (Streaming-Schicht)

Diese Schicht verarbeitet die Daten, die aufgrund der Latenzzeit der Batch-Schicht nicht bereits in der Batch-Ansicht bereitgestellt werden. Außerdem werden hier nur aktuelle Daten bearbeitet, um dem Benutzer durch die Erstellung von Echtzeitansichten einen vollständigen Überblick über die Daten zu vermitteln.

Vorteile von Lambda-Architekturen

Nachfolgend finden Sie die wichtigsten Vorteile von Lambda-Architekturen:

• Keine Serververwaltung: Sie müssen Software weder installieren noch warten oder verwalten.
• Flexible Skalierung: Ihre Anwendung kann entweder automatisch oder durch Anpassung der Kapazität skaliert werden.
• Automatisierte Hochverfügbarkeit: Bezeichnet die Tatsache, dass serverlose Anwendungen bereits über integrierte Verfügbarkeit und Fehlertoleranz verfügen. Sie bietet die Garantie dafür, dass alle Anfragen beantwortet werden, ganz gleich, ob sie erfolgreich waren oder nicht.
• Business Agility: Sie können in Echtzeit auf geänderte Geschäfts- und Marktszenarien reagieren.

Mögliche Schwierigkeiten bei Lambda-Architekturen

• Komplexität: Lambda-Architekturen können sehr komplex sein. Administratoren müssen in der Regel zwei getrennte Codebasen für die Batch- und die Streaming-Schicht pflegen, was die Fehlersuche erschweren kann.

Verwandte Themen

Delta Lake: Einheitliche Batch- und Streaming-Quelle und -Senke