Datenmanagement

Welche wesentlichen Arten der Datenverwaltung gibt es?

Die Datenverwaltung ist eine breit angelegte Disziplin, die zahlreiche Elemente umfasst. Im Folgenden stellen wir einige gängige Beispiele für die Datenverwaltung vor:

• Datenarchitektur: Dies ist ein Framework (also eine Rahmenstruktur), das zeigt, wie Daten-Assets innerhalb eines Unternehmens strukturiert und verwaltet werden. Die Datenarchitektur schließt Modelle, Richtlinien, Standards und Regeln ein.
• Datenmodellierung: Datenmodelle sind optische Darstellungen des Datenflusses innerhalb einer Anwendung oder eines Unternehmens, wobei jedes Modell ein Dataset oder eine Beziehung repräsentiert. Dies hilft Benutzern, die Datenstruktur zu verstehen.
• Datenaufnahme: Die Datenaufnahme (auch Data Ingestion) in Pipelines umfasst die Verarbeitung von Daten mit dem Ziel, Fehler zu beheben, Duplikate zu entfernen und Datasets zusammenzuführen. ETL (Extract, Transform, Load) und ELT (Extract, Load, Transform) sind Beispiele für Datenpipelines, die zum Filtern, Zusammenführen und Formatieren von Daten verwendet werden, um sie nachfolgend für Analysen in den Bereichen Künstliche Intelligenz (KI) und Business Intelligence (BI) einzusetzen.
• Datenkatalogisierung: Durch das Erstellen eines Inventars Ihrer Datenressourcen können Sie die Durchsuchbarkeit dieser Ressourcen verbessern und die Zusammenarbeit zwischen den Benutzern erleichtern.
• Datenspeicherung: Unternehmen speichern ihre Daten meist in einem Data Warehouse (einem System zur Speicherung großer Mengen strukturierter Daten), einem Data Lake (einem zentralen Repository für strukturierte und unstrukturierte Daten) oder einem Data Lakehouse (einer Mischung aus Data Warehouse und Data Lake).
• Datenoptimierung und -pflege: Sobald sich Ihre Daten und Nutzungsmuster im Laufe der Zeit ändern, besteht die Gefahr, dass sich die Analyseleistungen verschlechtern. Um dauerhaft eine optimale Performance zu gewährleisten, brauchen Sie einen Plan für die Erfassung von Änderungen und den Umgang damit.

Die geschäftlichen Vorteile der Datenverwaltung

Organisationen haben heutzutage Zugang zu gewaltigen Datenmengen. Ohne eine solide Verwaltung tritt jedoch schnell eine Überforderung ein, und es entgehen Ihnen wertvolle Erkenntnisse und Chancen. Wenn der Umfang Ihrer Daten zunimmt, brauchen Sie eine Strategie, die die Verwaltung und Pflege der Daten während des gesamten Lebenszyklus regelt.

Effizienz und Integrität

Eine erfolgreiche Datenverwaltung führt zu optimierten Prozessen und Datenintegrität – beides Faktoren, die zur Verbesserung der Unternehmensleistung beitragen. Durch Implementierung geeigneter Strukturen und Systeme können Sie Ihre Daten weitaus effizienter organisieren und nutzen.

Zur Datenverwaltung gehören die Optimierung von Arbeitsabläufen und die Automatisierung wiederkehrender Aufgaben. Außerdem muss gewährleistet werden, dass die Daten an einem gut organisierten, zentralisierten Speicherort aufbewahrt werden. Dies sorgt für ein beschleunigtes Erfassen und Analysieren von Daten, und Sie vergeuden keine Zeit mit der Suche nach relevanten Informationen.

Wenn Sie die Qualität und Integrität Ihrer Daten sicherstellen können, ist die Gefahr von Duplikaten oder Lücken, die zu kostspieligen Fehlern und Projektverzögerungen führen, deutlich geringer. So werden Sie beispielsweise nicht mehr dadurch aus dem Konzept gebracht, dass mehrere Kopien einer Datei an verschiedenen Speicherorten auf unterschiedlichen Systemen existieren.

Neben dem Produktivitätsschub trägt ein besserer Datenzugriff dazu bei, die abteilungsübergreifende Zusammenarbeit und Kommunikation zu optimieren und Silos abzubauen.

Verlässlichkeit und Fehlerfreiheit

Mit einer guten Datenverwaltung und -pflege stellen Sie sicher, dass Ihre Informationen stets korrekt und verlässlich sind. Dank Methoden wie der Datenvalidierung und der Implementierung von Bereinigungsprozessen können Sie etwaige Fehler, Inkonsistenzen oder fehlende Werte finden und korrigieren.

Ein wichtiger Bestandteil der Datenverwaltung für das Lakehouse ist die Auswahl eines Formats, das vielseitig ist, sich an Datenänderungen anpassen kann und systemübergreifend interoperabel ist. Damit erhalten Sie größtmögliche Flexibilität bei der Nutzung von Analyse- und KI-Tools in Ihrem Unternehmen, ohne Benutzer auf neue Systeme umschulen oder migrieren zu müssen. Mit einem interoperablen Datenformat nutzen Sie eine einzige zentrale Kopie Ihrer Daten im gesamten Unternehmen. So minimieren Sie Datenduplikate, senken die Speicherkosten und tragen zu einer guten Datenhygiene bei.

All dies hat zur Folge, dass Sie sich auf die Daten verlassen können, wenn es darum geht, die richtigen Entscheidungen zu treffen. Aktuelle und korrekte Informationen verschaffen Ihnen einen besseren Einblick und ermöglichen es Ihnen, angemessen auf Marktveränderungen und neue Anforderungen von Kunden zu reagieren.

Datenschutz und Sicherheit

Ordnungsgemäß verwaltete Daten sind grundsätzlich sicherer und spielen eine wichtige Rolle für die Umsetzung von Data-Governance-Richtlinien. Während Data Governance unternehmensweite Richtlinien und Frameworks aufstellt, die Datenqualität und Auditing unterstützen, deckt die Datenverwaltung die technische und praktische Organisation der Daten ab.

Mit effektiver Datenverwaltung und Data Governance wissen Sie immer, wo sich Ihre Daten befinden, und wer auf sie zugreifen darf, ist klar geregelt. So lassen sich potenzielle Sicherheitslücken leichter erkennen, fehlende Informationen aufspüren und unbefugte Zugriffe verhindern, die zu Datenschutzverletzungen führen könnten.

Zur Datenverwaltung gehört auch das Implementieren von Sicherheitsprotokollen wie Verschlüsselung und Datenanonymisierung zum Schutz vor Cyberangriffen. Dies erstreckt sich über den gesamten Lebenszyklus der Daten in Ihrem System – bis hin zum Löschen von Unterlagen, deren gesetzliche Aufbewahrungsfrist abgelaufen ist. Indem Sie nur die notwendigen Kundendaten vorhalten und die Einwilligung Ihrer Kunden in die Speicherung dokumentieren, können Sie die Einhaltung von Datenschutzvorschriften und branchenspezifischen Regelungen sicherstellen.

Datenschutz und Datensicherheit schützen Ihr Unternehmen nicht nur vor Geldbußen, sondern auch vor der negativen Publicity, die Datenschutzverstöße mit sich bringen. Durch den Beleg, dass Sie Ihre Daten schützen, schaffen Sie Vertrauen aufseiten von Kunden und Geschäftspartnern.

Skalierbarkeit und Wiederherstellung

Ein weiterer Vorteil der Datenverwaltung besteht darin, dass sie eine Skalierung Ihres Unternehmens erleichtert. Dank besserer Transparenz und robuster Daten können Sie schnell Entscheidungen treffen, auf Veränderungen reagieren und neue Chancen ergreifen. Außerdem erhalten Sie einen besseren Einblick in die Vorlieben Ihrer Kunden und können neuen Investoren Wachstum und Potenzial vor Augen führen.

Eine höhere Effizienz – insbesondere bei automatisierten und reproduzierbaren Prozessen – erlaubt es Ihnen, Betriebskosten zu senken und bei Unternehmenswachstum auch die größeren anfallenden Datenmengen zu verarbeiten. Mit einer Cloud-Plattform für Datenverwaltungsdienste müssen Sie sich nicht um die Erweiterung des Datenspeichers kümmern.

Zu einer guten Datenverwaltung gehören auch zuverlässige Sicherungs- und Wiederherstellungsstrategien. Sie sorgen dafür, dass Sie im Falle eines Cyberangriffs oder eines Systemausfalls Ihre wichtigen Daten rasch wiederherstellen und die Ausfallzeiten minimieren können.

Welche Hindernisse stehen einer erfolgreichen Datenverwaltung im Wege?

Je größer Ihr Datenbestand wird, desto schwieriger wird es, den Überblick darüber zu behalten, wo die Daten gespeichert sind und wer auf sie zugreifen darf. Im Folgenden stellen wir einige der Hauptprobleme vor, mit denen Unternehmen konfrontiert sind:

Compliance

Die Datenverwaltung ist die technische Umsetzung Ihrer Data-Governance-Strategie. Im Umkehrschluss bedeutet dies, dass, wenn Sie die Governance-Strategie nicht richtig umsetzen, es schwieriger wird, die Daten zu verwalten.

Es gibt eine Vielzahl von Vorschriften zu beachten, wie z. B. die europäische Datenschutz-Grundverordnung (DSGVO), das US-amerikanische Datenschutzgesetz von 2018 oder den California Consumer Privacy Act (kalifornisches Verbraucherschutzgesetz). Zudem ändert sich die Compliance-Landschaft ständig, weshalb Sie immer am Ball bleiben müssen – auch und gerade, wenn Ihr Unternehmen international tätig ist.

Datensicherheit und Datenschutz

Auch hier gilt: Je mehr Daten Sie haben, desto schwieriger wird es, sie zu schützen. Wenn Ihre Datenverwaltungsrichtlinien nicht auf dem neuesten Stand sind, führen unstrukturierte Informationen zu Fehlern und nachlässiger Sicherheit. Doch bei den vielen täglich zu erledigenden Aufgaben geraten Sicherheit und Verschlüsselung manchmal in den Hintergrund.

Langfristig kann eine unsachgemäß vorgenommene Datenverwaltung zu Datenverlust oder vollständigen Systemausfällen führen. Dadurch entstehen für Ihr Unternehmen Risiken von Sicherheitsverstößen und Betriebsunterbrechungen (und damit einhergehenden Umsatzeinbußen). Die Nichteinhaltung von Sicherheits- und Datenschutzvorschriften kann Klagen und Geldbußen nach sich ziehen, ganz zu schweigen von der Schädigung des Rufs und dem Verlust des Vertrauens bei den Verbrauchern.

Datenintegration

Die meisten Unternehmen nutzen zur Erfassung und Speicherung ihrer Daten mehrere Systeme. Allerdings kann es schwierig sein, alle Daten zur Verarbeitung oder Analyse zusammenzuführen, wenn diese Systeme nicht gut integriert sind (was vor allem bei älteren Anlagen ein Problem darstellt). Wenn Sie jedoch beschließen, alle Ihre Daten auf einer zentralen Plattform oder in einem Repository zusammenzuführen, ist die Herausforderung noch größer!

Jede Anwendung und jedes Datenverwaltungstool nutzt eine andere Datenbankform, und es gibt unzählige verschiedene Datentypen und -formate. Deswegen müssen Sie, bevor Sie mit der Integration beginnen, dafür sorgen, dass die Daten formatiert und gegebenenfalls transformiert werden, denn nur so lassen sich Fehler bei Vergleich und Analyse vermeiden.

Datensilos und Anbieterbindung

Es ist schwierig, einen soliden Datenverwaltungsplan aufzustellen, wenn Ihre Daten wild verstreut sind. Außerdem entstehen durch die Aufbewahrung von Daten auf separaten Systemen Datensilos. Diese machen es schwieriger, die Konsistenz im gesamten Unternehmen aufrechtzuerhalten, einen unternehmensweiten Überblick über Ihre Daten zu erhalten und darauf zu vertrauen, dass die Datasets fehlerfrei sind.

Wenn sich Daten in verschiedenen Silos überschneiden, kann es passieren, dass Ressourcen vergeudet werden, weil zwei Teams die gleichen Daten analysieren. Silos sind auch schädlich für den Informationsaustausch und die Zusammenarbeit zwischen Abteilungen.

Weitere Probleme ergeben sich aus der mangelnden Datenportabilität. Oft ist es schwierig, Daten zwischen verschiedenen Umgebungen zu verschieben, weil die vorgehaltenen Daten in einem proprietären Anbieterformat vorliegen und daher nicht plattformübergreifend genutzt werden können.

Das bringt uns zum Problem der Anbieterbindung. Sie kann dazu führen, dass Sie ein Produkt nicht wechseln, weil dies Ihren Betrieb stören oder zu viel kosten würde. In diesem Fall sind Sie an Ihren jetzigen Anbieter gebunden, selbst wenn dieser keinen guten Service bietet.

Wie kann eine Datenverwaltungsplattform helfen?

Eine Datenverwaltungsplattform wie Databricks ist ein integriertes digitales System, das Ihnen hilft, umfangreiche Datenmengen für Analyse-, BI- und KI-Workloads unternehmensweit zu erfassen, zu organisieren und zu analysieren. Zu den häufigsten Anwendungsfällen gehören die Segmentierung von Zielgruppen, um Einblicke in das Kundenverhalten zu gewinnen, die Überwachung auf Finanzbetrug oder die präventive Adressierung von Schwankungen in der Lieferkette.

Diese Datenverwaltungssysteme zentralisieren Ihre Daten, sodass sie für alle Unternehmensangehörigen zugänglich sind und Silos und Inkonsistenzen vermieden werden. Sie bieten üblicherweise Datensicherheitsfunktionen wie Verschlüsselung, automatische Datensicherung und -wiederherstellung sowie ETL- und ELT-Funktionen und Tools für Data Governance und Metadatenverwaltung. Oft im Funktionsumfang enthalten sind auch Funktionen zur autonomen Datenpflege und -optimierung, um Ihre Speicherkosten niedrig und Ihre Abfrageleistung hoch zu halten.

Als Datenverwaltungsplattform kombiniert Databricks die besonderen Merkmale der Lakehouse-Architektur mit einer Data Intelligence Platform. Diese beruht auf KI-Modellen, die Ihre Daten wie auch deren Nutzung analysieren. Mit der Databricks Data Intelligence Platform erhalten Unternehmen Zugriff über natürliche Sprache, semantische Katalogisierung und Ermittlung, automatische Verwaltung und Optimierung sowie verbesserte Governance und erhöhten Datenschutz.

KI ist auch die Grundlage für die Funktion Predictive Optimization (vorausschauende Optimierung) in Databricks. Dieses Tool optimiert Ihre Daten automatisch, indem es Ihre Nutzungsmustern erlernt, auf deren Grundlage die besten Optimierungsmöglichkeiten voraussagt und dann die erforderlichen Maßnahmen ergreift. Dadurch wird sichergestellt, dass Sie nur Optimierungen durchführen, die einen hohen ROI bringen. Gleichzeitig werden dadurch die Speicherkosten gesenkt und eine gute Abfrageleistung aufrechterhalten.

Diese Funktionen tragen zur allgemeinen Datenqualität und zu zuverlässigen Datenpipelines über den gesamten Lebenszyklus der Datenverwaltung bei. Dasselbe gilt für die weiteren Eigenschaften, deren Basis DatabricksIQ bildet – eine Engine zum Erstellen hochspezialisierter und fehlerfreier GenAI-Modelle (generative KI), die Ihre Daten ebenso verstehen wie Ihre Geschäftsterminologie.

Garantierter Erfolg mit Best Practices für die Datenverwaltung

Die Datenverwaltung ist eine umfangreiche Aufgabe und niemals wirklich abgeschlossen. Im Folgenden beschreiben wir einige Möglichkeiten, wie Sie gewährleisten können, dass Ihre Datenverwaltung möglichst reibungslos funktioniert.

Geschäftsziele definieren

Es ist entscheidend, die unternehmensweiten Ziele zu kennen, denn nur so können Sie sicherstellen, dass Ihre Datenverwaltungsstrategie sich an diesen orientiert. So erkennen Sie, welche Datasets relevant sind und für welche Daten sich daher das Erfassen, Verwahren und Analysieren lohnt, um Ihre Datenverwaltungssoftware nicht zu überlasten.

Danach können Sie einen Plan entwickeln, der den Schwerpunkt auf die richtigen Daten und die wichtigsten KPIs legt. Welche Erkenntnisse sind für das Unternehmen insgesamt am wertvollsten? Sie können sich auch datenbezogene Ziele setzen, die zum Gesamterfolg des Unternehmens beitragen, z. B. eine Reduzierung der Datenduplizierung um 50 % innerhalb eines Jahres.

Datenqualität priorisieren

Die Nutzung hochwertiger Daten ist der einzige Weg, um verlässliche Erkenntnisse zu gewinnen und angemessene Entscheidungen zu treffen. Daher müssen Sie Ihre Daten vor der Nutzung aufbereiten und ihre Integrität sicherstellen. Die Datenaufbereitung umfasst das Bereinigen, Bearbeiten, Organisieren, Integrieren und Zusammenführen sowie das Testen der Daten. Diese Maßnahmen helfen Ihnen in der Summe dabei sicherzustellen, dass die Daten konsistent und fehlerfrei sind.

Weitere Schritte zur Verbesserung der Datenqualität sind die Schulung von Teammitgliedern in der korrekten Dateneingabe und die regelmäßige Prüfung auf Richtigkeit. Sie sollten in der Lage sein, alles zu erkennen, was fehlerhaft oder veraltet ist, und auf inkonsistente Formatierungen und Rechtschreibfehler achten, die die Ergebnisse beeinträchtigen.

Interoperabilität ermöglichen

Interoperabilität von Daten bedeutet, dass Sie Daten über verschiedene Systeme und Geschäftsprozesse hinweg austauschen und verarbeiten können – und zwar selbst dann, wenn sie in unterschiedlichen Formaten und an verschiedenen Speicherorten vorliegen. Dadurch erhalten Sie eine einheitliche Sicht auf Ihre Daten, die die Umsetzung einer angemessenen Datenverwaltung und Data Governance deutlich erleichtert.

Wie wir bereits festgestellt haben, sollten Sie die Bindung an einen bestimmten Anbieter vermeiden und Datenverwaltungslösungen den Vorzug geben, die formatübergreifend interoperabel sind.

Delta Lake UniForm (kurz für Delta Lake Universal Format) etwa setzt auf einem Open-Source-Speicher-Framework auf, das eine Liveansicht der Daten für alle Benutzer unabhängig vom jeweiligen Format bietet. Die nahtlose Vereinheitlichung der Tabellenformate hat zur Folge, dass Sie keine zusätzlichen Datenkopien erstellen müssen und keine Silos entstehen.

Datensicherheit gewährleisten

Erstellen Sie zunächst Richtlinien für Sicherheit und Governance, und schulen Sie Ihre Mitarbeiter im sicheren Umgang mit Daten. Sie können den Zugriff mit verschiedenen Berechtigungsstufen einschränken. Achten Sie dabei jedoch darauf, dass jeder Unternehmensangehörige Zugriff auf alle Daten hat, die er für seine Arbeit benötigt, und erklären Sie auch, warum Einschränkungen notwendig sind.

Entscheiden Sie sich für ein Datenverwaltungssystem mit robusten Sicherheitseinstellungen, nutzen Sie Datenverschlüsselungs- und Anonymisierungstechniken und löschen Sie Informationen, sobald Sie sie nicht mehr brauchen. Erstellen Sie mehrfache Sicherungskopien Ihrer Daten und legen Sie eine Strategie für den Umgang mit möglichen Datenschutzverletzungen fest.

Auf ständige Audits und Berichterstattung setzen

Es ist wichtig, regelmäßige Audits Ihrer Daten durchzuführen, um die Verlässlichkeit und Compliance zu gewährleisten und aussagekräftige Berichte zu erstellen. Die Datenberichterstattung gibt Aufschluss über die Entwicklung Ihres Unternehmens im Laufe der Zeit, und oft werden bei solchen Berichten auch Visualisierungen wie Diagramme und Tabellen in einem Online-Dashboard bereitgestellt. Zudem können Sie durch regelmäßige Berichte auf Anomalien prüfen und sich vergewissern, dass Ihre Daten einwandfrei sind.

Die Compliance-Berichterstattung gibt Aufschluss darüber, wie Sie Ihre eigenen Unternehmensdaten und die Daten Ihrer Kunden erfassen, speichern, nutzen und sichern. Damit können Sie belegen, dass Sie alle einschlägigen Anforderungen einhalten. Mit Analyseberichten dagegen können Sie eine Geschäftsstrategie oder einen Prozess analysieren und datengestützte Entscheidungen treffen, indem Sie qualitative und quantitative Daten verknüpfen.

Datenverwaltungsstrategie aufstellen

Auch und vor allem brauchen Sie einen Plan für Ihre Datenverwaltung. Diese Roadmap sollte genau regeln, wie Ihr Unternehmen Daten gemäß dokumentierter Prozesse sammelt, organisiert, nutzt und analysiert.

Die Strategie sollte Best Practices zur Umgehung verschiedener Schwierigkeiten bei der Datenverwaltung enthalten und offizielle Richtlinien und Arbeitsabläufe zur Gewährleistung der Konsistenz umfassen. Die Richtlinien sollten Datenverteilung, Sicherheit und Compliance abdecken und vorgeben, welche Tools verwendet werden dürfen.

So entwickeln Sie eine Datenverwaltungsstrategie

Natürlich sind jedes Unternehmen und seine Daten einzigartig: Es gibt keinen universellen Datenverwaltungsplan, der für alle gleichermaßen geeignet wäre. Die grundlegenden Schritte sind jedoch für die meisten Organisationen dieselben.

Führen Sie zunächst ein Audit oder eine Bewertung durch, um Ihre aktuelle Dateninfrastruktur zu evaluieren. Dies umfasst Datenquellen, Plattformen, Prozesse und Kompetenzen. Achten Sie dabei nicht nur auf Lücken und Sicherheitsrisiken, sondern führen Sie auch eine SWOT-Analyse durch, um Stärken und Schwächen aufzuzeigen.

Skizzieren Sie Ihre datenbezogenen Ziele und bringen Sie sie mit den übergeordneten Zielen in Einklang. Richten Sie Prozesse zur Erfassung und Aufbereitung von Daten ein, einschließlich Datentransformation und -bereinigung. Stellen Sie Regeln auf, um zu überprüfen, ob die Daten korrekt, vollständig und aktuell sind. Wie beispielsweise erkennen Sie unvollständige oder fehlerhafte Daten?

Fügen Sie Data-Governance-Richtlinien hinzu, damit die Daten im gesamten Unternehmen korrekt und einheitlich verwendet werden, und definieren Sie die Rollen und Zuständigkeiten der Benutzer. Vergessen Sie auch die Compliance nicht: In wessen Aufgabenbereich fällt die Überprüfung, ob die Kunden ihre Zustimmung zur Erfassung und Verwendung ihrer Daten gegeben haben?

Ebenfalls berücksichtigen müssen Sie die für Datenspeicherung, -verarbeitung und -analyse eingesetzte Technologie. Nehmen Sie sich genügend Zeit, um ein System zu finden, das Interoperabilität ermöglicht. Wie und wo werden Sie die Daten speichern, und wie werden Sie sie schützen? Sorgen Sie dafür, dass es für Teams einfach ist, zusammenzuarbeiten und Erkenntnisse aus Daten zu kommunizieren.

Informieren Sie alle Mitarbeiter über diese Richtlinien und bieten Sie umfassende Schulungen zur Erfassung, Nutzung und Absicherung von Daten an. Gegebenenfalls müssen Sie neue Fachkräfte mit Spezialkenntnissen in der Datenverwaltung einstellen oder externe Berater hinzuziehen, um die Umstellung zu beaufsichtigen. Vergewissern Sie sich, dass alle Beteiligten die Datenverwaltungsstrategie verstanden haben und wissen, welche Rolle sie dabei jeweils spielen.

Schließlich ist es wichtig, die Datenverwaltungsstrategie regelmäßig unter die Lupe zu nehmen und zu bewerten, um ihre Effektivität sicherzustellen. Es kann durchaus sein, dass Sie Anpassungen vornehmen müssen, wenn Leistung oder Fehlerfreiheit der Daten nicht stimmen.

Wie kann ein Data Lakehouse die Datenverwaltung verbessern?

Neben den oben erwähnten Best Practices können Sie Ihre Datenverwaltung auch durch den Einsatz eines Data Lakehouse verbessern. Und was ist ein Lakehouse? Ein Lakehouse ist eine Variante einer offenen Architektur, die die besten Eigenschaften von Data Lakes und Data Warehouses in sich vereint.

Während Warehouses sich hervorragend für strukturierte Daten eignen, sind sie für andere Datenarten – konkret unstrukturierte oder halbstrukturierte Daten – nicht geeignet (oder nicht wirtschaftlich). Dagegen dienen Data Lakes der Speicherung von Rohdaten in einer Vielzahl von Formaten, können aber weder Transaktionen unterstützen noch Datenqualität erzwingen. Lakehouses bieten das Beste aus beiden Welten.

Lakehouses nutzen Datenverwaltungsfunktionen, die denen eines Data Warehouse ähneln, setzen aber direkt auf kostengünstigem Cloud-Speicher in offenen Formaten auf. Dadurch sind sie skalierbar und erlauben das Speichern, Aufbereiten, Analysieren und Abrufen einer breiten Palette von Datentypen. So können Ihre Teams Daten nutzen, ohne auf mehrere Systeme zugreifen zu müssen, und auch das Problem der Silobildung entfällt.

Die Databricks Data Intelligence Platform ist ein einheitliches System, das auf einer Lakehouse-Architektur aufbaut. Das bedeutet, dass es eine zentrale Architektur für Integration, Speicherung, Verarbeitung, Governance, Austausch, Analytics und KI gibt.

Die Plattform umfasst die Delta Lake UniForm-Funktion, die Datenportabilität und Interoperabilität ermöglicht und auch die Möglichkeit bietet, zwischen offenen Tabellenformaten zu wechseln. Sie müssen sich keine Sorgen um Anbieterbindung oder geschlossene Ökosysteme mehr machen, und Ihre Daten bleiben stets unter Ihrer Kontrolle. Dadurch wird die Datenverwaltung zum Kinderspiel.