Delta Lake UniForm
Leistungsstarker, formatunabhängiger Speicher für Ihr Open-Data-Lakehouse
Delta Lake UniForm vereinheitlicht die Daten in Ihrem Lakehouse format- und typenübergreifend für alle Ihre Analytics- und AI-Workloads.
Formatübergreifend offen
Nutzen Sie Ihre vorhandenen Analytics- und AI-Tools, unabhängig vom offenen Datenformat. UniForm übersetzt automatisch und schnell zwischen Formaten. So können Sie Ihren bevorzugten Iceberg- oder Hudi-Client verwenden, um Ihre Delta-Tabellen über den Unity Catalog-Endpunkt zu lesen. Mit UniForm bleiben Ihre Daten portabel – es gibt keine Anbieterbindung.
Übergreifend vernetzt über Ökosysteme hinweg
Delta Lake umfasst ein riesiges Connector-Ökosystem und unterstützt eine große Anzahl von Frameworks und Sprachen. Delta Sharing ist das branchenweit erste offene Protokoll für sichere Datenfreigaben. Mit Delta Sharing wird der Datenaustausch mit anderen Organisationen zum Kinderspiel – ganz gleich, wo die Daten gespeichert sind. Dank der nativen Integration mit Unity Catalog können freigegebene Daten organisationsübergreifend zentral verwaltet und geprüft werden. Teilen Sie Datenbestände vertrauensvoll mit Lieferanten und Partnern, um Unternehmensabläufe besser zu koordinieren und Sicherheits- und Compliance-Anforderungen zuverlässig zu erfüllen. Außerdem ermöglicht die Integration mit führenden Lösungen und Plattformen es Ihnen, freigegebene Daten aus den Tools Ihrer Wahl zu visualisieren, abzufragen und anzureichern und eine ordnungsgemäße Governance zu gewährleisten.
„Uns bei M Science bietet Delta Lake UniForm die Flexibilität, eine einzige Kopie unserer Daten zu schreiben,die von jeder Engine abgefragt werden kann, die Delta oder Iceberg unterstützt. Das ist der Schlüssel zur Kostensenkung und schnelleren Wertschöpfung.“
Schnelle und zuverlässige Performance
Delta Lake bietet enorme Skalierbarkeit und Geschwindigkeit: Das Laden von Daten und Abfragen erfolgt bis zu 1,7 Mal schneller als bei anderen Speicherformaten. Delta Lake wird von über 10.000 Kunden in der Produktion eingesetzt und kann über 40 Mio. Ereignisse pro Sekunde in einer einzelnen Pipeline verarbeiten. Jeden Tag werden mit Delta Lake mehr als 5 Exabyte Daten verarbeitet.
Wenn UniForm für Delta Lake-Tabellen aktiviert ist, wird die Abfrageleistung nicht durch das Schreiben von Metadaten in anderen Formaten eingeschränkt. UniForm-Tabellen erzielen eine Leseleistung, die mit proprietären Formaten in ihren nativen Engines vergleichbar ist.
Optimales Preis-Leistungs-Verhältnis dank KI
Die Databricks Data Intelligence Platform optimiert Ihre Daten passend zu Ihren Nutzungsmustern. Auf der Grundlage von DatabricksIQ, der Data-Intelligence-Engine für Databricks, sorgen KI-gesteuerte Leistungsverbesserungen automatisch für Verwaltung, Konfiguration und Optimierung Ihrer Daten.
Mit Liquid Clustering erhalten Sie die Leistung einer gut abgestimmten, optimal partitionierten Tabelle ohne die mit der Partitionierung traditionell einhergehenden Probleme, wie etwa die Frage, ob Spalten mit hoher Kardinalität partitioniert werden können, oder teure Rewrites beim Ändern von Partitionsspalten. Das Ergebnis sind rasend schnelle, sauber geclusterte Tabellen mit minimalem Konfigurationsaufwand.
Predictive Optimization optimiert Ihre Daten automatisch für das bestmögliche Preis-Leistungs-Verhältnis. Die Funktion lernt aus Ihren Datennutzungsmustern, erstellt einen Plan für die passenden Verbesserungen und führt diese dann auf einer hyperoptimierten serverlosen Infrastruktur aus.
„Die Predictive Optimizations von Databricks haben unseren Unity Catalog-Speicher intelligent optimiert. Wir sparen dadurch 50 % der jährlichen Speicherkosten ein und konnten gleichzeitig unsere Abfragegeschwindigkeit mehr als verdoppeln. Das System hat gelernt, unsere größten und am häufigsten abgerufenen Tabellen zu priorisieren. Und vor allem hat es das alles automatisch gemacht, was unserem Team wertvolle Zeit sparte.“
Sicherheit und Governance im großen Maßstab
Delta Lake erlaubt eine hochdifferenzierte Zugriffssteuerung für die Data Governance – eine Funktionalität, die bei Data Lakes normalerweise nicht gegeben ist – und trägt so zur Risikominderung bei. Daten in Ihrem Data Lake können schnell und sorgfältig geändert werden, um Regelungen wie etwa die DSGVO einzuhalten und durch Audit-Protokollierung eine bessere Data Governance zu gewährleisten. Diese Funktionen sind in Databricks als Bestandteil von Unity Catalog – des ersten Multi-Cloud-Datenkatalogs für das Lakehouse – nativ integriert und erweitert.
Automatisiertes und vertrauenswürdiges Data Engineering
Mit Delta Live Tables wird das Data Engineering zum Kinderspiel: Noch nie war es so einfach, Daten-Pipelines für aktuelle und hochwertige Daten in Delta Lake zu erstellen und zu verwalten. Delta Live Tables unterstützt Data-Engineering-Teams beim Erstellen der Grundlage des Lakehouse. Die Lösung vereinfacht die ETL-Entwicklung und -Verwaltung durch deklarative Pipeline-Entwicklung, höhere Datenzuverlässigkeit und einen Produktionsbetrieb im Cloud-Maßstab.
Anwendungsfälle
BI für Ihre Daten
Führen Sie Business-Intelligence-Workloads direkt auf Ihrem Data Lake aus, um neue Echtzeitdaten sofort für die Abfrage durch Data Analysts bereitzustellen und aktuellste Erkenntnisse zu Ihrem Unternehmen zu gewinnen. Mit Delta Lake können Sie eine Multicloud-Lakehouse-Architektur betreiben, die Data-Warehousing-Leistung zum günstigen Data-Lake-Preis bietet. Profitieren Sie von einem bis zu 6-mal besseren Preis-Leistungs-Verhältnis für SQL-Workloads im Vergleich zu herkömmlichen Cloud-Data-Warehouses.
Batch und Streaming zusammenführen
Vergessen Sie komplexe und redundante Systeme oder betriebliche Herausforderungen: Führen Sie Batch- und Streaming-Operationen ganz unkompliziert auf derselben vereinfachten Architektur aus. In Delta Lake ist eine Tabelle sowohl Batch-Tabelle als auch Streaming-Quelle und -Senke. Ob Erfassung von Streaming-Daten, zeitlich versetzter Batch-Abgleich oder interaktive Abfragen: Alles funktioniert von Anfang an erwartungsgemäß und mit direkter Integration in Spark Structured Streaming.
Gesetzliche Anforderungen erfüllen
Delta Lake beseitigt sämtliche Probleme beim Erfassen fehlerhaft formatierter Daten, beim Compliance-bedingten Löschen von Daten und beim Ändern von Daten für die Datenänderungserfassung (Change Data Capture, CDC). Dank Unterstützung von ACID-Transaktionen an Ihrem Data Lake sorgt Delta Lake dafür, dass jede Operation entweder vollständig abgeschlossen oder – für spätere Wiederholungen – vollständig zurückgenommen wird, ohne dass neue Daten-Pipelines erstellt werden müssten. Außerdem zeichnet Delta Lake alle vergangenen Transaktionen an Ihrem Data Lake auf. Das macht den Zugriff auf frühere Versionen Ihrer Daten zum Kinderspiel und erlaubt die zuverlässige Erfüllung von Compliance-Standards wie DSGVO und CCPA.
Mehr entdecken
Kunden
„Dank Databricks konnten wir unsere Time-to-Market deutlich reduzieren und bekamen genau die Analysefunktionen und den betrieblichen Schub, die wir brauchten, um den aktuellen Anforderungen im Gesundheitswesen gerecht zu werden.“
– Peter James, Chief Architect, Healthdirect Australia
„Allein durch den Einsatz von Databricks und Delta Lake konnten wir Daten bereits umfassend demokratisieren und gleichzeitig die Kosten für die Ausführung von Produktions-Workloads um 60 % senken. So haben wir mehrere Millionen Dollar eingespart.“
– Steve Pulec, Chief Technology Officer, YipitData
„Delta Lake bietet ACID-Funktionen, mit denen sich der Betrieb von Daten-Pipelines vereinfachen lässt. Dadurch konnten wir die Zuverlässigkeit der Pipelines und die Datenkonsistenz verbessern. Gleichzeitig ermöglichen Funktionen wie Caching und Auto-Indizierung einen effizienten und leistungsstarken Zugriff auf die Daten.“
– Lara Minor, Senior Enterprise Data Manager, Columbia Sportswear
„Dank Delta Lake konnten wir die Verwaltung unserer Daten-Pipelines verschlanken. Das hat zur Senkung der Betriebskosten beigetragen und gleichzeitig die Time-to-Insight für nachgelagerte Analytik und Data Science beschleunigt.“
– Parijat Dey, Assistant Vice President of Digital Transformation and Technology, Viacom18
