Der neue Microsoft Azure Data Warehouse Service und Azure Databricks kombinieren Analytics, BI und Data Science

Lesen Sie „Rise of the Data Lakehouse“, und erfahren Sie von Bill Inmon, dem Vater des Data Warehouse, warum Lakehouses die Datenarchitektur der Zukunft sind.

In den letzten zwei Jahren, seitdem es erstmals verfügbar ist, haben Tausende von Unternehmen Azure Databricks eingeführt, was es zu einem der am schnellsten wachsenden Daten- und KI-Dienste auf Microsoft Azure macht. Kunden verarbeiten jetzt über 2 Exabyte pro Monat, wobei täglich Millionen von Serverstunden anfallen. All dies wird von Organisationen wie Electrolux, Shell und renewables.AI vorangetrieben, die Azure Databricks verwenden, um Daten in massivem Umfang für Data Science und Analysen zu verarbeiten.

Im Rahmen dieser beeindruckenden Verbreitung ist eine besondere Lösungsarchitektur hervorzuheben: das Modern Data Warehouse (MDW). Anfang dieses Jahres haben wir über die Performance- und Scale-Vorteile dieser Lösung geschrieben. Ein Teil des Erfolgs dieses Musters ist unsere enge Integration mit Azure SQL Data Warehouse über einen Hochleistungsconnector, der gemeinsam entwickelt wurde, um das Verschieben von Daten zwischen den beiden Diensten schnell und einfach zu gestalten.

Drei Möglichkeiten der Zusammenarbeit von Azure Databricks mit Azure Synapse Analytics

Heute hat Microsoft die nächste Evolutionsstufe seines Data-Warehouse -Dienstes angekündigt: Azure Synapse Analytics. Das sind aufregende Neuigkeiten und wir arbeiten weiterhin eng mit Microsoft zusammen, um eine Integration mit Azure Synapse zu realisieren und Analysen, Business Intelligence (BI) und Data Science in einer einzigen Lösungsarchitektur zusammenzuführen. Hier sind drei wichtige Möglichkeiten, wie Azure Databricks mit Azure Synapse zusammenarbeitet:

1.  
   1. Der leistungsstarke Konnektor zwischen Azure Databricks und Azure Synapse ermöglicht eine schnelle Datenübertragung zwischen den Services und unterstützt auch Streaming-Daten. Das bedeutet, dass Kunden Azure Databricks (bis zu 50-mal schneller als Open-Source-Apache-Spark) weiterhin für ETL-Workloads (Extrahieren, Transformieren und Laden) nutzen können, um Daten für Azure Synapse im großen Stil aufzubereiten und zu strukturieren.
   2. Azure Data Factory (ADF) unterstützt Azure Databricks in dem Mapping Data Flows Feature. Dies bietet codefreies, visuelles ETL für die Datenaufbereitung und -Transformation in großem Scale. Da ADF jetzt Teil des Azure Synapse-workspace ist, stellt dies eine weitere Möglichkeit dar, auf diese Funktionen zuzugreifen.
   3. Azure Synapse und Azure Databricks können Analysen für dieselben Daten in Azure Data Lake Storage ausführen. Dies eröffnet noch größere Möglichkeiten, Analytics-, BI- und Data-Science-Lösungen mit einem gemeinsam genutzten Data Lake dienstübergreifend zu kombinieren.

Wir würden uns über Ihr Feedback freuen, wenn Sie beginnen, Azure Databricks und Azure Synapse in der nächsten Evolutionsstufe der modernen Data-Warehouse-Lösungsarchitektur zu nutzen.