Datenmigration

Warum führen Unternehmen eine Datenmigration durch?

Unternehmen führen in der Regel dann eine Datenmigration durch, wenn sie veraltete Software und Hardware ersetzen oder ihre Anwendungen in ein einziges System konsolidieren möchten. Vielleicht möchten Sie beispielsweise Ihre Datenplattform vereinfachen, indem Sie von einem unternehmensweiten Data Warehouse oder einem herkömmlichen Data Lake zur Databricks Data Intelligence Platform migrieren.

Nachstehend finden Sie einige typische Begründungen für die Datenmigration:

• Bestehende Speichersysteme ersetzen, aufrüsten und erweitern
• Neue und bestehende Systeme integrieren, die dasselbe Dataset nutzen
• Das Unternehmen für eine Fusion oder Übernahme reorganisieren
• Informationssysteme konsolidieren
• Daten für die Analyse aufbereiten
• Datenbanken und Geschäftsdaten zentralisieren
• Bestandsdaten archivieren
• Speicher- und Betriebskosten reduzieren
• In ein sichereres Rechenzentrum umziehen
• Compliance bei der Datenverarbeitung optimieren
• Den Energieverbrauch reduzieren und die Ökobilanz verbessern

Welche Arten der Datenmigration gibt es?

Es gibt verschiedene Arten der Datenmigration, und oft führen Unternehmen je nach ihren geschäftlichen Anforderungen mehrere davon durch. Betrachten wir die wichtigsten Vorgehensweisen zur Datenmigration.

Speicher

Bei der Speichermigration werden Daten von einem Speicherort zu einem anderen übertragen, z. B. von einem hardware- auf einen cloudbasierten Speicher oder von einer Festplatte auf ein Solid-State-Laufwerk. Das neue Speichergerät kann sich dabei im selben Gebäude oder in einem externen Rechenzentrum befinden. Bei einer solchen Migration werden Inhalt oder Format der Daten normalerweise nicht verändert.

Datenbank

Hierunter versteht man das Verschieben Ihrer Datenbankdateien auf eine neue Plattform, wobei es sich üblicherweise um ein neues Datenbankmanagementsystem (DBMS) handelt. Möglich ist auch das Überführen von Daten von der aktuellen Version Ihres DBMS auf eine aktualisierte Version. Dieser Vorgang erfordert häufig eine Datenkonvertierung, weswegen er komplexer ist als eine Speichermigration.

Anwendung

Bei der Anwendungsmigration übertragen Sie eine Anwendung oder ein Programm von einer Computerumgebung in eine andere, z. B. von einem veralteten Computersystem in ein moderneres, optimiertes Netzwerk. Hierbei können sowohl Datenbank- als auch Speichermigrationen stattfinden. Normalerweise geschieht dies, wenn die bestehende Softwareplattform geändert wird oder ein Unternehmen sich entscheidet, seine Software oder einen Anbieter zu wechseln.

Cloud

Bei der Cloud-Migration werden Daten (oder Anwendungen) von einem On-Premises-Speicherort in die Cloud oder aber zwischen verschiedenen Cloud-Umgebungen verschoben. Sie können sich dafür entscheiden, alle oder aber nur einige Daten, Anwendungen und Dienste zu verschieben. Unternehmen tun dies in der Regel, um Kosten zu senken und ihre Daten zu zentralisieren.

Geschäftsprozesse

Bei diesem Migrationstyp transferieren Sie Geschäftsanwendungen und etwaige Daten zu Geschäftsprozessen – etwa Kunden-, Produkt- und Betriebsinformationen – in eine neue Umgebung. Dies geschieht in der Regel, um Prozesse zu optimieren und die Verwaltung eines Unternehmens zu rationalisieren.

Die beiden Strategien der Datenmigration

Was ist eine Datenmigrationsstrategie? Eine Datenmigrationsstrategie ist der Gesamtplan für die Durchführung des Migrationsprozesses. Am Anfang steht dabei die Entscheidung für einen der folgenden Ansätze.

Big-Bang-Migration

Hierbei werden alle Daten innerhalb eines bestimmten Zeitraums in einem Arbeitsgang in die Zielumgebung übertragen. Der Vorteil besteht darin, dass es schnell geht und daher kostengünstiger ist (vorausgesetzt, alles läuft nach Plan). Allerdings bedeutet es auch, dass während der Migration alle Systeme heruntergefahren werden und nicht verfügbar sind. Kleine Unternehmen mit begrenzten Datenbeständen können dies vielleicht tun, indem sie die Daten an einem Wochenende oder Feiertag migrieren.

Trickle-Migration

Dies ist eine schrittweise erfolgende oder iterative Migration. Dabei wird die Migration in Einzelphasen mit jeweils eigenem Umfang und Zeitrahmen gegliedert. Die Daten werden in kleinen Schritten übertragen und das alte System läuft während des gesamten Vorgangs weiter. Zwar entfallen hierbei Ausfallzeiten, und auch die Risiken sind geringer; gleichzeitig jedoch ist dieser Ansatz komplexer, zeitaufwendiger und kostspieliger, da Sie sicherstellen müssen, dass die Benutzer zwischen den beiden Systemen wechseln können.

Welches sind die häufigsten Schwierigkeiten bei der Datenmigration?

Obwohl die Datenmigration viele Vorteile mit sich bringt, gibt es auch einige Hindernisse, derer Sie sich bewusst sein müssen.

Datenbeschädigung oder -verlust

Eines der häufigsten Risiken bei der Datenmigration ist der Datenverlust. Informationen können aufgrund von automatischer Kürzung, Formatinkompatibilitäten, unbekannten Validierungseinstellungen oder Netzwerkstörungen verloren gehen. Wenn Sie die Quelldaten nicht sorgfältig vorbereiten und formatieren und dabei Datenabhängigkeiten und Semantik berücksichtigen, kann es zu Lücken, Fehlern oder Duplikaten in Ihren Daten kommen, sobald diese im neuen System vorhanden sind.

Geschäftskontinuität und unerwartete Kosten

Wenn Sie den Big-Bang-Ansatz wählen, sind Ihre Systeme für eine gewisse Zeit nicht verfügbar, was natürlich Auswirkungen auf Ihr Geschäft hat. Auch wenn die Migration länger dauert als vorgesehen, wirkt sich dies auf Geschäftskontinuität und Budget aus. Und wenn die Migration fehlschlägt, kann es richtig teuer werden.

Data Governance und Sicherheit

Die Migration stellt ein Risiko für Data Governance und Sicherheit dar. Das gilt insbesondere, wenn Sie die Sicherheitsberechtigungen des Zielsystems vorher nicht gründlich getestet haben. Versäumen Sie die Einrichtung von Protokollen – z. B. zur Verschlüsselung von Daten und zur Erstellung virtueller privater Netzwerke für den Übertragungsprozess –, dann können bei der Datenmigration schwerwiegende Probleme auftreten, beispielsweise ungewollte Offenlegung oder Verlust sensibler Informationen.

Daten- und Systemintegrationen

Ihr Datenstapel besteht vermutlich aus mehreren Tools, die in der aktuellen Konfiguration zusammenarbeiten. Trotzdem kann es schwierig sein, sicherzustellen, dass sie sich auch in einer neuen Umgebung nahtlos miteinander integrieren lassen. Klappt das nämlich nicht, dann bekommen Sie Probleme mit der Produktivität. Es kann sein, dass die Datenintegration nur funktioniert, wenn Sie Struktur, Attribute oder Formate an die neue Datenspeicherlösung anpassen.

So planen Sie einen erfolgreichen Datenmigrationsprozess

Es ist wichtig, einen detaillierten Plan für die Datenmigration zu erstellen, in dem auch das Budget festgelegt und die Risiken bewertet werden. Ein erfolgreicher Datenmigrationsplan sollte fünf wesentliche Schritte enthalten.

1. Zielsysteme ermitteln

Zunächst müssen Sie wissen, wohin die Daten gehen werden. Anschließend können Sie die Anforderungen und Spezifikationen des Zielsystems bewerten und die Struktur Ihrer vorhandenen Daten auf das neue Datensystem übertragen. So stellen Sie sicher, dass sie zur neuen Struktur und zum neuen Format passen, und können die Zielumgebung entsprechend einrichten, einschließlich aller erforderlichen Sicherheitsberechtigungen.

2. Vorhandene Daten bewerten

Nun müssen Sie Ihre Bestandsdaten auf Umfang, Qualität und Stabilität prüfen. Suchen Sie nach Konfliktpotenzialen oder Duplikaten und legen Sie Datenstandards fest, um diese Probleme zu minimieren. Sie können die Daten gegebenenfalls bereinigen, um zu gewährleisten, dass nur gültige, hochwertige Daten migriert werden. Es empfiehlt sich, Profiler zu verwenden, um die Erkennung zu automatisieren. Auch können Sie Analyzer nutzen, um die Codekomplexität im Detail zu bewerten und die Kosten des Migrationsprojekts abzuschätzen.

3. Strategie entwerfen

Wählen Sie Ihren Migrationsansatz aus und erstellen Sie eine Roadmap für die Umsetzung. Sie müssen die erforderlichen Systeme und Tools, etwaige Datentransformationsprozesse, Testverfahren für die Migration und Sicherheitsprotokolle aufführen. Schätzen Sie die Kosten und setzen Sie ein realistisches Budget und einen Zeitplan für die Realisierung an. Sie dürfen auch nicht versäumen, festzulegen, wie Sie mit den Betroffenen kommunizieren werden, und Notfallpläne in die Strategie einzubauen.

4. Pilotprojekt ausführen

Bevor es richtig losgeht, sollten Sie die Migration unbedingt testen, um sicherzustellen, dass sie auch tatsächlich funktioniert. Normalerweise verwenden Sie dazu eine Spiegelkopie der Produktionsumgebung, können die Tests aber auch an kleineren Datasets, Dummy-Daten oder einer Kopie des Livesystems durchführen. Nach Abschluss der Tests sollten Sie in der Lage sein, zu erkennen, ob und wo Verbesserungen erforderlich sind, bevor die eigentliche Migration beginnt.

5. Migration umsetzen

Jetzt können Sie mit der Migration beginnen, wobei Sie sich strikt an die in Ihrer Strategie beschriebene Vorgehensweise halten sollten. Nun kommen auch die ETL-Prozesse (Extraktion, Transformation, Laden) in Gang. Wenn Sie die Daten in ihrer neuen Umgebung validiert und sich davon überzeugt haben, dass die Migration erfolgreich war, können Sie Ihr altes System herunterfahren.

Fünf Best Practices für die Datenmigration

Im Folgenden beschreiben wir einige Best Practices, deren Beachtung wir empfehlen, um eine reibungslose Datenmigration zu gewährleisten.

1. Datensicherung durchführen

Der einzige Schutz vor dem Verlust wertvoller Daten während der Migration ist eine sorgfältige Datensicherung. Auf diese Weise können Sie, falls etwas schief geht und Daten verloren gehen oder beschädigt werden, diese aus der Sicherungskopie wiederherstellen. Am besten halten Sie mehrere Sicherungskopien unterschiedlicher Art vor, etwa eine lokale Sicherung und ein Cloud-Backup, damit die Daten auch dann geschützt sind, wenn Ihre lokalen Server kompromittiert werden.

2. Business Case und Anforderungen definieren

Bevor Sie sich für einen Migrationsansatz entscheiden oder Ihre Strategie planen, sollten Sie sicherstellen, dass Sie den Business Case für die Migration klar definiert haben. Warum ist sie notwendig? Wie profitiert Ihr Unternehmen davon? Wofür wollen Sie diese Daten nutzen? Richten Sie das Projekt an den übergeordneten Unternehmenszielen aus und berücksichtigen Sie die geschäftlichen Anforderungen eines neuen Systems. Ferner ist es wichtig, die Berechtigungen für die Daten festzulegen und in Ihrem Plan zu dokumentieren.

3. Ein engagiertes Team zusammenstellen

Datenmigrationen können komplex sein. Deswegen brauchen Sie Spezialisten, die Sie bei der Abwicklung des Projekts unterstützen. Idealerweise gehört zu Ihrem Team mindestens eine Person mit umfassender Erfahrung in der Datenmigration.

Wenn Sie das passende Team zusammengestellt haben, weisen Sie Verantwortlichkeiten zu, um die Zuständigkeiten zu regeln. Wenn Sie intern nicht über die notwendigen Kompetenzen verfügen, kann es sich lohnen, externe Berater hinzuzuziehen, die Sie bei der Durchführung der Migration unterstützen. Hilfe bei der Migration erhalten Sie beispielsweise über Databricks Professional Services.

4. Nicht von der Strategie abrücken

Sie haben viel Zeit und Mühe darauf verwendet, einen Ansatz für die Datenmigration auszuwählen und einen Plan zu entwickeln. Daher sollten Sie sich auch daran halten! Ein Abweichen von der Vorgehensweise – oder die Nichtumsetzung auch nur eines kritischen Schritts, wie etwa der Implementierung von Datensicherheitsprotokollen – kann dazu führen, dass die gesamte Migration fehlschlägt. Es empfiehlt sich außerdem, die Migration zu dokumentieren, da Sie so wichtige Erkenntnisse gewinnen und Probleme bei künftigen Migrationsprojekten vermeiden können.

5. Stetig testen und validieren

Während Sie Ihre Daten migrieren, müssen Sie sie fortlaufend kontrollieren und testen. Auf diese Weise können Sie sicherstellen, dass die Daten ordnungsgemäß und ohne Qualitätsprobleme, Lücken oder Duplikate übertragen werden. Wenn Sie den Trickle-Ansatz verwenden, können Sie etwaige Probleme schnell erkennen – etwa Ausfälle des Altsystems. Vergewissern Sie sich, dass die Migration in Übereinstimmung mit den Leitlinien durchgeführt wurde, und prüfen Sie die Daten an ihrem neuen Speicherort, um sicherzugehen, dass sie einsatzbereit sind.

Zuverlässige Umsetzung der Datenmigration mit Databricks

Datenmigration ist ein gewaltiges Vorhaben. Daher müssen Sie sich darauf verlassen können, dass sie wie geplant abläuft und weder den Geschäftsbetrieb unterbricht noch das Budget sprengt.

Mit fachkundiger Hilfe von Databricks können Sie dafür sorgen, dass Ihre Daten erfolgreich und sicher übertragen werden. Die Databricks Data Intelligence Platform basiert auf der Lakehouse-Architektur und unterstützt Kunden bei der Migration von bestehenden Datenplattformen in einem gestaffelten End-to-End-Verfahren.

Ganz gleich, ob Sie Daten aus einer Anwendung, einem Speichersystem oder der Cloud verschieben: Diese Vorgehensweise stellt ein berechenbares Modell zur Verfügung, das Ihnen hilft, die Kosten zu überblicken. Databricks bietet automatisierte Tools, technische Beratung, Partnerlösungen und Fachdienstleistungen, die Ihnen helfen, Risiken zu vermeiden und Mehrwert schneller zu generieren.

Wenn Sie Daten aus einem Enterprise Data Warehouse zu Databricks migrieren, können Sie alle Ihre Daten-, Analyse- und KI-Workloads auf einer zentralen und einheitlichen Datenplattform ausführen, die außerdem mit Ihrem Unternehmen mitwächst.

Häufig gestellte Fragen zur Datenmigration

Welche zwei Arten der Datenmigration gibt es?

Die beiden Arten sind die Big-Bang-Migration und die Trickle-Migration. Der erstgenannte Ansatz ermöglicht es Ihnen, alle Daten in einem einzigen Arbeitsgang zu übertragen, was Zeit und Geld spart, aber mit Systemausfällen und höheren Risiken einhergeht. Die zweite Möglichkeit ist ein gestaffelter Ansatz, bei dem Sie die Daten in kleineren Mengen über einen längeren Zeitraum verschieben, wobei das bisherige System parallel weiterläuft. Das ist zwar komplexer und kostenintensiver, aber das Risiko eines Fehlschlags ist geringer.

Wie funktioniert die Datenmigration?

Bei der Datenmigration werden Daten zwischen Speicherorten, Datenbanken, Anwendungen oder Cloud-Umgebungen verschoben. In einigen Fällen werden auch Geschäftsprozesse transferiert. Für welche Art der Migration Sie sich auch entscheiden, am Anfang steht immer die Auswahl der Big-Bang- oder Trickle-Methode. Dann richten Sie das Zielsystem ein, auf das die Daten übertragen werden sollen, und bewerten die Qualität der Daten selbst.

Der nächste Schritt ist die Erstellung eines Migrationsplans, der auch ein Budget und einen Zeitrahmen umfasst. Bevor die Migration tatsächlich erfolgt, führen Sie einen Testlauf durch, um mögliche Probleme zu erkennen. Sie sollten Tests und Validierungen während des gesamten Ablaufs fortsetzen und sicherstellen, dass die Daten ordnungsgemäß in der Zielumgebung angekommen sind, bevor Sie das alte System außer Betrieb nehmen.

Worin unterscheiden sich Datenmigration und Datenkonvertierung?

Diese Begriffe werden oft miteinander verwechselt, beschreiben aber zwei verschiedene Konzepte. Unter der Datenmigration versteht man die Übertragung digitaler Informationen von einem Speicherort an einen anderen. Diese kann auch eine Datenkonvertierung beinhalten, muss es aber nicht.

Datenkonvertierung bedeutet lediglich die Umwandlung von Daten in ein anderes Format. Die konvertierten Daten werden vielleicht in eine neue Anwendung verschoben, aber nicht unbedingt in ein anderes Rechenzentrum, auf ein neues System oder in eine neue Umgebung. Die Konvertierung ist im Grunde ein optionaler Bestandteil der Datenmigration.