Migrazione dei dati
Le aziende si affidano ai dati oggi più che mai. Per assicurarti che i tuoi dati siano davvero utili, ti converrà utilizzare la migliore piattaforma dati possibile, e questo potrebbe richiedere una migrazione dei dati.
Se hai domande sulla migrazione dei dati e su come realizzarla con successo, noi abbiamo le risposte.
Che cos'è la migrazione dei dati?
La migrazione dei dati è lo spostamento delle informazioni digitali da una piattaforma all'altra, che si tratti di un sistema di archiviazione, di un ambiente informatico, di un database, di un data center o di un'altra applicazione. La migrazione include inoltre anche il trasferimento di dati tra diversi formati di file.
Il processo di migrazione prevede la selezione, la preparazione e l'estrazione dei dati prima del trasferimento e, in alcuni casi, anche la loro pulizia o trasformazione. I dati devono essere convalidati durante e dopo il trasferimento per garantire che funzionino nel sistema di destinazione.
Ora che abbiamo una definizione di migrazione dei dati, cerchiamo di capire perché e come dovresti usarla.
Ecco altre informazioni utili
La tua guida alla migrazione su lakehouse
I tuoi team non hanno bisogno di un altro data warehouse. Hanno bisogno di una soluzione moderna: un lakehouse che unifichi governance, analisi e AI su un'unica piattaforma.
Adottare una strategia di data lakehouse: una scelta saggia
Quando si tratta di soddisfare le esigenze analitiche emergenti e future, le strategie di architettura dei dati odierne, incluso il data lake, sono limitate. Scopri come un'architettura data lakehouse può aiutarti a superare queste limitazioni.
Il tuo prossimo data warehouse?
Esegui tutti i carichi di lavoro di dati su un'unica piattaforma.
Perché le aziende eseguono la migrazione dei dati?
Le aziende in genere eseguono la migrazione dei dati quando desiderano sostituire software e hardware legacy o consolidare le proprie applicazioni in un unico sistema. Ad esempio, potresti decidere di semplificare la tua piattaforma dati eseguendo la migrazione a Databricks Data Intelligence Platform da un data warehouse aziendale o da un data lake legacy.
Di seguito sono riportati alcuni dei motivi più comuni per cui si sceglie di eseguire la migrazione dei dati:
- Per sostituire, aggiornare ed espandere i sistemi di storage esistenti
- Per integrare sistemi nuovi ed esistenti che condividono un dataset
- Per riorganizzare l'attività in vista di una fusione o acquisizione
- Per consolidare i sistemi informatici
- Per preparare i dati per l'analisi
- Per centralizzare database e dati aziendali
- Per archiviare i dati legacy
- Per ridurre i costi di storage e i costi operativi
- Per trasferirsi in un data center più sicuro
- Per migliorare la conformità nella gestione dei dati
- Per ridurre il consumo di energia e l'impatto ambientale
Quali tipi di migrazione dei dati esistono?
Esistono diversi tipi di migrazione dei dati e le aziende spesso ne intraprendono più di uno, a seconda delle loro esigenze. Esaminiamo i principali approcci alla migrazione dei dati.
Archiviazione
La migrazione dell'archiviazione consiste nel trasferire i dati da una posizione di archiviazione a un'altra, ad esempio da un'unità hardware a una su cloud, o da un'unità a disco rigido a una a stato solido. Il nuovo dispositivo di archiviazione può trovarsi nello stesso edificio o in un data center remoto. Questo tipo di migrazione in genere non comporta la modifica del contenuto o del formato dei dati.
Database
Questo tipo di migrazione consiste nello spostamento dei file del database su una nuova piattaforma, di solito un nuovo sistema di gestione dei database (DBMS), o anche nel trasferimento dei dati dalla versione corrente del DBMS a una versione aggiornata. Dal momento che spesso richiede la conversione dei dati, questo processo è più complesso della migrazione dell'archiviazione.
Applicazioni
Si tratta del trasferimento di un'applicazione o programma da un ambiente informatico a un altro, ad esempio da un sistema informatico obsoleto a una rete più moderna e semplificata. Questo processo può comportare migrazioni sia di database che di archiviazione. Di solito si esegue quando la piattaforma software esistente cambia, o quando un'azienda sceglie di cambiare software o fornitore.
Cloud
La migrazione al cloud comporta lo spostamento di dati (o app) da una posizione locale a una su cloud, o da un ambiente cloud a un altro. È possibile scegliere di spostare tutti i dati, le applicazioni e i servizi o solo alcuni di essi. Questa migrazione viene in genere eseguita dalle aziende per ridurre i costi e centralizzare i dati.
Processi aziendali
In questo tipo di migrazione, le applicazioni aziendali e tutti i dati relativi ai processi aziendali, ad esempio clienti, prodotti e informazioni operative, vengono trasferiti in un nuovo ambiente. In genere, questo viene fatto per ottimizzare i processi e semplificare la gestione di un'organizzazione.
Le due strategie di migrazione dei dati
Che cos'è una strategia di migrazione dei dati? È il piano che definisce come verrà condotto il processo di migrazione e inizia con la scelta di uno dei seguenti approcci.
Big bang
Tutti i dati vengono trasferiti nell'ambiente di destinazione in un'unica soluzione, entro un determinato intervallo di tempo. Il vantaggio di questo approccio è che non richiede molto tempo e, quindi, costa meno (a patto che tutto vada secondo i piani). Lo svantaggio è che, durante la migrazione, tutti i sistemi verranno spenti e non saranno disponibili. Le piccole aziende con quantità limitate di dati possono riuscire a eseguire la migrazione dei dati durante un fine settimana o un giorno festivo.
Trickle
È una migrazione graduale o iterativa. Implica la suddivisione della migrazione in sottoprocessi, ciascuno con il proprio ambito e intervallo di tempo. I dati vengono trasferiti in piccoli incrementi e il vecchio sistema continua a funzionare durante il processo. Questo approccio azzera i tempi di inattività e riduce i rischi, ma è più complesso, lungo e dispendioso, in quanto è necessario assicurarsi che gli utenti possano passare da un sistema all'altro.
Quali sono i problemi più comuni nella migrazione dei dati?
Sebbene la migrazione dei dati offra molti vantaggi, comporta anche alcuni problemi di cui occorrerà tenere conto.
Danneggiamento o perdita di dati
Uno dei rischi più comuni nella migrazione è la perdita di dati. Le informazioni possono andare perdute a causa di problemi quali troncamento automatico, incompatibilità del formato, impostazioni di convalida sconosciute e interferenza di rete. Se non si preparano e formattano correttamente i dati di origine e non si tiene conto delle dipendenze e della semantica dei dati, è possibile ritrovarsi con lacune, errori o duplicazioni dei dati una volta che questi sono stati trasferiti nel nuovo sistema.
Continuità operativa e costi imprevisti
Se si adotta l'approccio big bang, i sistemi rimarranno inattivi per un certo periodo di tempo, con ovvie ripercussioni sull'attività aziendale. Se il processo di migrazione richiede più tempo del previsto, il ritardo si ripercuoterà sulla continuità operativa e sul budget. E se la migrazione fallisce, anche questo può rivelarsi costoso.
Governance dei dati e sicurezza
La migrazione rappresenta un rischio per la governance dei dati e la sicurezza, soprattutto se non sono state testate in anticipo le autorizzazioni di sicurezza del sistema di destinazione. In assenza di specifici protocolli, quali ad esempio la crittografia dei dati e la creazione di reti private virtuali per il processo di trasferimento, potrebbero verificarsi problemi durante la migrazione, come l'esposizione o la perdita di dati sensibili.
Integrazioni di dati e sistemi
Il tuo stack di dati probabilmente comprende più strumenti che lavorano insieme, ma è difficile garantire che questa sinergia funzioni perfettamente anche in un nuovo ambiente. Un eventuale fallimento avrà ripercussioni negative sulla produttività. Potresti scoprire che l'integrazione dei dati non funziona a meno che non modifichi la struttura, gli attributi o il formato per adattarli alla nuova soluzione di archiviazione dei dati.
Pianifica un processo di migrazione dei dati efficiente
È essenziale produrre un piano chiaro per la migrazione dei dati, accertandosi anche di stabilire un budget e valutare i rischi. Un piano di migrazione dei dati efficiente deve includere cinque passaggi critici.
1. Scopri i sistemi target
Per prima cosa, devi sapere dove andranno a finire i dati. Valuta i requisiti e le specifiche del sistema di destinazione e mappa la struttura dei dati esistenti al nuovo sistema di dati. Potrai così assicurarti che sia in linea con la nuova struttura e il nuovo formato e configurare l'ambiente di destinazione, incluse le eventuali autorizzazioni di sicurezza necessarie.
2. Valuta i dati esistenti
Successivamente dovrai valutare volume, qualità e stabilità dei dati. Presta attenzione a eventuali conflitti o duplicazioni e imposta standard di dati per mitigarli. Se necessario, pulisci i dati per garantire che venga eseguita la migrazione solo di dati validi e di alta qualità. Può essere consigliabile usare profiler per automatizzare l'individuazione e analizzatori per fornire una valutazione dettagliata della complessità del codice e stimare i costi del progetto di migrazione.
3. Progetta una strategia
Decidi quale approccio utilizzare per la migrazione e crea una roadmap per realizzarla. Elenca i sistemi e gli strumenti necessari, tutti i processi di trasformazione dei dati, le procedure di test di migrazione e i protocolli di sicurezza. Stima i costi e imposta un budget e una tempistica realistici per il completamento. Non dimenticare di specificare come comunicherai con le parti interessate e di integrare piani di emergenza nella strategia.
4. Esegui un progetto pilota
Prima di iniziare, è essenziale testare la migrazione per accertarsi che funzionerà nella realtà. In genere questa operazione viene eseguita utilizzando un mirror dell'ambiente di produzione, ma è anche possibile eseguire il test con set di dati più piccoli, con dati fittizi o con una copia dei dati del sistema in tempo reale. Una volta completato il test, dovresti essere in grado di vedere se sono necessari miglioramenti prima di iniziare la migrazione effettiva.
5. Esegui la migrazione
A questo punto puoi procedere con la migrazione, seguendo le indicazioni delineate nella strategia. Questo è il momento in cui entreranno in funzione anche i processi di estrazione, trasformazione e caricamento (ETL). Dopo aver convalidato i dati nel nuovo ambiente e aver verificato che la migrazione è stata eseguita correttamente, potrai arrestare il vecchio sistema.
Cinque best practice per la migrazione dei dati
Di seguito sono riportate alcune best practice da seguire per garantire il corretto svolgimento della migrazione dei dati.
1. Eseguire il backup dei dati
L'unico modo per essere certi di non perdere dati preziosi durante la migrazione è eseguirne un backup completo. In questo modo, se qualcosa va storto e i dati vengono persi o danneggiati, è possibile recuperarli e ripristinarli dal backup. È consigliabile disporre di diverse forme di backup, inclusi un backup locale e un backup su cloud offsite che protegga i dati anche in caso di compromissione dei tuoi server.
2. Definire il caso d'uso e i requisiti aziendali
Prima di decidere un approccio alla migrazione o di pianificare la tua strategia, assicurati di aver definito chiaramente il business case per la migrazione. Perché è necessario farla? In che modo migliorerà la tua attività? Per cosa utilizzerai questi dati? Allinea il progetto con obiettivi aziendali più ampi e considera i requisiti aziendali di un nuovo sistema. È anche importante stabilire le autorizzazioni per i dati e documentarle nel piano.
3. Creare un team dedicato
Le migrazioni dei dati possono essere complesse, quindi avrai bisogno di specialisti che ti aiutino a gestire il progetto. Idealmente, il tuo team includerà almeno una persona con un'esperienza significativa nella migrazione dei dati.
Una volta assemblato il team giusto, assegna le responsabilità per garantire la rendicontabilità. Se non disponi delle competenze necessarie internamente, potrebbe valere la pena assumere consulenti esterni perché ti aiutino con il processo: puoi ottenere assistenza per l'esecuzione della migrazione tramite Databricks Professional Services.
4. Attenersi alla strategia
Hai speso tempo e fatica per scegliere un approccio alla migrazione dei dati e sviluppare un piano, quindi assicurati di rispettarlo! La deviazione dal processo o la mancata attuazione di uno dei passaggi critici, come ad esempio l'implementazione dei protocolli di sicurezza dei dati , può portare al fallimento della migrazione. È anche utile documentare la migrazione man mano che si procede, così da evidenziare importanti insegnamenti di cui fare tesoro e problemi da evitare in eventuali migrazioni future.
5. Continuare i test e la convalida
Durante la migrazione, è necessario continuare a monitorare e testare i dati. Ciò contribuirà a garantire che essi vengano trasferiti in modo appropriato, senza problemi di qualità, lacune o duplicazioni. Se utilizzi il metodo trickle, potrai identificare rapidamente eventuali problemi, inclusi i tempi di inattività del vecchio sistema. Verifica che la migrazione sia stata eseguita in base alle linee guida e controlla i dati nella nuova destinazione per verificare che siano pronti per l'uso.
Esegui la migrazione dei dati in tutta sicurezza con Databricks
La migrazione dei dati è un grande impegno, ed è necessario essere certi che funzionerà come previsto e non causerà interruzioni operative o sforamenti di budget.
Con l'aiuto esperto di Databricks, puoi assicurarti che i tuoi dati vengano trasferiti in modo corretto e sicuro. Basata sull'architettura lakehouse, la Databricks Data Intelligence Platform aiuta i clienti a migrare dalle piattaforme di dati legacy utilizzando un processo end-to-end graduale.
Indipendentemente dal fatto che tu stia trasferendo i tuoi dati da un'applicazione, da un sistema di storage o dal cloud, questo processo fornisce un modello prevedibile per aiutarti a comprendere i costi. Databricks offre strumenti automatizzati, assistenza tecnica, soluzioni dei partner e servizi professionali per aiutarti a eliminare i rischi e a creare valore più velocemente.
Se esegui la migrazione dei dati in Databricks da un data warehouse aziendale, sarai in grado di eseguire tutti i tuoi carichi di lavoro di dati, analisi e AI su un'unica piattaforma dati unificata e di scalare rapidamente man mano che il tuo business evolve.
Domande frequenti sulla migrazione dei dati
Quali sono i due tipi di migrazione dei dati?
I due tipi di migrazione dei dati sono big bang e trickle. Il primo approccio consente di trasferire tutti i dati con un'unica operazione, risparmiando tempo e denaro, ma comporta tempi di inattività del sistema e rischi più elevati. Il secondo è un approccio graduale, in cui si spostano i dati in blocchi più piccoli in un certo arco di tempo mentre il vecchio sistema continua a funzionare in parallelo. È più complesso e costoso, ma comporta un minore rischio di insuccesso.
Come funziona la migrazione dei dati?
La migrazione dei dati può comportare lo spostamento di dati tra posizioni di archiviazione, database, applicazioni o ambienti cloud diversi. In alcuni casi, vengono trasferiti anche i processi aziendali. Qualunque sia il tipo di migrazione che utilizzi, per prima cosa dovrai decidere quale approccio adottare (big bang o trickle). Imposterai quindi il sistema di destinazione in cui i dati verranno trasferiti e valuterai la qualità dei dati stessi.
La fase successiva consiste nell'elaborare un piano per la migrazione, comprensivo di budget e tempistiche. Prima di eseguire la migrazione effettiva, esegui un test per verificare la presenza di eventuali problemi. Continua i test e la convalida durante tutto il processo e verifica che i dati siano arrivati in modo sicuro nell'ambiente di destinazione prima di disattivare il vecchio sistema.
Qual è la differenza tra migrazione e conversione dei dati?
I due termini vengono spesso confusi, ma si riferiscono a due processi diversi. Con "migrazione dei dati" si intende il trasferimento di informazioni digitali da un luogo all'altro. Questo processo può includere la conversione dei dati, ma non necessariamente.
Con "conversione dei dati", invece, si intende la trasformazione dei dati in un nuovo formato. I dati convertiti possono essere spostati in una nuova applicazione, ma non necessariamente in un nuovo data center, sistema o ambiente. La conversione è fondamentalmente un elemento facoltativo della migrazione dei dati.