Comprendere la qualità dei dati

Vantaggi di una buona qualità dei dati

Mantenere una buona qualità dei dati è importante per molti motivi, tra cui: 

Efficienza operativa: dati di alta qualità riducono il tempo e le risorse necessarie per correggere errori, risolvere discrepanze e identificare ridondanze. Una buona qualità dei dati riduce anche i costi, aiutando i dipendenti a concentrarsi su compiti più strategici piuttosto che occuparsi di problemi legati ai dati. 

Decisioni informate: una buona qualità dei dati garantisce che i principali stakeholder possano prendere decisioni basate su informazioni accurate. Dati precisi, completi e tempestivi sono indispensabili anche per l'analisi e l'AI, poiché entrambe hanno bisogno di dati di qualità per ottenere risultati significativi.

Migliore governance dei dati: una buona qualità dei dati è fondamentale per una governance efficace, che garantisce che i set di dati siano gestiti in modo coerente e rispettino i requisiti normativi.

Elementi chiave della qualità dei dati

La qualità dei dati può essere suddivisa in sei dimensioni chiave: 

1. Coerenza: i dati devono essere uniformi tra diversi database e set di dati, indipendentemente dall'area tematica, dalle transazioni o dal periodo di riferimento. Man mano che i set di dati si espandono e crescono, diventa fondamentale curare i dati per eliminare duplicazioni e conflitti. 
2. Accuratezza: i dati devono riflettere fedelmente la realtà che intendono rappresentare. Che si tratti di una misura fisica o di un riferimento, i dati devono essere privi di errori e rappresentare accuratamente la fonte. 
3. Validità: i dati devono rispettare formati, standard e regole definiti. Generalmente, ciò significa che devono rientrare nell'intervallo o nel modello previsto, inclusi eventuali metadati pertinenti. 
4. Completezza: un set di dati è valido solo se è completo. Punti dati mancanti o non disponibili possono compromettere la qualità complessiva dei dati, portando a informazioni insufficienti o incomplete.  
5. Tempestività: i dati devono essere aggiornati e disponibili quando necessario. Eventuali ritardi o latenze nella reportistica possono compromettere l'accuratezza delle informazioni. I sistemi devono essere in grado di acquisire qualsiasi nuova informazione, elaborarla e archiviarla correttamente per consentirne il recupero in un secondo momento.  
6. Unicità: quando i dati vengono aggregati da varie fonti, è fondamentale che i processi di qualità dei dati tengano conto di eventuali duplicazioni o ridondanze. I set di dati che mancano di unicità possono generare informazioni fuorvianti e strategie inefficaci. 

È importante notare che qualsiasi dato che entra in una piattaforma di analisi probabilmente non soddisferà subito questi requisiti. La qualità dei dati si ottiene nel tempo, attraverso processi di pulizia e trasformazione. 
 
Un altro approccio per garantire la qualità dei dati è il framework noto come "The 7C's of Data Quality", che descrive come preparare i dati per la condivisione, l'elaborazione e l'uso. 

• Collect (Raccogliere): la fase iniziale consiste nella raccolta, formattazione e archiviazione dei dati in un repository adeguato.  
• Characterize (Caratterizzare): una volta raccolti i dati, il secondo passo consiste nel caratterizzare i metadati aggiuntivi, come l'ora di creazione dei dati, il metodo di raccolta e persino la posizione o specifiche impostazioni dei sensori. 
• Clean (Pulire): il passaggio successivo è pulire i dati risolvendo eventuali problemi o corruzioni presenti. Il processo ETL (extract, transform, load) è una pratica comune, ma possono essere utilizzati anche altri metodi per risolvere ulteriori problemi, come duplicazioni, errori di battitura o dati superflui. 
• Contextualize (Contestualizzare): Non tutti i dati sono rilevanti per una data attività o iniziativa. Contestualizzare i dati determina quali metadati aggiuntivi potrebbero essere necessari. 
• Categorize (Categorizzare): questo passaggio identifica ulteriormente i fattori chiave nei set di dati e li estrae in base al dominio del problema. 
• Correlate (Correlare): questo passaggio collega dati e concetti disparati provenienti da diversi archivi di dati. Ad esempio, due set di dati potrebbero fare riferimento allo stesso punto dati: il numero di telefono di un cliente potrebbe essere classificato come due tipi differenti a seconda del database di riferimento. La correlazione aiuta a risolvere questi conflitti collegando il punto dati. 
• Catalog (Catalogare): il passaggio finale consiste nel garantire che dati e metadati siano archiviati, conservati e accessibili in modo sicuro su piattaforme di ricerca e analisi.

Valutare la qualità dei dati

La qualità dei dati dovrebbe essere misurata rispetto a un framework di standard e parametri consolidati. Quattro dei principali framework sono: 

• Data Quality Assessment Framework (DQAF) 
• Total Data Quality Management (TDQM) 
• Data Quality Scorecard (DQS) 
• Tempo di inattività dei dati 

Questi standard aiutano a identificare le lacune nei dati e a migliorare la qualità nel tempo. Alcune delle metriche comunemente valutate includono: 

• Tasso di errore: la frequenza degli errori nei dati 
• Tasso di completezza: la percentuale di dati che è completa e disponibile 
• Tasso di coerenza: il grado di uniformità dei dati tra set di dati diversi 
• Tasso di tempestività: quanto sono aggiornati i dati

Migliorare la qualità dei dati

Con set di dati sempre più grandi e problemi sempre più complessi da risolvere, migliorare la qualità dei dati può rivelarsi una sfida. Il monitoraggio della qualità dei dati dovrebbe avvenire durante il loro intero ciclo di vita. Sul lungo periodo, ciò può portare ad analisi più accurate, decisioni più intelligenti e maggiore redditività. 

• Qualità dei dati durante l'ETL: il processo di pulizia dei set di dati può introdurre diversi errori. Verificare la qualità dei dati durante l'acquisizione, la trasformazione e l'orchestrazione dei dati può garantire accuratezza e conformità continue. Sebbene gli strumenti di pulizia dei dati possano automatizzare il processo di correzione o rimozione dei dati errati o incompleti da un set di dati, nessuna automazione è perfetta. Il monitoraggio continuo durante questo processo può garantirne ulteriormente l'accuratezza e la qualità complessive.
• Qualità dei dati e governance: una buona governance dei dati è essenziale per proteggere i dati e supportarne la qualità. È necessario stabilire quale dovrebbe essere lo standard organizzativo per la qualità dei dati e identificare i principali stakeholder responsabili delle diverse parti del processo. È anche importante sviluppare una cultura della qualità dei dati per garantire che tutti comprendano il proprio ruolo nel mantenimento dell'integrità dei dati. 
• Qualità dei dati nei test: i test sulla qualità dei dati cercano di anticipare problemi specifici e noti in uno specifico set di dati, mentre gli strumenti di profilazione dei dati analizzano i dati per individuare problemi di qualità e forniscono informazioni su modelli, deviazioni nei valori e anomalie. Questa operazione andrebbe eseguita prima di qualsiasi distribuzione nel mondo reale per garantire l'accuratezza dei risultati.

Sfide emergenti sulla qualità dei dati

In un ambiente aziendale competitivo, le organizzazioni devono rimanere al passo utilizzando al meglio i propri dati. Le iniziative di AI e machine learning stanno diventando fondamentali per le imprese che vogliono generare informazioni e innovazione dai propri dati per rimanere concorrenziali. Nel frattempo, il passaggio a capacità "cloud-first" e l'esplosione dell'Internet delle cose (IoT) hanno portato a un aumento esponenziale dei dati.  

La necessità di pratiche di qualità dei dati non è mai stata maggiore, ma le organizzazioni si trovano ad affrontare sfide comuni nella costruzione e nel mantenimento di una buona qualità dei dati: 

• Dati incompleti o inaccurati: l'aggregazione di dati da più fonti può comportare attributi mancanti, errori o duplicazioni, che possono portare a decisioni fuorvianti o inaccurate 
• Governance dei dati carente: in assenza di solide best practice di gestione dei dati, la qualità dei dati può risentire di ruoli o responsabilità poco chiari 
• Volume e velocità dei dati: una quantità di dati in continuo aumento comporta delle difficoltà nell'elaborazione e nella reportistica in tempo reale, con il rischio di ritardare le informazioni 
• Sorgenti di dati complesse: i sistemi raccolgono sempre più dati non strutturati, come foto e video, che possono mettere in difficoltà anche i processi di qualità dei dati meglio progettati 
• Pratiche di monitoraggio: le organizzazioni che non attuano rigorose pratiche di monitoraggio dei dati rischiano di veder compromessa la qualità dei loro dati

Mentre le organizzazioni puntano sempre più su un approccio basato sui dati, guidato da AI e analisi, sarà fondamentale centralizzare e semplificare le pratiche di qualità dei dati. Più alta è la qualità dei dati, migliore sarà la capacità delle organizzazioni di prendere decisioni efficaci, ridurre gli errori e competere in un ambiente tecnologicamente avanzato.