Che cos'è Hadoop?

Apache Hadoop è una piattaforma software open-source basata su Java che gestisce l'elaborazione e la conservazione (storage) di dati per applicazioni con i Big Data. La piattaforma opera distribuendo lavori di Hadoop per l'elaborazione e l'analisi di Big Data fra diversi nodi di un cluster, ripartendoli in carichi di lavoro più piccoli che possono essere eseguiti in parallelo. I vantaggi principali di Hadoop sono scalabilità, resilienza e flessibilità. Hadoop Distributed File System (HDFS) offre affidabilità e resilienza replicando qualsiasi nodo del cluster su altri nodi del cluster, come protezione contro guasti hardware o software. La flessibilità di Hadoop consente di memorizzare dati in qualsiasi formato, strutturati e non.

Le architetture Hadoop presentano tuttavia alcune problematiche, che aumentano con il passare del tempo. Hadoop può rivelarsi eccessivamente complesso e richiedere molte risorse e competenze per la configurazione, la manutenzione e l'aggiornamento. Comporta inoltre grande dispendio di tempo e inefficienza a causa delle frequenti operazioni di lettura e scrittura necessarie per eseguire i calcoli. La praticabilità a lungo termine di Hadoop diminuisce progressivamente, poiché i principali fornitori stanno abbandonando la piattaforma e, inoltre, le crescenti esigenze di digitalizzazione hanno spinto molte aziende a rivalutare il loro rapporto con Hadoop. La soluzione migliore per modernizzare la piattaforma di gestione dei dati di un'azienda è migrare da Hadoop a Databricks Lakehouse Platform. Approfondisci le problematiche di Hadoop e informati sulla transizione a piattaforme di dati moderne leggendo il nostro blog.

Che cos'è la programmazione Hadoop?

Nel framework Hadoop, il codice è scritto prevalentemente in Java, ma una parte del codice nativo è basata su C. Inoltre, le utility della riga di comando sono solitamente scripting di shell. Per Hadoop MapReduce, Java è il linguaggio più usato ma, attraverso un modulo come Hadoop Streaming, gli utenti possono usare il loro linguaggio di programmazione preferito per implementare la mappa e ridurre le funzioni.

Che cos'è un database Hadoop?

Hadoop non è una soluzione per lo storage di dati o database relazionali. Si tratta invece di un framework open-source che ha lo scopo di elaborare grandi quantità di dati simultaneamente in tempo reale.

I dati vengono conservati in HDFS, tuttavia questo file system è considerato non strutturato e, quindi, non è definibile come database relazionale. Di fatto, con Hadoop, i dati possono essere conservati in forma non strutturata, semi-strutturata o strutturata. Questo approccio offre maggiore flessibilità per elaborare i Big Data con modalità idonee alle esigenze specifiche di ogni azienda.

Che tipo di database è Hadoop?

Tecnicamente, Hadoop non è un database come SQL o RDBMS. Il framework Hadoop offre piuttosto una soluzione di elaborazione per un'ampia gamma di tipologie di database.

Hadoop è un ecosistema software che consente alle aziende di gestire enormi quantità di dati in breve tempo. A tale scopo, la soluzione agevola l'uso dell'elaborazione parallela su larga scala. Svariati database come Apache HBase possono essere distribuiti fra cluster di nodi di dati contenuti su centinaia o migliaia di server.

Quando è stato inventato Hadoop?

Apache Hadoop è nato dall'esigenza di elaborare volumi sempre più grandi di Big Data e fornire risultati via web più velocemente, quando motori di ricerca come Yahoo e Google muovevano i primi passi.

Ispirandosi a MapReduce di Google, un modello di programmazione che divide un'applicazione in piccole frazioni da eseguire su nodi diversi, Doug Cutting e Mike Cafarella crearono Hadoop nel 2002 mentre lavoravano sul progetto Apache Nutch. Secondo un articolo del New York Times, Doug scelse il nome di Hadoop perché così si chiamava l'elefante di peluche di suo figlio.

Pochi anni più tardi, Hadoop venne scorporato da Nutch. Nutch si focalizzò sulla componente del web crawler, mentre Hadoop divenne la parte di calcolo ed elaborazione distribuiti. Due anni dopo l'arrivo di Cutting in Yahoo, Yahoo rilasciò Hadoop come progetto open-source nel 2008. L'Apache Software Foundation (ASF) rese disponibile Hadoop al pubblico nel novembre 2012 con il nome di Apache Hadoop.

Quale impatto ha avuto Hadoop?

Hadoop ha rappresentato un grande passo avanti nell'ambito di Big Data. Di fatto viene riconosciuto come l'origine del moderno data lake in cloud. Hadoop ha democratizzato la potenza di calcolo e consentito alle aziende di analizzare e interrogare grandi set di dati in modo scalabile, utilizzando software open-source gratuito e hardware standard economico.

Si tratta di uno sviluppo importante perché ha offerto un'alternativa praticabile alle soluzioni di data warehouse (DW) proprietarie e ai formati di dati chiusi, che fino ad allora avevano dominato il mercato.

Con l'introduzione di Hadoop, le organizzazioni hanno avuto presto accesso alla possibilità di memorizzare ed elaborare enormi quantità di dati, con maggiore potenza di calcolo, tolleranza ai guasti, flessibilità nella gestione dei dati, costi inferiori rispetto ai DW e maggiore scalabilità. Infine, Hadoop ha aperto la strada a sviluppi futuri nell'analisi dei Big Data, come l'introduzione di Apache Spark.

Per che cosa viene utilizzato Hadoop?

Quando si parla di Hadoop, i casi d'uso possibili sono praticamente illimitati.

retail

Le grandi organizzazioni hanno a disposizione quantità senza precedenti di dati sui loro clienti. Spesso, però, è difficile trovare correlazioni fra grandi quantità di dati apparentemente scollegati. Quando la catena inglese M&S ha implementato la soluzione Cloudera Enterprise basata su Hadoop, i responsabili sono rimasti impressionati dai risultati.

Cloudera usa il supporto e i servizi di Hadoop per la gestione e l'elaborazione dei dati. Poco dopo aver implementato la piattaforma in cloud, M&S ha scoperto di poter sfruttare i dati per analisi predittive molto più avanzate.

In questo modo l'azienda ha aumentato l'efficienza di utilizzo del magazzino ed evitato esaurimenti di scorte durante "picchi imprevisti" della domanda, assicurandosi un grande vantaggio sulla concorrenza.

Finanza

Hadoop è forse più adatto di qualsiasi altra soluzione al settore finanziario. Fin dall'inizio, questo framework software è stato destinato alla gestione di algoritmi avanzati per la modellazione del rischio. Stiamo parlando della gestione del rischio che potrebbe evitare altri disastri come quello dei credit swap che provocò la recessione del 2008.

Le banche hanno anche capito che la stessa logica può essere applicata alla gestione del rischio dei portafogli dei clienti. Oggi è prassi comune per gli istituti finanziari adottare Hadoop per gestire meglio la sicurezza e le prestazioni dei patrimoni dei loro clienti. JPMorgan Chase è solo uno dei tanti giganti del settore che usano Hadoop per gestire quantità di dati dei clienti che aumentano in modo potenzialmente esponenziale, provenienti da tutto il mondo.

Sanità

I fornitori di servizi sanitari di qualsiasi dimensione, pubblici o privati, trattano enormi volumi di dati e informazioni sui clienti. Grazie ai framework Hadoop, dottori, infermieri e assistenti possono accedere alle informazioni di cui hanno bisogno, quando ne hanno bisogno, oltre ad aggregare facilmente i dati per ricavarne informazioni fruibili. Questo vale per questioni di salute pubblica, miglioramento delle diagnosi, miglioramento delle cure e molto altro.

Anche gli enti accademici e di ricerca possono sfruttare un framework Hadoop per potenziare la loro attività. Prendiamo ad esempio il campo delle malattie genetiche, tra cui il cancro. Il genoma umano è stato mappato e, in totale, esistono quasi tre miliardi di paia di basi. In teoria, tutto quello che serve per curare una pletora di malattie è ora davanti ai nostri occhi.

Ma, per identificare relazioni complesse, serviranno sistemi come Hadoop per elaborare una tale quantità di informazioni.

Sicurezza e rispetto della legge

Hadoop può contribuire ad aumentare l'efficacia della sicurezza nazionale e locale. Quando bisogna risolvere crimini correlati commessi in diverse regioni, un framework Hadoop può semplificare il processo per le forze dell'ordine associando due eventi apparentemente scollegati. Abbattendo i tempi necessari per trovare correlazioni fra i casi, le forze dell'ordine potranno inviare avvisi alle agenzie di altri Paesi e al pubblico con la massima rapidità.

Nel 2013, la National Security Agency (NSA) americana ha stabilito che il software open-source Hadoop era superiore alle alternative molto più costose implementate fino a quel momento. Oggi l'agenzia utilizza il framework per individuare minacce terroristiche, informatiche e di altro genere.

Come funziona Hadoop?

Hadoop è un framework che consente la distribuzione di set di dati giganteschi su un cluster di hardware comune. Hadoop elabora i dati in parallelo su più server contemporaneamente.

I client inviano dati e programmi ad Hadoop. In parole semplici, HDFS (componente chiave di Hadoop) gestisce i metadati e il file system distribuito. Successivamente, Hadoop MapReduce elabora e converte i dati di ingresso/uscita. Infine, YARN ripartisce i compiti sul cluster.

Con Hadoop, i client possono contare su un uso molto più efficiente di risorse comuni (commodity), con disponibilità elevata e rilevamento integrato dei guasti. Inoltre, i client possono fare affidamento su tempi di risposta rapidi quando eseguono query con sistemi aziendali collegati.

Nel complesso, Hadoop offre una soluzione relativamente semplice per le organizzazioni che cercano di sfruttare al meglio i Big Data.

In quale linguaggio è scritto Hadoop?

Il framework Hadoop è realizzato prevalentemente in Java. Altri linguaggi di programmazione utilizzati comprendono una parte di codice nativo in C e scripting di shell per le righe di comando. Tuttavia, i programmi Hadoop possono essere scritti in molti altri linguaggi, fra cui Python e C++. I programmatori godono quindi della flessibilità necessaria per lavorare con gli strumenti a loro più familiari.

Come usare Hadoop

Come accennato, Hadoop offre una soluzione semplice alle organizzazioni che devono gestire Big Data. Questo non significa però che sia sempre facile da usare. Come si evince dai casi d'uso descritti in precedenza, la modalità con cui si decide di implementare il framework Hadoop è piuttosto flessibile.

Come analisti, data scientist e sviluppatori decideranno di usare Hadoop dipenderà dall'organizzazione e dai suoi obiettivi.

Hadoop non è adatto a tutte le aziende, ma la maggior parte dovrebbe rivalutare il proprio rapporto con Hadoop. Se la tua azienda gestisce grandi quantità di dati nell'ambito dei propri processi chiave, Hadoop offre una soluzione flessibile, scalabile ed economica per le tue esigenze. Tutto il resto è lasciato all'immaginazione e alle capacità tecniche del team.

Esempi di query con Hadoop

Ecco alcuni esempi di come eseguire query con Hadoop.

Apache Hive

Apache Hive è stata la prima soluzione per eseguire query SQL con Hadoop. Questo modulo emula il comportamento, la sintassi e l'interfaccia di MySQL per una programmazione semplice. È un'ottima scelta per chi già fa molto uso di applicazioni Java, avendo in dotazione un'API Java e driver JDBC integrati. Hive offre una soluzione veloce e semplice per gli sviluppatori, ma è anche molto limitata, perché il software è piuttosto lento e limitato da funzionalità di sola lettura.

IBM BigSQL

Questa proposta di IBM è un motore SQL per elaborazione a elevato parallelismo (MPP) ad alte prestazioni per Hadoop. Questa soluzione per le query è rivolta alle imprese che hanno bisogno di facilità in un ambiente stabile e sicuro. Oltre ad accedere ai dati su HDFS, può estrarre dati da RDBMS, database NoSQL, WebHDS e altre sorgenti di dati.

Che cos'è l'ecosistema Hadoop?

Il termine Hadoop è un nome generico che si può riferire a uno dei seguenti elementi:

• L'ecosistema Hadoop nel suo complesso, che comprende sia i moduli principali, sia i relativi sottomoduli.
• I moduli Hadoop principali, che comprendono Hadoop Distributed File System (HDFS), Yet Another Resource Negotiator (YARN), MapReduce e Hadoop Common (descritti più avanti). Questi sono i "pilastri" di una tipica implementazione di Hadoop.
• I sottomoduli relativi ad Hadoop, fra cui Apache Hive, Apache Impala, Apache Pig, Apache Zookeeper, Apache Flume e molti altri. Questi componenti software correlati possono essere utilizzati per personalizzare, migliorare o estendere la funzionalità del nucleo di Hadoop.

Quali sono i moduli principali di Hadoop?

• HDFS - Hadoop Distributed File System. HDFS è un sistema basato su Java che consente di conservare grandi set di dati sui nodi di un cluster garantendo la tolleranza ai guasti.
• YARN - Yet Another Resource Negotiator. YARN viene utilizzato per gestire le risorse del cluster, pianificare le attività e programmare i lavori che girano su Hadoop.
• MapReduce - MapReduce è sia un modello di programmazione, sia un motore di elaborazione di Big Data per l'elaborazione in parallelo di grandi set di dati. Originariamente MapReduce era l'unico motore di esecuzione disponibile per Hadoop. Successivamente Hadoop ha aggiunto il supporto per altri motori, fra cui Apache Tez e Apache Spark.
• Hadoop Common - Hadoop Common fornisce un pacchetto di servizi su librerie e utility per supportare gli altri moduli Hadoop.

Quali sono i componenti dell'ecosistema Hadoop?

L'ecosistema Hadoop è costituito da numerosi componenti chiave.

HDFS

Hadoop Distributed File System è il sistema che si occupa di tutta la conservazione dei dati. Questo componente gestisce grandi set di dati su vari nodi di dati strutturati e non. Contemporaneamente mantiene i metadati in forma di file di registro (log). Esistono due componenti secondari di HDFS: NameNode e DataNode.

NameNode

Il Daemon master di Hadoop HDFS è NameNode. Questo componente mantiene lo spazio dei nomi (namespace) del file system e regola l'accesso dei client a tali file. Viene detto anche nodo master e memorizza metadati come il numero di blocchi e le loro posizioni. È costituito principalmente da file e directory ed esegue operazioni del file system come nominare, chiudere e aprire i file.

DataNode

Il secondo componente è il Daemon slave e viene chiamato DataNode. Questo componente di HDFS memorizza i dati o blocchi veri e propri poiché esegue funzioni di lettura e scrittura richieste dal client. Questo significa che DataNode è responsabile anche per la creazione, la cancellazione e la duplicazione di repliche su istruzione del NameNode master.

DataNode è costituito da due file system, one per i dati e uno per registrare i metadati dei blocchi. Quando viene avviata un'applicazione, i Daemon master e slave dialogano mediante handshaking per verificare la versione del namespace e del software. Qualsiasi discrepanza comporta l'arresto automatico del DataNode.

MapReduce

Hadoop MapReduce è il componente di elaborazione principale dell'ecosistema Hadoop. Questo software offre un framework semplice per la scrittura di applicazioni quando bisogna gestire ingenti quantità di dati strutturati e non. Questo risultato si ottiene agevolando l'elaborazione in parallelo di dati su svariati nodi su hardware comune.

MapReduce gestisce la programmazione dei lavori richiesti dal client. I compiti richiesti dall'utente vengono suddivisi in compiti e processi indipendenti. Poi, questi lavori di MapReduce vengono differenziati in sottoattività distribuite su cluster e nodi di tutti i server.

Questa operazione avviene in due fasi: fase Map e fase Reduce. Nella fase Map, i dati vengono convertiti in un altro set di dati suddivisi in coppie chiave/valore. Successivamente, la fase Reduce converte l'output in base alle indicazioni del programmatore attraverso la classe InputFormat.

I programmatori specificano due funzioni principali in MapReduce. La funzione Map è la logica operativa di elaborazione dei dati. La funzione Reduce produce un riepilogo e aggrega i dati intermedi generati dalla funzione Map, producendo l'output finale.

YARN

In parole semplici, Hadoop YARN è una versione più nuova e notevolmente migliorata di MapReduce. Tuttavia, questa descrizione non è completa. Infatti YARN viene utilizzato anche per programmazione ed elaborazione e per l'esecuzione delle sequenze di lavori. YARN è il livello di gestione delle risorse di Hadoop in cui ogni lavoro gira sui dati come applicazione Java separata.

Fungendo da sistema operativo del framework, YARN consente di gestire su un'unica piattaforma elaborazioni in batch e dati di tipo f (virgola mobile). Andando ben oltre le capacità di MapReduce, YARN consente ai programmatori di costruire applicazioni in streaming interattive e in tempo reale.

Con YARN i programmatori possono eseguire tutte le applicazioni necessarie sullo stesso cluster. Il sistema offre una piattaforma sicura e stabile per la gestione operativa e la condivisione di risorse di sistema per la massima efficienza e flessibilità.

Quali sono gli esempi di software diffusi legati ad Hadoop?

Altri pacchetti diffusi che non fanno strettamente parte dei moduli principali di Hadoop ma vengono utilizzati frequentemente in combinazione con essi comprendono:

• Apache Hive, un software di data warehouse che gira su Hadoop e consente di lavorare con dati in HDFS utilizzando un linguaggio di query simile a SQL chiamato HiveQL.
• Apache Impala, il database di analisi open-source nativo per Apache Hadoop.
• Apache Pig, uno strumento generalmente utilizzato con Hadoop come astrazione su MapReduce per analizzare grandi set di dati rappresentati come flussi di dati. Pig esegue operazioni come Join, Filter, Sort e Load.
• Apache Zookeeper, un servizio centralizzato per abilitare l'elaborazione distribuita ad alta affidabilità.
• Apache Sqoop, uno strumento progettato per trasferire in modo efficiente dati in massa fra Apache Hadoop e datastore strutturati come i database relazionali.
• Apache Oozie, un sistema di schedulazione dei flussi di lavoro per gestire lavori Apache Hadoop. I lavoro Oozie Workflow sono grafici aciclici orientati (DAG) di azioni.

Abbiamo stuzzicato il tuo interesse? Approfondisci la conoscenza dell'ecosistema Hadoop.

Come usare Hadoop per l'analisi

A seconda delle sorgenti di dati e delle esigenze dell'organizzazione, esistono tre modi principali per utilizzare il framework Hadoop per l'analisi.

Implementazione nel data center aziendale

Questa è spesso un'opzione efficace e finanziariamente solida per le aziende che dispongono delle risorse necessarie. Diversamente, allestire le apparecchiature tecniche e lo staff IT necessari potrebbe esaurire le risorse finanziarie e di personale. Questa opzione offre sicuramente alle aziende un maggiore controllo sulla sicurezza e riservatezza dei dati.

Andare in cloud

Le aziende che desiderano un'implementazione molto più rapida, costi iniziali inferiori e minore manutenzione preferiranno utilizzare un servizio in cloud. Con un provider cloud, dati e analisi girano su hardware comune installato in cloud. Questi servizi snelliscono l'elaborazione dei Big Data a un prezzo accessibile ma comportano alcuni svantaggi.

In primo luogo, tutto ciò che risiede nella rete Internet pubblica è alla mercé di hacker e altri criminali informatici. In secondo luogo, le interruzioni di servizio dei fornitori di servizi Internet e di rete possono bloccare completamente i sistemi di un'azienda. Per gli utenti di framework esistenti, potrebbe essere necessario migrare da Hadoop all'architettura lakehouse.

Fornitori on-premise

Chi punta a migliorare l'uptime, la riservatezza e la sicurezza avrà tutte e tre le cose con un fornitore di Hadoop on-premise. Queste aziende offrono il meglio di entrambi i mondi. Possono snellire il processo fornendo tutte le apparecchiature, il software e i servizi. Ma, poiché l'infrastruttura è installata presso il cliente (on-premise), l'azienda ha tutti i benefici di cui godono le grandi organizzazioni con data center propri.

Quali sono i vantaggi di Hadoop?

• Scalabilità - A differenza dei sistemi tradizionali che limitano lo stoccaggio dei dati, Hadoop è scalabile perché opera in un ambiente distribuito. Questo ha consentito ai data architect di sviluppare i primi data lake su Hadoop. Maggiori informazioni sulla storia ed evoluzione dei data lake.
• Resilienza - Hadoop Distributed File System (HDFS) è fondamentalmente resiliente. I dati memorizzati su qualsiasi nodo di un cluster Hadoop sono replicati anche su altri nodi del cluster per essere pronti nell'eventualità di guasti hardware o software. Questa concezione intenzionalmente ridondante assicura la tolleranza ai guasti. Se un nodo viene meno, c'è sempre un backup dei dati disponibile all'interno del cluster.
• Flessibilità - Diversamente dai sistemi di gestione dei database relazionali, quando si lavora con Hadoop i dati possono essere conservati in qualsiasi formato, inclusi dati semi-strutturati o non strutturati. Hadoop consente alle aziende di accedere facilmente a nuove sorgenti di dati e attingere a diversi tipi di dati.

Quali sono le problematiche delle architetture Hadoop?

• Complessità - Hadoop è un framework di basso livello basato su Java che può essere estremamente complesso e difficile da utilizzare per gli utenti finali. Le architetture Hadoop possono anche richiedere notevoli competenze e risorse per la configurazione, la manutenzione e l'aggiornamento.
• Prestazioni - Hadoop esegue frequenti letture e scritture su disco per eseguire i calcoli; questo processo è lungo e inefficiente rispetto ai framework che memorizzano ed elaborano i dati quanto più possibile in memoria, come Apache Spark.
• Praticabilità a lungo termine - Nel 2019 il mondo ha assistito a una grave disfatta di Hadoop. Google, che con il suo documento su MapReduce nel 2004 aveva posto le basi per la nascita di Apache Hadoop, ha sospeso completamente l'uso di MapReduce, come annunciato con un tweet da Urs Hölzle, Google SVP of Technical Infrastructure. Nel mondo di Hadoop si sono anche verificate fusioni e acquisizioni ad alto livello. Inoltre, nel 2020, un primario fornitore di Hadoop ha spostato la sua gamma di prodotti da sempre incentrata su Hadoop, poiché Hadoop viene ora considerato "più una filosofia che una tecnologia." Infine, il 2021 è stato un anno di cambiamenti interessanti. Ad aprile 2021, la Apache Software Foundation ha annunciato il ritiro di dieci progetti dall'ecosistema Hadoop. Poi, a giugno 2021, Cloudera è tornata a essere privata. L'impatto di questa scelta sugli utenti di Hadoop non si è ancora manifestato. Queste preoccupazioni, abbinate alle crescenti esigenze di digitalizzazione, hanno spinto molte aziende a rivalutare il loro rapporto con Hadoop.

Quali aziende usano Hadoop?

L'adozione di Hadoop sta diventando lo standard per multinazionali e imprese di successo. Riportiamo di seguito un elenco di aziende che utilizzano attualmente Hadoop.

• Adobe - l'azienda di software e servizi usa Apache Hadoop e HBase per lo stoccaggio di dati e altri servizi.
• eBay - usa il framework per l'ottimizzazione del motore di ricerca e per attività di ricerca.
• A9 - società controllata di Amazon che si occupa di tecnologie per motori di ricerca e pubblicità associata alla ricerche online.
• LinkedIn - l'azienda che gestisce uno dei social network più popolari per le relazioni professionali e lavorative usa molti moduli di Apache fra cui Hadoop, Hive, Kafka, Avro e DataFu.
• Spotify - il colosso svedese della musica in streaming usa il framework Hadoop per analisi e reportistica, oltre che per la generazione di contenuti e i consigli di ascolto.
• Facebook - il gigante dei social media gestisce il cluster Hadoop più grande del mondo, con un set di dati che cresce di mezzo PB al giorno, secondo quanto segnalato dalla stessa azienda.
• InMobi - la piattaforma marketing per dispositivi mobile usa HDFS e Apache Pig/MRUnit per analisi, data science e machine learning.

Quanto costa Hadoop?

Il framework Hadoop in sé è un'applicazione Java open-source. Questo significa che, a differenza di soluzioni alternative per la gestione di Big Data, è gratuito. Naturalmente, i costi per il software commodity necessario variano in base all'entità dell'installazione.

I servizi che implementano framework Hadoop prevedono diverse modalità di tariffazione:

1. Per nodo, la più diffusa
2. Per TB
3. Prodotto "freemium" con o senza assistenza tecnica solo in abbonamento
4. Pacchetto "tutto compreso" con hardware e software
5. Servizio in cloud con diverse fasce di prezzo, che consentono sostanzialmente di pagare in base all'utilizzo

Approfondisci le problematiche di Hadoop e informati sulla transizione a piattaforme di dati moderne leggendo il nostro blog.