Apache Kylin
Che cos'è Apache Kylin?
Apache Kylin è un motore di elaborazione analitica online (OLAP) distribuito e open source per l'analisi interattiva dei Big Data. È stato progettato per fornire un'interfaccia SQL e analisi multidimensionale (OLAP) su Hadoop/Spark. Inoltre, si integra facilmente con strumenti di BI tramite driver ODBC, driver JDBC e API REST. Creato da eBay nel 2014, è diventato un Top Level Project della Apache Software Foundation appena un anno dopo, nel 2015, e ha vinto il premio come miglior strumento open source per Big Data sia nel 2015 che nel 2016. Attualmente, viene utilizzato da migliaia di aziende in tutto il mondo come applicazione essenziale per l'analisi dei Big Data. Mentre altri motori OLAP faticano a gestire volumi di dati elevati, Kylin consente risposte alle query nell'ordine dei millisecondi, garantendo una latenza a livello di frazioni di secondo anche su set di dati che scalano fino ai petabyte. La sua incredibile velocità deriva dal precalcolo delle varie combinazioni dimensionali e degli aggregati delle misure tramite query Hive, i cui risultati vengono poi memorizzati in HBase. 
Come funziona Apache Kylin?
Il motore di query Kylin, accessibile tramite l'interfaccia utente intuitiva di Kylin, un'API o JDBC, sfrutta il processore di query Apache Calcite e le funzionalità di HBase per ricerche rapide. Kylin si basa sull'ecosistema Hadoop:
- Hive – Fonte di input, pre-join dello schema a stella durante la costruzione dei cubi
- MapReduce – Aggrega le metriche durante la costruzione dei cubi
- HDFS – Memorizza file intermedi durante la costruzione dei cubi
- HBase – Memorizza e interroga i cubi di dati
- Calcite – Parsing SQL, generazione di codice, ottimizzazione Cosa può fare Apache Kylin per la tua organizzazione?
- Motore OLAP estremamente veloce e scalabile - Kylin è progettato per ridurre la latenza delle query su Hadoop e può elaborare oltre 10 miliardi di righe di dati a pochi secondi
- Interfaccia ANSI SQL su Hadoop - Kylin offre ANSI SQL su Hadoop e supporta la maggior parte delle funzioni di query ANSI SQL. Può essere utilizzato facilmente sia da analisti che da ingegneri in quanto non richiede alcuna programmazione
- Integrazione perfetta con strumenti di BI - Attualmente, Kylin offre capacità di integrazione con strumenti di BI come Tableau, JDBC/ODBC/Rest API
- Capacità di query interattiva - Gli utenti possono interagire con i dati di Hadoop tramite Kylin con una latenza inferiore al secondo
- Servizio di query MOLAP su miliardi di righe - Gli utenti possono definire un modello di dati e pre-costruirlo in Kylin, anche se contiene oltre 10 miliardi di record di dati grezzi.
Driver ODBC open-source - Il driver ODBC di Kylin è stato creato da zero e funziona molto bene con Tableau.