Photon
A engine de última geração para o Lakehouse
O Photon é a engine de última geração da Plataforma Databricks Lakehouse que oferece desempenho de query extremamente rápido a um custo baixo para ingestão de dados, ETL, streaming, data science e queries interativas, diretamente no seu data lake. O Photon é compatível com a API Apache Spark™. Portanto, basta “virar o botão” para começar, sem alterações de código ou outras restrições.
Mais barato e mais rápido
Projetado desde o início para o desempenho mais rápido a um custo menor, o Photon oferece economia de até 80% no custo total de propriedade (TCO), acelerando as cargas de trabalho de dados e análises em até 12 vezes.
Criado para todos os casos de uso
O Photon é o primeiro engine a permitir que as equipes de dados padronizem um conjunto de APIs para todas as cargas de trabalho, como ETL, análise e data science, em modo batch ou streaming.
Sem alterações de código
O Photon é uma engine compatível com ANSI projetada para ser compatível com as APIs Apache Spark modernas e funciona com seu código existente, como SQL, Python, R, Scala e Java. Nenhum código precisa ser reescrito.
Por que Photon?
O desempenho da query na Databricks melhorou progressivamente ao longo dos anos, graças ao Apache Spark e milhares de otimizações fornecidas como parte do Databricks Runtimes (DBR). O Photon, uma nova engine nativa vetorizada escrita inteiramente em C++, oferece o dobro de velocidade adicional no benchmark TPC-DS 1TB. Além disso, os clientes observaram velocidades de três a oito vezes mais rápidas em média, dependendo da carga de trabalho, em comparação com as versões mais recentes do DBR.
Casos de uso
Jobs de produção
Acelere jobs de produção em larga escala em SQL e Spark DataFrames
Aplicativos de IoT
Análise de séries temporais mais rápida com o Photon em comparação com o Spark e o Databricks Runtime tradicional
Privacidade e conformidade de dados
Veja a query de conjuntos de dados em escala de petabytes para localizar e excluir registros sem duplicar dados com Delta Lake, jobs de produção de Photon
Carregando dados no Delta Lake e Parquet
A E/S vetorizada do Photon acelera o carregamento de dados para tabelas Delta Lake e Parquet, reduzindo o runtime geral e o custo dos jobs de data engineering
Como funciona?
Escrito desde o início em C++, o Photon usa hardware moderno para queries mais rápidas, com preço/desempenho até 12 vezes melhor do que outros data warehouses em nuvem, tudo nativamente no seu data lake.
O Photon foi projetado para ser compatível com Apache Spark DataFrame e APIs SQL, para garantir que as cargas de trabalho sejam executadas sem problemas e sem alterações de código. Tudo o que você precisa fazer para colher os benefícios do Photon é “girar a chave”. O Photon coordenará o trabalho e os recursos de maneira totalmente integrada e acelerará de forma transparente partes das queries SQL e Spark. Nenhum ajuste ou intervenção do usuário é necessário.
O Photon nasceu com foco no SQL para fornecer aos clientes desempenho avançado de data warehouse em seus data lakes, mas desde então expandimos a oferta de fontes de aquisição, formatos, APIs e métodos suportados pelo Photon. Os clientes se beneficiaram, portanto, de reduções drásticas nos custos de infraestrutura e maior velocidade no Photon em todas as suas cargas de trabalho Spark (por exemplo, Spark SQL e DataFrame).
