Ir para o conteúdo principal

Photon

A engine de última geração para o Lakehouse

Photon

O Photon é a engine de última geração da Plataforma Databricks Lakehouse que oferece desempenho de query extremamente rápido a um custo baixo para ingestão de dados, ETL, streaming, data science e queries interativas, diretamente no seu data lake. O Photon é compatível com a API Apache Spark™. Portanto, basta “virar o botão” para começar, sem alterações de código ou outras restrições.

secondary-icon-graphic-28

Mais barato e mais rápido

Projetado desde o início para o desempenho mais rápido a um custo menor, o Photon oferece economia de até 80% no custo total de propriedade (TCO), acelerando as cargas de trabalho de dados e análises em até 12 vezes.

secondary-icon-graphic-7.

Criado para todos os casos de uso

O Photon é o primeiro engine a permitir que as equipes de dados padronizem um conjunto de APIs para todas as cargas de trabalho, como ETL, análise e data science, em modo batch ou streaming.

Icon Graphic

Sem alterações de código

O Photon é uma engine compatível com ANSI projetada para ser compatível com as APIs Apache Spark modernas e funciona com seu código existente, como SQL, Python, R, Scala e Java. Nenhum código precisa ser reescrito.

Photon

Por que Photon?

O desempenho da query na Databricks melhorou progressivamente ao longo dos anos, graças ao Apache Spark e milhares de otimizações fornecidas como parte do Databricks Runtimes (DBR). O Photon, uma nova engine nativa vetorizada escrita inteiramente em C++, oferece o dobro de velocidade adicional no benchmark TPC-DS 1TB. Além disso, os clientes observaram velocidades de três a oito vezes mais rápidas em média, dependendo da carga de trabalho, em comparação com as versões mais recentes do DBR.

Casos de uso

Icon

Jobs de produção

Acelere jobs de produção em larga escala em SQL e Spark DataFrames

Icon

Aplicativos de IoT

Análise de séries temporais mais rápida com o Photon em comparação com o Spark e o Databricks Runtime tradicional

Icon

Privacidade e conformidade de dados

Veja a query de conjuntos de dados em escala de petabytes para localizar e excluir registros sem duplicar dados com Delta Lake, jobs de produção de Photon

Icon

Carregando dados no Delta Lake e Parquet

A E/S vetorizada do Photon acelera o carregamento de dados para tabelas Delta Lake e Parquet, reduzindo o runtime geral e o custo dos jobs de data engineering

Photon Graph

Como funciona?

Melhor preço/desempenho para análises na nuvem

Escrito desde o início em C++, o Photon usa hardware moderno para queries mais rápidas, com preço/desempenho até 12 vezes melhor do que outros data warehouses em nuvem, tudo nativamente no seu data lake.

Photon diagram
Funciona com código existente e não se compromete com nenhum provedor

O Photon foi projetado para ser compatível com Apache Spark DataFrame e APIs SQL, para garantir que as cargas de trabalho sejam executadas sem problemas e sem alterações de código. Tudo o que você precisa fazer para colher os benefícios do Photon é “girar a chave”. O Photon coordenará o trabalho e os recursos de maneira totalmente integrada e acelerará de forma transparente partes das queries SQL e Spark. Nenhum ajuste ou intervenção do usuário é necessário.

Photon diagram
Otimize para todos os casos de uso e cargas de trabalho de dados

O Photon nasceu com foco no SQL para fornecer aos clientes desempenho avançado de data warehouse em seus data lakes, mas desde então expandimos a oferta de fontes de aquisição, formatos, APIs e métodos suportados pelo Photon. Os clientes se beneficiaram, portanto, de reduções drásticas nos custos de infraestrutura e maior velocidade no Photon em todas as suas cargas de trabalho Spark (por exemplo, Spark SQL e DataFrame).

Recursos

Tudo pronto para começar?