Photon

레이크하우스의 차세대 엔진

Photon은 Databrick 레이크하우스 플랫폼의 차세대 엔진으로, 데이터 레이크에서 직접 저렴한 비용으로 데이터 수집, ETL, 스트리밍, 데이터 사이언스, 대화형 쿼리 등을 매우 빠르게 처리합니다. Photon은 Apache Spark™ API와 호환되므로 코드 변경이나 벤더 종속 없이 켜기만 하면 시작됩니다.

Cheaper and faster

Built from the ground up for the fastest performance at lower cost, Photon provides up to 80% TCO savings while accelerating data and analytics workloads — up to 12x speedups.

Built for all use cases

Photon is the first engine that enables data teams to standardize on one set of APIs for all workloads — ETL, analytics and data science — in batch or streaming.

No code changes

Photon is an ANSI-compliant engine designed to be compatible with modern Apache Spark APIs and just works with your existing code — SQL, Python, R, Scala and Java — no rewrite required.

Photon을 선택해야 하는 이유

Databricks의 쿼리 성능은 Apache Spark와 Databricks Runtime(DBR)의 일부로 패키징된 수천 개의 최적화를 통해 몇 년 동안 꾸준히 증가했습니다. C++로만 작성된 새로운 네이티브 벡터 엔진인 Photon은 TPC-DS 1TB 벤치마크당 속도가 2배 이상 빨라지며, 고객은 최신 DBR 버전이 비해 워크로드를 기준으로 평균 3~8배의 속도 향상을 경험했습니다.

사용 사례

Production jobs

Accelerate large-scale production jobs on SQL and Spark DataFrames

IoT applications

Faster time-series analysis using Photon compared to Spark and traditional Databricks Runtime

Data privacy and compliance

Query petabyte-scale data sets to identify and delete records without duplicating data with Delta Lake, production jobs and Photon

Loading data into Delta Lake and Parquet

Photon’s vectorized I/O speeds up data loads for Delta Lake and Parquet tables, lowering overall runtime and the cost of data engineering jobs

어떻게 작동하나요?

클라우드 분석 시 탁월한 가성비 제공

처음부터 C++로 작성된 Photon은 쿼리 실행 속도를 높이기 위해 최신 하드웨어를 활용하여 다른 클라우드 데이터 웨어하우스에 비해 최대 12배 향상된 가성비를 제공하며, 모두 기본적으로 데이터 레이크를 기반으로 합니다.

기존 코드 활용 및 벤더 종속 방지

Photon은 Apache Spark DataFrame 및 SQL API와 호환되도록 설계되어 코드 변경 없이도 워크로드가 원활하게 실행되도록 합니다. Photon의 이점을 누리기 위해서는 시스템을 켜기만 하면 됩니다. Phonton은 작업과 리소스를 원활하게 조정하고 SQL 및 Spark 쿼리의 일부를 투명한 방식으로 가속화합니다. 조정이나 사용자 개입이 필요하지 않습니다.

모든 데이터 사용 사례 및 워크로드에 최적화

초기에 Photon은 고객에게 데이터 레이크에 대한 세계 최고 수준의 데이터 웨어하우징 성능을 제공하기 위해 SQL에 주력했지만, 이후 Photon이 지원하는 수집 소스, 형식, API 및 방법의 범위를 크게 늘렸습니다. 그 결과, 고객은 Spark SQL 및 DataFrame과 같은 모든 최신 Spark 워크로드에서 Photon의 인프라 비용을 획기적으로 절감하고 속도를 높일 수 있었습니다.