Databricks 랩
Databricks Labs는 고객이 사용 사례를 프로덕션에 더 빠르게 적용할 수 있도록 현장 팀에서 만든 프로젝트입니다.
DBX
이 도구는 여러 환경에서 작업 시작, 배포 프로세스를 단순화합니다. 또한, 프로젝트를 패키징하여 Databricks 환경에 버전별로 배포하는 데 도움이 됩니다. CLI 중심으로 설계되어서, 내부 CI/CD 파이프라인과 빠른 프로토타이핑을 위한 로컬 툴링에서 능동적으로 사용할 수 있습니다.
Tempo
이 프로젝트의 목적은 Apache Spark™를 기반으로 시계열을 조작하기 위한 API를 제공하는 것입니다. 기능에는 지연된 시간 값을 사용한 기능화, 롤링 통계(평균, 평균, 합계, 개수 등), AS OF 조인, 다운샘플링 및 보간이 포함됩니다. 이것은 과거 데이터의 TB 규모에서 테스트되었습니다.
모자이크
Mosaic은 일반적인 오픈 소스 지리 공간 라이브러리와 Apache Spark™️를 함께 바인딩하여 확장 가능한 지리 공간 데이터 파이프라인의 구현을 간소화하는 도구입니다. Mosaic은 또한 일반적인 지리 공간 사용 사례에 대한 일련의 예제와 모범 사례를 제공합니다. ST_ 표현식 및 GRID_ 표현식을 위한 API를 제공하여 H3 및 British National Grid와 같은 그리드 인덱스 시스템을 지원합니다.
기타 프로젝트
Splunk 통합
Splunk Enterprise 및 Splunk Cloud 사용자가 쿼리를 실행하고 노트북 및 작업 실행과 같은 작업을 실행할 수 있도록 하는 앱인Splunk용 추가 기능 Databricks.
Smolder
Smolder는 HL7v2 메시지 형식에서 EHR 데이터를 로드하기 위한 Apache Spark™ SQL 데이터 원본을 제공합니다. 또한 Smolder는 Spark SQL DataFrame에서 HL7 메시지 텍스트를 구문 분석하고 메시지에서 세그먼트, 필드 및 하위 필드를 추출하는 데 사용할 수 있는 도우미 함수를 제공합니다.
Geoscan
육각형 계층적 공간 인덱스 를 기반으로 하는 밀도 기반 공간 cluster 에 대한 Apache Spark ML Estimator입니다.
데이터 생성기
프로젝트와 관련이 있는 데이터를 빠르게 생성합니다. Databricks 데이터 생성기를 사용하여 테스트, PoC 등의 용도로 대규모 시뮬레이션/합성 데이터 세트 생성
DLT-메타
이 프레임워크를 사용하면 delta live table 및 메타데이터를 사용하여 데이터를 쉽게 수집할 수 있습니다. DLT-META를 사용하면 한 명의 데이터 엔지니어가 수천 개의 테이블을 쉽게 관리할 수 있습니다. 몇몇 Databricks 고객은 프로덕션에서 1000+ 테이블을 처리하기 위해 DLT-META를 사용하고 있습니다.
https://github.com/databrickslabs 의 모든 프로젝트는 계정은 탐색 분석용으로만 제공되며 SLA(서비스 수준 계약)가 있는 Databricks 에서 공식적으로 지원하지 않습니다. 그것들은 있는 그대로 제공되며 우리는 어떤 종류의 보증도 하지 않습니다. 이러한 프로젝트의 사용으로 인해 발생하는 문제와 관련된 지원 티켓을 제출하지 마십시오. 이 프로젝트를 사용하여 발견된 모든 문제는 리포지토리에 GitHub 문제로 제출해야 합니다. 시간이 허락하는 대로 검토되지만 지원을 위한 공식적인 SLA는 없습니다.