Partner Connect

레이크하우스로 데이터, 분석 및 AI 솔루션을 간편하게 탐색 및 통합
데모 보기
배경 이미지
Partner Connect를 사용하면 Databricks 플랫폼에서 직접 데이터, 분석 및 AI 도구를 손쉽게 탐색하고, 현재 사용하고 있는 도구에 빠르게 통합할 수 있습니다. Partner Connect에서는 클릭 몇 번만으로 도구 통합을 간소화하고 레이크하우스의 기능을 신속히 확장할 수 있습니다.

레이크하우스 통합

데이터와 AI 도구를
레이크하우스에 연결

원하는 데이터 및 AI 도구를 레이크하우스에 간편하게 연결하고 모든 분석 사용 사례 지원

새로운 사용 사례를 위한
검증된 데이터 및 AI 솔루션 탐색

검증된 파트너 솔루션으로 이루어진 원스톱 포털을 통해 다음 데이터 애플리케이션 구축 기간 단축

클릭 몇 번으로
사전 구축된 통합 설정

Partner Connect는 클러스터, 토큰, 연결 파일 등의 리소스를 자동으로 구성하여 파트너 솔루션에 연결함으로써 통합 작업 간소화

파트너로 시작하기

Databricks 파트너는 고객에게 더욱 빠른 분석 인사이트를 제공할 역량을 갖추고 있습니다. Databricks의 개발 및 파트너 리소스를 활용하여 클라우드 기반 오픈 플랫폼과 함께 성장하세요.

파트너 되기

“오랜 파트너십을 바탕으로 구축된 Partner Connect는 우리 회사와 고객 간의 통합 환경을 설계하는 데 유용합니다. Partner Connect를 통해 현재 Fivetran을 사용하거나 Partner Connect에서 우리 회사를 발견한 수천 곳의 Databricks 고객사에 보다 쉽게 간소화된 경험을 제공하고 있으며, 고객사에서는 데이터의 인사이트와 더욱 다양한 분석 사용 사례를 검색하고, 수백 개의 데이터 소스를 레이크하우스로 간편하게 연결해 레이크하우스를 통한 가치 창출 기간을 단축합니다.”

— George Fraser, Fivetran CEO

데모







영상 대본

Fivetran 데모

Databricks에서 Fivetran로 연결하여 데이터 확보와 유지관리 여정을 간소화하세요. Fivetran의 완전 관리형 커넥터를 활용하여 수백 개의 데이터 소스로 연결할 수 있습니다. Fivetran은 데이터 소스의 변경 데이터 캡처도 지원합니다.

Databricks와 Fivetran는 Databricks Partner Connect를 통해 협력하며 두 제품에 매끄러운 통합 환경 제공합니다.

사용자는 Partner Connect에서 클릭 몇 번만으로 Fivetran을 탐색하여 연결할 수 있습니다.

Partner Connect에서 Fivetran을 클릭하면 두 제품 간의 자동 워크플로가 시작됩니다.
– Databricks는 SQL 엔드포인트 및 Fivetran에서 상호작용하기 위한 관련 자격 증명을 자동으로 프로비저닝하고 모범 사례를 엔드포인트 구성에 적용합니다.
– Databricks는 안전한 API를 통해 자동으로 Fivetran에 사용자 자격 증명과 SQL 엔드포인트 구성을 제공합니다.

그런 다음, Fivetran의 제품으로 이동해 Fivetran 평가판에 등록할 수 있고, 기존 고객이라면 Fivetran에 로그인할 수 있습니다. Fivetran에서는 무료 계정을 자동으로 설정합니다.

Fivetran에서는 Databricks Partner Connect를 통해 유입된 사용자를 인식하고 Parnter Connect에서 자동 구성된 SQL 엔드포인트를 통해 Delta로 데이터를 가져올 Databricks 대상을 자동으로 구성합니다(영상을 잠시 멈추고 왼쪽 상단의 “Databricks Partner – demo_cloud” 아이콘을 확대하거나 하이라이트하여 설정이 완료된 자동 Databricks 대상을 강조하면 도움이 됩니다).

Databricks Delta 대상이 이미 설정되어 있으므로, 사용자는 이제 데이터를 가져올 소스를 선택하면 됩니다. 저희는 Salesforce를 소스로 사용하겠습니다(사용자는 Fivetran이 지원하는 수백 가지의 소스를 자유롭게 선택할 수 있습니다). 사용자가 Salesforce 소스에 인증하고, Databricks Delta로 가져올 Salesforce 개체(이 경우, 계정 및 연락처 개체)를 선택하고 최초 동기화를 시작합니다.

로그를 클릭하면 Favetran이 API를 사용하여 Salesforce에서 데이터를 읽은 다음, 자동 설정된 SQL 엔드포인트를 통해 Databricks Delta로 입력하는 것을 확인할 수 있습니다.

Salesforce에서 Databricks Delta로의 동기화 빈도도 Fivetran에서 구성할 수 있습니다.

대상을 클릭하면 Databricks Partner Connect를 통해 Fivetran으로 가져와 자동 생성한 SQL 엔드포인트 구성의 자세한 정보가 표시됩니다. 자동화를 통해 수동으로 연결을 설정하는 경우 필요한 구성에 대한 수십 가지 수작업과 복사/붙여넣기 작업을 해소할 수 있었습니다. 또한, 사용자는 의도치 않은 구성 오류를 범해 오류를 디버깅하는 시간을 절약할 수 있습니다.

Databricks UI로 돌아오면 Partner Connect에서 Fivetran에 자동 생성한 SQL 엔드포인트를 확인할 수 있습니다.

Salesforce 데이터가 SQL 엔드포인트를 통해 Fivetran에서 Databricks Delta로 원활하게 전송되므로, Databricks 데이터 탐색기에서 입력된 Delta 테이블을 확인할 수 있습니다.

이제 SQL 쿼리를 통해 Salesforce 테이블을 쿼리하고, Fivetran에서 수집되는 데이터를 다운스트림 BI 분석에 활용하여 레이크하우스의 다른 데이터 세트와 블렌딩합니다.

Power BI 데모

네이티브 커넥터를 사용하여 구조적, 비구조적 데이터를 비롯한 모든 데이터에서 인사이트를 얻기 시작하고, 테이블, 차트, 지도, KPI, 대시보드를 통해 시각적으로 인사이트를 전달할 수 있습니다.

Databricks Partner Connect가 통합된 Power BI Desktop은 Delta Lake에 간단히 연결하여 분석을 시작하고 비즈니스에 인사이트를 공유할 수 있습니다.

Power BI에서 분석을 시작하려면 Power BI Desktop에서 Databricks SQL 엔드포인트로 연결하세요.

Databricks Partner Connect의 Power BI를 클릭하면 간소화된 워크플로가 시작됩니다.

SQL 엔드포인트를 선택하고 연결 파일을 다운로드합니다. 연결 파일이 Databricks 클러스터에 연결하는 데 필요한 세부 정보를 포함하여 미리 구성되기 때문에 Power BI Desktop에 쉽게 연결할 수 있습니다.

시작하기

– Databricks 개인 액세스 토큰을 생성합니다.

– Power BI 및 Databricks ODBC 드라이버를 설치합니다.

연결 파일을 열면,

– Power BI가 연결 파일에서 미리 구성된 Databricks SQL 엔드포인트 연결 세부 정보를 자동으로 인식합니다.

– Power BI가 액세스 자격 증명을 입력하라는 메시지를 표시합니다.

Power BI에서 분석 구축 시작하기

– 분석할 데이터베이스와 테이블을 선택합니다.

– 필수 필드를 끌어서 가져오고 시각화를 구축합니다.

Tableau 데모

Tableau 및 Databricks는 모든 사용자에게 현대적 분석을 위한 데이터 레이크하우스를 지원합니다.

분석을 구축하려면 Tableau Desktop을 Databricks SQL 엔드포인트에 연결합니다.

Partner Connect의 Tableau를 클릭하면 간단한 워크플로가 시작되고 Databricks로 Tableau Desktop을 사용할 수 있습니다.

SQL 엔드포인트를 선택하고 연결 파일을 다운로드할 수 있습니다.

연결 파일은 클러스터에 연결하는 데 필요한 모든 세부 정보가 사전 구성됩니다.

Databricks Partner Connect에서 Tableau Desktop으로 시작하려면,

– Databricks 개인 액세스 토큰을 생성합니다.

– Tableau 및 Databricks ODBC 드라이버를 설치합니다.

연결 파일을 열면,

– Tableau 데스크톱은 연결 파일에서 미리 구성된 SQL 엔드포인트 연결 세부 정보를 자동으로 인식합니다.

– Tableau 데스크톱에서 액세스 자격 증명을 입력하라는 메시지가 나옵니다.

이제 Tableau 데스크톱에서 대시보드를 구축하는 데 집중할 수 있습니다.

– 데이터 소스 탭을 선택합니다.
– 데이터베이스와 테이블을 선택합니다.
– 시트를 생성합니다.
– 필요한 필드를 끌어서 가져옵니다.
– 시각화와 대시보드를 구축합니다.

Rivery 데모

Databricks에서 Rivery로 연결하면 데이터 수집, 변환 그리고 Delta Lake로의 전송까지 조직 전체의 데이터 여정을 간소화할 수 있습니다. 150개 이상의 데이터 소스로 연결되는 Rivery의 사전 구축된 커넥터를 활용할 수 있으며, 변경 데이터 캡처도 지원합니다.

Databricks와 Rivery는 Databricks Partner Connect를 통해 협력하며 두 제품에 매끄러운 통합 환경 제공합니다.

사용자는 Partner Connect에서 클릭 몇 번만으로 Rivery를 탐색하여 연결할 수 있습니다.

Partner Connect에서 Rivery를 클릭하면 두 제품 간의 자동 워크플로가 시작됩니다.
– Databricks는 SQL 엔드포인트 및 Rivery에서 상호작용하기 위한 관련 자격 증명을 자동으로 프로비저닝하고 모범 사례를 엔드포인트 구성에 적용합니다.
– Databricks는 안전한 API를 통해 자동으로 Rivery에 사용자 자격 증명과 SQL 엔드포인트 구성을 제공합니다.

그러면 Rivery의 제품 콘솔로 이동해 Rivery 평가판에 등록할 수 있고, 기존 고객이라면 Rivery에 로그인할 수 있습니다. Rivery에서는 평가판 계정을 자동으로 설정합니다.

이제 Rivery의 네이티브 데이터 소스 커넥터를 활용하여 Delta Lake로 데이터를 로드할 준비가 끝났습니다.

Rivery에서는 Databricks Partner Connect를 통해 유입된 사용자를 인식하고 Parnter Connect에서 자동 구성된 SQL 엔드포인트를 통해 Delta로 데이터를 가져올 Databricks 대상을 자동으로 구성합니다.

이제 연결로 이동하세요. 여기에는 데이터 소스와 대상에 대한 연결이 포함되어 있습니다. Databricks SQL이라는 대상 연결이 하나 있습니다.
Databricks Delta 대상이 이미 설정되어 있으므로, 사용자는 데이터를 가져올 소스를 선택합니다. 저희는 Salesforce CRM을 소스로 사용하겠습니다(사용자는 Rivery가 지원하는 150개 이상의 사전 구축된 데이터 소스를 자유롭게 선택할 수 있습니다). 사용자는 Salesforce CRM 소스에 인증하고, 테스트를 통과한 후 연결을 저장합니다. 그러면 연결이 목록에 나타납니다.

“새 River 생성”을 클릭하고 “대상으로 소스 가져오기”를 선택하여 데이터를 수집하기 시작합니다.
– Salesforce CRM을 데이터 소스로 선택합니다. 그러면 앞서 설정한 Salesforce 연결이 자동으로 채워집니다.
– 수집 구성의 경우, 여러 테이블을 동시에 가져오거나 Salesforce에서 테이블 하나만 로드할 수 있습니다. 이 데모에서는 “Account”라는 테이블만 선택합니다. 테이블을 저장합니다.

“대상”에서 각 단계를 거칠 때마다 데이터를 확인할 수 있습니다. 이미 설정되어 있는 Databricks Delta 대상으로 입력하려면 Databricks에 기존 데이터베이스 이름을 입력하거나 새 데이터베이스를 생성합니다.
저희는 자체적인 데이터베이스 이름을 입력하고 테이블 접두사를 추가하겠습니다. 그리고 “덮어쓰기”를 기본 입력 모드로 설정합니다.
– 저장 후 “실행” 버튼을 클릭해 입력 워크플로를 시작합니다.

입력 완료 후 Databricks UI로 돌아오면 Databricks SQL 데이터 탐색기에 입력된 Delta 테이블이 표시됩니다.

이 테이블의 다른 자세한 정보와 더불어 스키마, 샘플 데이터를 확인할 수 있습니다. 간편하고 간단합니다.

이제 SQL 쿼리를 통해 Salesforce 테이블을 쿼리하고, Rivery에서 수집되는 데이터를 다운스트림 BI 분석에 활용하여 레이크하우스의 다른 데이터 세트와 블렌딩합니다.

Labelbox 데모

Databricks용 Labelbox Connector를 사용하여 레이크하우스에서 AI와 분석에 사용할 비구조적 데이터를 간편하게 준비해 보세요. Labelbox는 이미지, 텍스트, 영상, 사운드, 지리 공간 타일형 이미지의 주석을 지원합니다.

Databricks Partner Connect를 통해 Labelbox를 발견하고 연결

Databricks Partner Connect에서 Labelbox 클릭

– 클러스터가 자동으로 생성되어 Databricks에서 제공하는 튜토리얼 노트북을 쉽게 실행할 수 있습니다.

– 그 다음으로 Labelbox 평가판에 사용할 이메일 주소를 인증합니다.

Labelbox는 Databricks 작업 공간의 공유 디렉터리에 튜토리얼 노트북을 저장합니다.

해당 파일의 링크는 여기에서도 제공합니다.

평가판 등록을 완료합니다.

이제 무료 평가판으로 Labelbox에 들어왔습니다.

Databricks로 돌아가 튜토리얼 노트북을 확인해 보세요.

내 작업 공간으로 이동해서 "공유됨"을 클릭하면 Labelbox Demo 폴더가 나옵니다. 폴더 안에 노트북이 하나 있습니다.

이 튜토리얼 노트북은 데이터 레이크에서 비구조적 데이터를 탐지하고, 주석을 달기 위해 URL을 Labelbox에 전달하는 일반적 워크플로를 따라 자세한 설명을 제공합니다. 데이터 세트에 주석을 달고 Databricks에 다시 레이블을 전달해 AI와 분석에 활용할 수 있습니다.

먼저, 클러스터에 연결해야 합니다. Labelbox 클러스터가 조금 전 생성되었습니다. 첫 행을 실행하여 Labelbox SDK와 Databricks용 Labelbox Connector를 설치하겠습니다.

다음 셀에는 API 키가 필요합니다.

Labelbox 평가판으로 다시 돌아와서 "계정," "API"를 클릭한 다음, 데모 API 키를 생성합니다.

키를 복사하고 Databricks로 돌아가 셀에서 입력합니다. 원래는 Databricks Secrets API를 사용하는 것을 권장하지만 이 데모의 경우 간단하게 키를 붙여넣었습니다.

이 노트북 데모에서는 샘플 이미지 테이블로 Databricks 계정을 시딩하겠지만, AWS S3, Azure Blob, Google Cloud Storage 등의 클라우드 스토리지에서 간편하게 자산을 사용할 수 있습니다.

이 셀을 실행하고 나면 파일 이름과 URL이 들어간 이미지 자산 테이블이 생성됩니다.

그러면 이 테이블이 Labelbox에 전달되고 그 안에서 데이터 세트가 생성됩니다.

모든 데모 이미지가 포함된 데이터 세트가 있습니다.

데이터 세트에 레이블을 적용하기 전에 온톨로지로 새 프로젝트를 만들어야 합니다. 온톨로지는 주석을 달 객체와 분류의 종류를 설명합니다.

프로젝트가 준비되면 안으로 들어가서 몇 가지 항목에 레이블을 달 수 있습니다.

주석을 기록한 데이터를 준비했으므로 Databricks로 돌아가서 마지막 명령을 실행하면 Databricks에 주석이 입력됩니다.

이제 노트북으로 들어가 마지막 명령을 실행하면 Databricks로 주석이 전달되어 다운스트림에 사용할 수 있습니다.

The Label column includes a JSON of all the objects and classifications we placed on that asset.

이 주석을 Delta Lake에 저장한 다음, AI 모델을 훈련시킬 수 있습니다.

이 노트북에서는 Databricks용 Labelbox Connector에 대한 기본 정보를 단계별로 설명합니다. 모델 지원 레이블링, 카탈로그를 사용하여 자산의 위치를 찾아 레이블링의 우선순위를 설정하는 방법, 모델 진단을 사용하여 모델을 개선할 영역을 찾는 방법 등의 고급 기능에 대한 자세한 정보는 Databricks의 문서를 참조하세요.

Prophecy 데모

Databricks에서 로우코드 데이터 엔지니어링 제품인 Prophecy를 클릭 한 번으로 연결할 수 있습니다. Databricks 클러스터에서 시각적 드래그앤드롭 인터페이스를 사용하여 Apache Spark™ 및 Delta 파이프라인을 인터랙티브 방식으로 구축 및 배포합니다.

Databricks에서 Prophecy를 시작하려면 Databricks 워크스페이스에 로그인하고 SQL 인터페이스를 엽니다.

– 여기에서 Partner Connect 페이지를 열고 Prophecy를 선택하여 로그인합니다.

– Prophecy 계정을 생성할 때 Databricks는 워크스페이스에서 직접 파이프라인을 실행하는 안전한 연결을 자동 설정합니다.

이메일 자격 증명을 전달하고 나면 새 비밀번호를 선택해 Prophecy에 등록하기만 하면 됩니다.

Prophecy에 로그인되었습니다. 이제 Spark 데이터 파이프라인을 얼마나 쉽게 개발하고 실행할 수 있는지 확인해보겠습니다.

“시작하기” 예시 파이프라인 중 하나를 선택하여 워크플로를 엽니다.

그러면 파이프라인을 구축할 수 있는 시각적 캔버스가 표시됩니다.

먼저 새 Databricks 클러스터를 시작합니다.

Databricks의 클러스터가 시작되었으므로, 클릭 한 번만으로 Databricks 인터페이스에 들어가 워크스페이스의 클러스터를 확인할 수 있습니다.

이제 Prophecy UI로 돌아와서 파이프라인을 살펴보겠습니다. ‘고객’과 ‘주문’이라는 데이터 소스를 읽고 둘을 결합합니다…

…. 금액 컬럼의 합계를 산출하여 집계합니다.

그다음에 데이터를 정렬하고 Delta 테이블에 직접 작성합니다.

Prophecy에서는 클릭 한 번으로 바로 워크플로를 실행하여

'고객' 데이터, '주문' 데이터, 결합된 데이터를 확인할 수 있습니다….

…..합계를 적용하여 집계된 필드…..

... 마지막으로 정렬된 데이터가 대상 Delta 테이블에 작성되고

이제 필드를 정리하여 파이프라인을 수정하고

이를 위해서는 'Reformat'이라는 새로운 '젬'을 끌어서 가져오면 됩니다…..

… 기존 파이프라인에서 연결됩니다….

…. 컬럼을 선택하겠습니다. ‘full name’이라는 새 컬럼을 추가하고 성과 이름을 연결한 다음, 반올림 값으로 산출되는 정제된 금액 컬럼을 추가합니다.

‘Cleanup’ 젬의 이름도 변경하겠습니다.

그러면 워크플로로 이동해 컬럼을 클린업한 후 데이터를 직접 탐색할 수 있습니다.

이와 같이 매우 간단하게 데이터 클린업 설정을 파이프라인에 추가했습니다.

그러나 Prophecy는 단순한 시각적 편집기가 아닙니다. 보이지 않는 곳에서는 모든 것이 양질의 Spark 코드로 저장되어 수정이 가능합니다.

또한, Prophecy를 사용하면 Git에 코드를 직접 저장하여 소프트웨어 엔지니어링 모범 사례를 준수할 수 있습니다.

여기에서는 Git에서 Scala 코드로 직접 저장된 최근 변경 사항과 함께 워크플로를 확인할 수 있습니다.

더 자세히 알아볼 준비가 되셨나요?

Databricks의 개발 및 파트너 리소스를 활용하여 클라우드 기반 오픈 플랫폼과 함께 성장하세요.