Lakehouse Apps 를 소개합니다

레이크하우스 앱은 데이터브릭스용 네이티브 애플리케이션을 구축하는 새로운 방법입니다. 레이크하우스 앱은 데이터브릭스의 완전한 보안 및 거버넌스 기능을 통해 고객의 데이터 바로 옆에 있는 데이터브릭스 레이크하우스 플랫폼에서 혁신적인 데이터 및 AI 애플리케이션을 직접 구축, 배포, 실행할 수 있는 가장 안전한 방법을 제공할 것입니다. 

데이터 및 AI 솔루션을 구축하는 개발자는 데이터브릭스 마켓플레이스를 통해 레이크하우스 앱을 배포하면 10,000명 이상의 데이터브릭스 고객에 액세스할 수 있어 도입 시간을 획기적으로 단축할 수 있습니다. 고객에게는 레이크하우스 앱이 레이크하우스에 있는 데이터의 가치를 최대한 활용하고, 데이터브릭스 네이티브 서비스를 활용하며, 새로운 기능으로 데이터브릭스를 확장하는 애플리케이션을 실행할 수 있는 가장 안전한 방법이 될 것입니다.

데이터 어플리케이션의 딜레마 

데이터 및 AI 애플리케이션은 가장 빠르게 성장하는 소프트웨어 범주 중 하나이며, 제너레이티브 AI와 대규모 언어 모델(LLM)의 성장으로 이러한 추세가 가속화되고 있습니다. 개발자들은 매일 혁신적인 데이터 및 AI 솔루션을 개발하고 있으며, 기업의 개발팀은 레이크하우스에 있는 데이터를 직접 사용하는 사내 애플리케이션이나 해당 데이터를 기반으로 구축 및 학습된 LLM 및 기타 AI 모델을 구축하고 있습니다.

하지만 이러한 솔루션을 사용자에게 제공하는 과정은 불필요하게 복잡합니다.

• 기업의 데이터는 가장 소중한 자산이며 엄격한 보안 및 규제 요건이 적용되는 경우가 많습니다. 외부 애플리케이션에 해당 데이터에 대한 액세스 권한을 부여하려면 일반적으로 까다로운 법률, 보안 및 상업적 장애물을 해결해야 합니다. 이러한 프로세스는 비용이 많이 들고 때로는 소프트웨어 공급업체가 고객과 함께 앞으로 나아가는 것을 방해할 수도 있습니다.
• 데이터 및 AI 워크로드에는 상당한 컴퓨팅 용량과 규모가 필요합니다. 이러한 애플리케이션을 여러 클라우드와 지역에 걸쳐 안정적이고 확장성 있게 제공하는 데 필요한 서비스를 구축하고 운영하려면 많은 노력이 필요합니다. 
• 엔터프라이즈급 애플리케이션은 고객의 보안, 관리, 거버넌스 시스템과 통합되어야 합니다. 이러한 통합은 구축 비용이 많이 들며, 새로운 애플리케이션에는 이러한 통합 기능이 없는 경우가 많습니다. 

이러한 문제를 해결하기 위해 개발자는 종종 두 가지 대안 중 하나를 선택합니다:

• 타협: 개발자는 고객의 데이터 플랫폼 내에서 안전하게 실행하기 위해 애플리케이션의 일부를 SQL 또는 독점 스크립트 및 프레임워크로 재작성할 수 있습니다. 이 경우 애플리케이션의 전체 기능을 제공하기 어렵고 각 플랫폼에 대해 복잡한 코드를 작성하고 테스트해야 합니다.
• 복잡성: 개발자는 제품의 '온프레미스' 버전을 빌드 및 배포할 수 있으며, 고객은 자체 VPC에서 수동으로 설치, 구성, 보안, 운영해야 합니다. 이 프로세스는 시간이 오래 걸리고 불안정하며 확장성이 떨어집니다.

여기 더 나은 방법이 있습니다.

Lakehouse Apps: 타협없는 안전한 보안

레이크하우스 앱스는 안전하고 타협없는 네이티브 솔루션으로 이러한 문제를 해결합니다. 

레이크하우스 앱은 고객의 데이터와 통합하고, 데이터브릭스 서비스를 사용 및 확장하며, 사용자가 데이터브릭스와 동일한 보안, 개인정보 보호 및 규정 준수 제어를 통해 싱글 사인온 환경과 상호 작용할 수 있도록 지원하는 고객의 데이터브릭스 인스턴스에서 직접 실행됩니다. 데이터는 고객의 인스턴스를 벗어날 필요가 없습니다. 

레이크하우스 앱은 데이터브릭스 마켓플레이스를 통해 10,000개 이상의 데이터브릭스 고객에게 즉시 배포하고 수익을 창출할 수 있습니다. 고객은 데이터브릭스의 기본 기능처럼 효율적으로 앱을 검색, 설치, 보호, 관리 및 제어할 수 있습니다. 앱에서 사용하는 컴퓨팅 리소스는 Databricks에서 고객에게 직접 청구합니다. 고객의 내부 앱을 인스턴스에 직접 설치할 수도 있습니다.

레이크하우스 앱은 보안이 유지되고, 샌드박스가 적용되며, 관리됩니다. 모든 앱은 구성 가능한 안전한 샌드박스 내에서 실행됩니다. 고객은 데이터브릭스의 통합 거버넌스 솔루션인 Unity 카탈로그를 사용하여 앱이 액세스할 수 있는 리소스를 선택하고, 앱과 상호 작용할 수 있는 사용자를 제어하고, 앱의 활동을 자동으로 관리할 수 있습니다. 

레이크하우스 앱은 사용자가 선택한 기술로 빌드됩니다. 앱은 거의 모든 언어로 작성할 수 있는 컨테이너화된 코드를 실행하는 안전한 자동 확장 컴퓨팅에서 실행되므로 개발자는 특정 프레임워크에서 구축하는 데 제한을 받지 않습니다. 현재 데이터브릭과 통합되는 애플리케이션은 쉽게 앱으로 변환할 수 있습니다. 

레이크하우스 앱은 완전히 레이크하우스 네이티브입니다. 데이터브릭스 플랫폼에는 빠른 데이터 웨어하우징, 워크플로우 및 파이프라인, AI/LLM 학습 및 서비스 등 확장 가능하고 비용 효율적인 강력한 서버리스 서비스가 포함되어 있습니다. 레이크하우스 애플리케이션은 이러한 기능을 모두 활용할 수 있습니다. 또한 앱은 카탈로그를 사용하고 Unity 카탈로그에서 메타데이터와 계보를 기여하고, 레이크하우스 파일 시스템과 통합하고, 커스텀 기능으로 레이크하우스를 확장할 수 있습니다.

Lakehouse Apps 의 장점

개발자의 관점: 

• 빠르게 데이터/AI 솔루션을 10,000 개 이상의 고객에게 제공
• 획기적으로 제품 적용 시간을 단축.
• 원하는 플랫폼과 코드를 활용하여 기존 투자를 재사용
• 데이터브릭스 레이크하우스 플랫폼을 활용하여 애플리케이션과 서비스를 확장
• 데이터브릭스를 확장하여 수십만 명의 데이터 및 AI 실무자에게 제공
• 데이터브릭스의 에코시스템과 Databricks for Startups 프로그램의 혜택 

고객의 관점:

• 사용자가 다양하고 혁신적인 새 애플리케이션에 안전하고 쉽게 액세스
• 노트북과 대시보드처럼 쉽고 안전하게 사내 데이터 애플리케이션을 구축하고 배포 
• 데이터 및 AI 애플리케이션을 채택, 통합, 관리하는 데 드는 시간과 노력을 절감

데이터브릭스 앱스의 파트너들은..

가까운 시일 내에 다양한 레이크하우스 앱을 데이터브릭스에서 보실 수 있을 것입니다.현재 데이터브릭스에서는 리툴, 포지트, 플로틀리, 이뮤타, 쿠모닷에이아이, 라미니, 코디움, 하부 등 일부 초기 파트너와 협력하여 이들의 혁신적인 솔루션을 레이크하우스 앱으로 구축하기 위해 노력하고 있습니다.  

"개발자는 Retool을 사용하여 모든 데이터 스택 위에 놓이는 사용하기 쉬운 그래픽 사용자 인터페이스를 갖춘 맞춤형 비즈니스 소프트웨어를 구축하고 배포할 수 있습니다. 개발자는 속도, 보안 또는 안정성을 저하시키지 않으면서도 가장 필요한 사람에게 정보를 제공하는 애플리케이션을 만들 수 있습니다. 데이터 엔지니어, 데이터 과학자, 소프트웨어 개발자, 데이터 애플리케이션의 최종 사용자 모두 이제 Databricks Marketplace에 등재된 강력한 제품의 혜택을 누릴 수 있습니다."

- 마크 샤프, COO, Retool

"데이터브릭스와의 파트너십을 통해 R 및 Python 사용자가 RStudio, Jupyter, VS Code와 같이 선호하는 저작 환경에 원활하게 액세스할 수 있게 되어 기쁩니다. 데이터브릭스 마켓플레이스에 포지트 워크벤치를 제공함으로써 공동 고객의 장벽을 크게 낮추고, 데이터브릭스 레이크하우스 플랫폼의 보안, 안정성, 확장성, 성능을 활용하면서 안전한 데이터 액세스를 제공할 수 있게 되었습니다. 앞으로 10,000명 이상의 데이터브릭스 고객에게 현재 충성도가 높은 포지트 커넥트 사용자가 누리고 있는 고급 퍼블리싱 기능을 지원할 수 있기를 기대합니다." 

- 타리프 카와프, 포지트 소프트웨어 사장, PBC

"이뮤타의 데이터 보안 플랫폼은 조직이 클라우드 데이터에서 가치를 창출할 수 있도록 지원합니다. 레이크하우스 앱스를 통해 데이터브릭스에서 관리되는 데이터에 더 가까운 서비스를 제공하고 공동 고객이 더 빨리 시작할 수 있도록 지원할 수 있습니다. 고객은 데이터브릭스 앱의 유연성을 통해 기존 코드와 기술을 재사용하고 레이크하우스 플랫폼과 더욱 긴밀하게 통합할 수 있습니다."

- 모 플라스니그, 최고 제품 책임자, Immuta

"플로틀리의 대시 엔터프라이즈는 프로덕션급 데이터 애플리케이션을 구축하기 위한 선도적인 플랫폼입니다. 플롯리와 대시, 데이터브릭스를 사용하는 3200개의 일반 조직이 있으며, 플롯리는 데이터브릭스의 주요 데이터 및 AI 파트너입니다. 데이터브릭스 레이크하우스 플랫폼의 보안, 거버넌스, 확장성의 이점을 누리면서 사용자가 데이터 인증 및 권한 부여를 포함해 더욱 긴밀하게 통합된 방식으로 데이터로 작업할 수 있도록 데이터브릭스와 협력하게 되어 기대가 큽니다."

- 크리스 파머, Plotly의 공동 창립자이자 대시 창시자

레이크하우스 앱 파트너가 되고 싶으신가요?  저희에게 연락 하여 업데이트를 신청하세요!