데이터브릭스 SQL Serverless에 대한 Azure Private Link 및 Azure 스토리지 방화벽 지원 기능 GA 안내

(번역: Youngkyong Ko) Original Post

2024년 4월부터 Databricks SQL (DBSQL) Serverless에 대한 Azure Private Link 지원이 추가 비용 없이 일반 제공될 예정이라는 소식을 알려 드립니다. 또한 안정적인 VNet 서브넷 ID를 사용하는 Azure 스토리지 방화벽 지원이 이제 DBSQL 서버리스에 대해 일반적으로 제공된다는 소식도 알려드립니다. 이 블로그에서는 이 두 가지 기능에 대한 개요와 데이터브릭스 서버리스에서 Azure 스토리지 계정의 데이터에 안전하게 액세스하기 위한 관련 모범 사례에 대해 설명합니다.

Azure 데이터브릭스 서버리스 네트워크 연결 기능을 사용하여 성능 극대화 및 작업 공간 보호

Databricks 데이터 인텔리전스 플랫폼은 강력한 다계층 격리 및 기본 제공 모범 사례를 통해 강력한 보안을 제공하며 (자세한 내용은 Trust Center에서 확인하세요), 기존 Azure 스토리지 계정에 저장된 데이터를 계속 활용할 수 있습니다. 이러한 기반을 바탕으로 DBSQL 서버리스 워크로드를 Azure 스토리지 계정에 안전하게 연결할 수 있는 두 가지 옵션을 제공합니다:

1. 안정적인 VNet 서브넷 ID를 기반으로 액세스를 허용하도록 Azure Storage 방화벽을 구성
2. Private endpoints를 구성하여 스토리지 계정에 대한 Private Link를 사용

아래 다이어그램은 서버리스용 Azure 데이터브릭스 계정에 대한 높은 수준의 연결을 보여줍니다. 이 블로그에서는 DBSQL 서버리스 워크로드와 Azure 저장소 간의 연결을 보호하는 데 중점을 두겠습니다.

서버리스용 Azure Private Link는 곧 정식 버전으로 출시되며 추가 비용 없이 제공 

많은 고객들은 private endpoints를 통해 가상 네트워크 트래픽에서 리소스에 액세스할 수 있도록 해야 하는 규정 준수 또는 거버넌스 요구 사항이 있을 수 있습니다. 이러한 시나리오에 대해, 이제 스토리지 계정에 대한 private endpoints를 생성 및 관리하고, 특정 워크스페이스의 서버리스 워크로드에서 해당 private endpoints에 액세스할 수 있도록 권한을 부여할 수 있습니다.

서버리스용 Azure 데이터브릭스 Private Link의 일반 출시(GA)의 일환으로, 추가 비용 없이 데이터브릭스 SQL 서버리스 워크로드에서 Private Link 연결을 사용할 수 있게 된다는 소식을 알려드리게 되어 기쁩니다! 그 결과, Azure 데이터브릭스의 DBSQL 서버리스에 대한 TCO가 크게 향상됩니다. 또한 추가 Azure 데이터브릭스 서버리스 제품과 Azure 리소스 유형에 대한 지원을 추가함에 따라 Private Link 연결에 추가 요금이 부과되지 않습니다.

"Azure 데이터브릭스의 고급 네트워킹 기능은 서버리스 데이터 변환 및 분석을 대규모로 관리함에 있어 높은 보안성과 간편함을 제공합니다." - Jonas Kardell, 데이터 과학 책임자, SJ AB

안정적인 VNet 서브넷 ID를 통한 Azure 스토리지 방화벽 지원

Private Link를 사용하지 않는 경우에도 인증된 네트워크에서 실행되는 인가된 워크로드만 Azure 스토리지 계정의 데이터에 액세스할 수 있도록 제한해야 할 필요가 있을 수 있습니다. Azure 스토리지 방화벽을 사용하면 승인된 VNet 서브넷 ID를 통해 스토리지 계정에 액세스하는 클라이언트로만 액세스를 제한할 수 있습니다. 이번 GA 출시와 함께, Azure VNet 내의 안정적인 서브넷 목록을 사용하여 스토리지에 연결하도록 데이터브릭스에서 설정할 수 있습니다. 제품에서 직접 이 서브넷 ID 목록을 가져와서 Azure 스토리지 방화벽 규칙에 추가하여 액세스를 관리할 수 있습니다. 이 기능을 Unity Catalog와 결합하면 올바른 Managed Identity에 액세스할 수 있는 권한이 있는 인가된 워크로드만 스토리지의 데이터에 액세스할 수 있도록 계층화된 보호 기능을 제공합니다.

여러 워크스페이스에서 서버리스 네트워크 연결을 간편하게 관리

Network Connectivity Configuration (NCC)를 사용하면 네트워크 연결을 중앙집중형으로 간편하게 관리할 수 있습니다. NCC를 사용하면 연결 구성을 여러 워크스페이스에 매핑할 수 있으므로, 관리해야 하는 private endpoints 수가 줄어들어 관리가 간소화됩니다. 서버리스 제품을 계속 확장함에 따라 NCC는 모든 서버리스 제품에서 연결을 관리하는 단일 지점으로 계속 사용될 것입니다.

Azure 데이터브릭스에서 서버리스 네트워크 연결 시작하기

Azure Storage 방화벽 지원과  Azure Private Link는 Azure 데이터브릭스의 프리미엄 티어 버전에서 사용할 수 있습니다. 데이터브릭스 워크스페이스에 대한 NCC 및 Azure 스토리지 방화벽 지원 구성에 대한 단계별 지침은 설명서를 참조하세요. Azure Private Link가 제한된 공개 프리뷰(gated public preview) 상태인 동안에는 등록 방법에 대한 자세한 내용은 Azure 데이터브릭스 계정 팀에 문의하세요. 2024년 4월에 Azure 데이터브릭스 서버리스에 대한 Azure Private Link 지원을 일반 출시(GA)할 계획입니다.

데이터브릭스의 보안 모범 사례와 고객이 사용할 수 있는 기능에 대한 자세한 내용은 Security and Trust Center를 참조하세요.