서버리스 및 모델 서빙 워크로드를 위한 이그레스 제어 발표

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

우리는 기쁘게도 이그레스 제어 Databricks 서버리스와 모자이크 AI 모델 서빙 워크로드를 위한 가 AWS 와 Azure에서 공개 미리보기로 사용 가능하다는 것을 발표하게 되었습니다! 이제 여러 제품과 워크스페이스에서 서버리스 워크로드의 아웃바운드 액세스를 중앙에서 제어하는 정책을 구성할 수 있습니다. 

서버리스 이그레스 제어를 통해 Databricks 서버리스 제공의 민첩성과 비용 효율성을 활용하면서 또한 불법적인 목적지로의 데이터 유출을 방지할 수 있습니다. 이번 릴리스에서는 서버리스 이그레스 제어가 모델 서빙, 노트북, 워크플로우, 델타 라이브 테이블(DLT) 파이프라인, 레이크하우스 모니터링, Databricks SQL 및 Databricks 앱을 지원합니다.

Databricks 서버리스 출구 제어의 이점

데이터 보안 강화

서버리스 이그레스 제어는 보안이 강화된 Databricks 환경에서 불법적인 데이터 전송 가능성을 줄여줍니다. 출구 정책을 설정함으로써 데이터가 도난당하거나 부적절하게 공유되는 위험을 줄일 수 있습니다. 이를 통해 데이터가 인터넷이나 클라우드 환경 내에서 승인된 외부 위치로만 전송되도록 보장할 수 있습니다.

의도하지 않은 데이터 전송 비용 최소화

감시되지 않는 데이터의 인터넷 전송은 빠르게 예상치 못한 큰 출구 요금으로 이어질 수 있습니다. 이제, 데이터가 오직 승인된 목적지로만 전송되도록 보장함으로써 네트워크 비용을 더 잘 예측하고 관리할 수 있습니다.

규제 준수를 보장하세요

금융, 의료, 정부 등 엄격한 데이터 관리 및 준수 요구사항이 있는 산업에서는 데이터가 준수 환경에서만 처리되도록 보장하는 것이 필수적입니다. 서버리스 이그레스 제어는 데이터가 인터넷 및 미승인 네트워크 엔드포인트로부터 격리된 환경에서만 처리되도록 보장하여 귀하의 컴플라이언스 목표를 달성하는 데 도움이 될 수 있습니다.

"Abacus Insights에서는 헬스케어의 데이터 관리와 분석을 간소화하는 우리의 임무가 HIPAA와 HITRUST에 엄격하게 준수해야 합니다. 서버리스 출구 제어와 Mosaic AI Model Serving의 Llama 3 모델을 사용함으로써 데이터가 우리 환경에 머무르도록 보장할 수 있습니다. 이 접근 방식은 AI 사용 사례에 대한 서버리스 컴퓨팅의 성능과 민첩성을 활용하면서 보안 및 컴플라이언스 의무를 충족하는 데 도움이 됩니다." – Navdeep Alam, 기술 최고책임자, Abacus Insights

서버리스 이그레스 제어는 어떻게 작동하나요?

세밀한 출구 정책을 쉽게 구성하십시오 

계정 콘솔에서 네트워크 정책 객체를 생성하거나 업데이트함으로써 서버리스 출구 제어를 구성할 수 있습니다. 네트워크 정책 내에서는 매크로 이그레스 자세, 즉 워크로드가 완전한 인터넷 액세스를 가지거나 제한된 인터넷 액세스를 가지는지를 정의할 수 있습니다. 제한된 액세스의 경우, 워크로드가 액세스할 수 있는 완전한 도메인 이름(FQDN) 목록과 클라우드 저장소 리소스를 정의할 수 있습니다. 

정책은 모든 지원되는 서버리스 제품에 일관되게 적용됩니다. 세밀한 규칙의 구성을 더욱 간단하게 하기 위해, 서버리스 출구 제어는 자동으로 Unity Catalog에서 정의된 위치와 연결에 대한 접근을 허용합니다 ..

대규모로 이그레스 자세를 중앙에서 관리하세요

각 Databricks 계정에는 default-policy 객체가 있어 해당 계정의 모든 작업 공간에 연결된 기본 네트워크 정책을 정의합니다. default-policy 객체를 업데이트하여 기존 및 새로운 작업 공간의 기본 출구 규칙을 정의할 수 있습니다. 또는, 추가적인 네트워크 정책 객체를 생성하고 하나 이상의 작업 공간에 연결하여 기본 정책을 완전히 무시할 수 있습니다 (AWS, Azure).

따라서, 생산, 개발, 평가 등의 환경에 대한 다른 정책을 만들어 모든 작업 공간에 걸쳐 중앙에서 자세를 관리할 수 있습니다. 그런 다음 각 정책을 해당 환경 내의 모든 작업 공간과 연결할 수 있습니다. 

모든 정책 위반을 감사하고 디버그하세요

서버리스 이그레스 제어 정책은 연결이 설정될 때 적용됩니다. 모든 거부는 outbound_network 시스템 테이블 내의 system.access 스키마에 기록됩니다. 아래는 최근 1시간 동안의 거부 이벤트를 나열하는 쿼리 예제입니다:

기존의 프로덕션 워크로드에 안전하게 이그레스 제어 정책을 적용하세요

서버리스 이그레스 제어는 정책의 집행 모드 개념을 지원합니다. 집행 모드는 “집행” 또는 “드라이런”으로 설정할 수 있습니다.  

enforced 모드에서는 정책을 위반하는 아웃바운드 연결이 거부되고 거부 사항이 outbound_network 시스템 테이블에 기록됩니다. dry-run 모드에서는 정책을 위반하는 아웃바운드 연결이 허용되지만, 위반 사항이 network_outbound 시스템 테이블에 dry-run 항목으로 기록됩니다. 

정책을 모든 제품에 대해 또는 특히 Databricks SQL 또는 모델 서빙 제품에 대해 dry-run 모드 (이전에 "로그 전용"으로 알려짐)로 설정할 수 있습니다. Databricks SQL 또는 모델 서빙 워크로드가 프로덕션에 있을 경우, 기존 프로덕션 환경을 파괴하는 위험을 줄이기 위해 먼저 정책을 dry-run 모드로 설정하는 것을 권장합니다.

시작하기 

서버리스 이그레스 제어는 AWS의 Databricks 엔터프라이즈 티어와 Azure Databricks의 프리미엄 티어에서 사용 가능합니다. 서버리스 이그레스 제어 정책을 구성하려면 Databricks 계정 관리자여야 합니다. 정책 구성에 대한 자세한 지침은 AWS 와 Azure의 문서를 참조하십시오.  

계정에서 서버리스 컴퓨팅이 활성화되어 있지 않다면, AWS 나 Azure의 지침을 따를 수 있습니다.  배포의 일부로 고려해야 할 다른 플랫폼 보안 기능에 대해서는 Databricks 보안 및 신뢰 센터의 보안 모범 사례 를 참조하십시오. 

우리의 소개 할인을 이용하세요: 서버리스 컴퓨트에 대해 50% 할인을 받으세요 Jobs 그리고 Pipelines 그리고 Notebooks에 대해 30% 할인을 받으세요, 2025년 4월 30일까지. 이 한정된 시간의 제안은 서버리스 컴퓨트를 저렴한 비용으로 탐색할 수 있는 완벽한 기회입니다.