(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
AWS 인스턴스 프로필에 대한 서버리스 지원 소개: 균일한 데이터 액세스
Databricks에서는 데이터 접근을 간소화하고 플랫폼 전반에 걸쳐 혁신을 주도하려고 지속적으로 노력하고 있습니다. 오늘, 우리는 AWS 인스턴스 프로필에 대한 서버리스 지원을 발표하게 되어 기쁩니다. 이 마일스톤은 서버리스 컴퓨팅을 활용하는 고객이 AWS 클라우드 서비스에 저장된 데이터에 원활하게 접근할 수 있게 해주며, 이는 노트북, 작업, 그리고 Delta Live Tables (DLT) 파이프라인에 적용됩니다.
이것이 중요한 이유
전통적으로, AWS에 저장된 데이터에 대한 접근을 구성하는 것은 직접 자격 증명을 관리하거나 구성에 포함시키는 것을 필요로 했으며, 이는 운영 복잡성과 보안 위험을 도입했습니다. 이 업데이트를 통해, 서버리스 컴퓨팅은 서버리스 SQL 웨어하우스와 동일한 데이터 접근 구성을 상속합니다, 포함하여:
- AWS 인스턴스 프로필: 자격 증명을 포함하지 않고 Amazon S3의 데이터에 접근하는 안전하고 확장 가능한 방법.
- Spark 구성: 외부 Hive 메타스토어와 제3자 통합에 대한 접근을 간소화하기 위한 워크스페이스 전체의 Spark 설정.
이제 서버리스 작업, 노트북, DLT 파이프라인, SQL 웨어하우스에서 안전한 접근을 통합하는 것이 어느 때보다 쉬워졌습니다, 특히 아직 데이터를 Unity Catalog로 이전 중인 고객들에게.
주요 장점
- 서버리스 컴퓨트의 쉬운 적용: 고객들은 이제 Unity 카탈로그 외부에서 관리되는 데이터에 접근하거나 임의의 AWS 위치에 저장된 데이터를 사용하기 위해 서버리스 컴퓨트를 자신있게 사용할 수 있습니다. 이로써 DBFS 마운트 포인트나 내장된 자격 증명에 대한 의존성이 제거됩니다.
- 기존 구성과의 원활한 통합: 서버리스 컴퓨트 클러스터는 SQL 웨어하우스를 위해 이미 설정된 인스턴스 프로필과 스파크 구성을 자동으로 상속하여 관리자의 전환을 단순화합니다.
- 강화된 보안 및 거버넌스: 이 업데이트는 강력한 IAM 기반 접근 제어를 지원하며, 기업 거버넌스 모델 및 준수 요구 사항에 맞춰집니다.
- 간소화된 사용자 경험: 개발자들은 저수준의 접근 구성이나 자격 증명 관리에 대해 걱정하지 않고 작업을 구축하고 배포에 집중할 수 있습니다.
사용자 경험에서 새로운 것은 무엇인가요?
워크스페이스 관리자는 익숙한 컴퓨트 관리 인터페이스에서 직접 서버리스 컴퓨트에 대한 데이터 접근을 구성할 수 있습니다. 진행 방식은 다음과 같습니다.
- 기존 SQL 웨어하우스 구성: 만약 워크스페이스가 이미 인스턴스 프로필이나 SQL 웨어하우스를 위한 Spark 구성을 사용하고 있다면, 서버리스 컴퓨트 클러스터는 이러한 설정을 자동으로 상속합니다—추가 설정 필요 없음.
- 새로운 구성 설정: 관리자들은 서버리스 컴퓨트가 Unity 카탈로그가 아닌 데이터에 접근할 수 있도록 인스턴스 프로필과 선택적인 Spark 구성을 쉽게 지정할 수 있습니다. 이러한 설정은 SQL 웨어하우스와 서버리스 컴퓨트에 일관되게 적용됩니다.
데이터 팀에 미치는 영향
이 기능은 다양한 산업 분야의 고객들에게 새로운 가능성을 제공합니다:
- 데이터 분석가와 엔지니어: 레거시 Hive 메타스토어 데이터에 원활하게 접근하여 Unity Catalog 이전을 기다리지 않고 빠른 데이터 탐색과 작업 실행을 가능하게 합니다.
- 관리자 및 보안 팀: AWS 인스턴스 프로필을 활용하여 최소 권한 접근을 강제하고, 실수로 권한이 상승하는 위험을 최소화하세요.
- 개발자들: 일관된 Spark 구성 지원 덕분에, 제3자 도구와 데이터 서비스와의 통합이 무리 없이 이루어집니다.
지금 시작해 보세요!
Databricks에서는 이제 AWS 인스턴스 프로필에 대한 서버리스 지원이 가능합니다. 자세한 설정 방법은 우리의 문서를 참조하십시오.