통합 데이터 플랫폼 위의 복리 효과 - 클라우드 보안에서 혁신 가속화

Prisma Cloud는 귀하의 위험과 사건에 대한 포괄적인 코드-클라우드 가시성을 제공하며, 코드-클라우드 여정을 관리하고 모니터링하는 주요 복구 기능을 제공하는 선도적인 클라우드 보안 플랫폼입니다. 현재 이 플랫폼은 전 세계적으로 코드에서 클라우드까지 10억 개 이상의 자산이나 작업 부하를 보호하고 있습니다. 이것은 수만 개의 클라우드 계정을 가진 고객들이 매시간 수조의 규모로 지속적인 변이와 구성 변경을 보는 가장 요구사항이 높은 환경을 보호합니다.

이 블로그에서는 Prisma Cloud의 데이터 및 AI를 제품에 통합하는 역사적 접근법, 기존 데이터 플랫폼에서 겪었던 문제점, 그리고 Databricks Data Intelligence Platform을 통해 Prisma Cloud가 고객과 내부 팀 모두에게 직접적인 이점을 제공하는 기업 전체의 변화를 이루었는지에 대해 살펴볼 것입니다.

Prisma Cloud의 초점은 각 세그먼트/모듈 내에서 최고의 솔루션을 제공하고, 다른 모듈에서의 신호를 연결하여 플랫폼 제공으로 더 깊은 기능을 제공하는 가치 추가 보안 기능을 제공하는 것이었습니다. 일부 예시는 다음과 같습니다:

• 구조 문제 해결 인프라 구성 및 관리와 관련된 문제. 이러한 문제를 코드에서 수정하고 자동화 마인드셋을 육성함으로써 생산에서 그것들을 방지하는 데 도움이 됩니다. 우리의 Posture Management 제공과 Code Security 제공을 결합하는 것은 추적 가능성을 보장하고 코드에서 직접 문제를 해결하는 데 필수적이었습니다.
• 시각화 및 관리 컨트롤 을 플랫폼 '지식 그래프' 를 통해 고객이 리소스와 작업 부하가 어떻게 연결되어 있는지 이해하는 데 도움이 됩니다. 이 접근 방식을 통해 그들은 발견 사항을 평가하고 SOC 관리자에게 더 큰 문제를 끼치는 경로를 식별할 수 있습니다. 모든 신호를 한 곳에 모으는 것이 이 과정에 있어 중요합니다.

Prisma Cloud는 보안 기능에서 최고의 품질을 자랑하는 10개 이상의 모듈로 구성되어 있으며, 각 모듈이 플랫폼에 신호를 생성합니다. 고객들은 자신들의 수직적인 요구사항(예: 취약점 관리)을 위해 플랫폼을 활용하거나 전체 스위트를 이용할 수 있습니다. 플랫폼 접근 방식은 고객이 인접한 영역을 탐색하도록 장려하며, 전체적인 가치를 높이고 더 큰 고착화를 유도합니다.

Prisma Cloud의 기술적 도전은 기본적으로 데이터 도전입니다. 우리의 빠른 모듈 확장-기업 인수 및 자체 혁신에 의해 주도되는-은 처음부터 통합 데이터 전략을 개발하는 것이 요구되는 작업이었습니다. 그러나 비전은 명확했습니다: 모든 데이터를 한 곳에 통합하는 솔루션 없이는 최고의 모듈의 힘을 활용하면서 고객이 필요로 하는 기능을 완전히 제공할 수 없습니다.

GenAI의 가장 큰 이용자 중 하나인 Palo Alto Networks는 AI를 활용하여 보안 제공을 향상시키고, 고객이 AI 사용을 보호하는 데 도움을 주며, AI 주도의 조종사와 자동화를 통해 사용자 경험을 최적화하는 세 가지 핵심 요소를 중심으로 AI 전략을 구축하였습니다. 자세한 내용은 PrecisionAI 를 참조하십시오.

Palo Alto Networks와 Prisma Cloud는 GenAI 파도가 산업을 재구성하기 훨씬 전부터 여러 제품과 기능에서 깊은 AI/ML 사용에 대한 강력한 역사를 가지고 있었습니다. 그러나 AI 기능의 빠른 발전은 장기적이고 포괄적인 데이터 전략의 필요성을 가속화했습니다.

Prisma Cloud 아키텍처에서의 Databricks 생태계

우리는 Databricks 데이터 인텔리전스 플랫폼을 우리의 전략적 방향과 요구사항에 가장 적합하다고 판단하였습니다. 이 플랫폼은 우리의 비전을 지원하기 위해 필요한 모든 중요한 측면을 포괄하고 있습니다. Databricks와 함께, 우리는 데이터 통합 노력을 크게 가속화하고 혁신적인 사용 사례를 확장하였습니다—롤아웃 후 단 여섯 달 만에 측정 가능한 고객 혜택을 제공하였습니다.

Databricks를 통합한 첫 해에만 Palo Alto Networks는 고객과 내부 팀 모두에게 직접적인 이익을 제공하는 변혁적인, 기업 전체의 영향을 미쳤습니다. Databricks 플랫폼에서 데이터 워크플로우를 중앙화함으로써, 우리는 복잡성을 크게 줄이고 혁신을 가속화하여 AI/ML 기능을 이전보다 세 배 빠르게 반복할 수 있게 되었습니다. 이 증가된 속도와 함께, 우리는 판매 비용의 20% 감소와 엔지니어링 개발 시간의 3배 감소를 실현했습니다.

Databricks 워크플로우, Databricks Unity 카탈로그를 통한 통합 거버넌스, 그리고 Databricks Auto Loader에 의해 강화된 협업을 활용하여 우리는 전례 없는 속도와 규모로 보안 솔루션을 제공할 수 있었습니다. 이것은 Prisma Cloud의 데이터 처리를 크게 가속화시키고 우리가 이전보다 더 빠르게 시장에 영향력 있는 기능을 제공할 수 있게 하였습니다.

자체 개발 솔루션의 도전

Prisma Cloud는 AWS 기반의 인프라의 대부분을 운영하며, AWS 네이티브 서비스를 중심으로 구축된 성숙한 엔지니어링 기술 스택을 사용합니다. 우리 팀은 AWS Glue와 EMR에서 인프라를 운영하면서 Apache Spark를 ETL 및 분석 처리에 활용하는 데 광범위한 경험을 가지고 있습니다.

전용 데이터 플랫폼의 필요성을 인식하여, 우리는 초기 버전의 기반으로 EMR, Glue 및 S3를 활용한 자체 개발 솔루션을 처음 개발했습니다. 이 접근법은 소규모 팀에서는 잘 작동했지만, 보다 광범위한 데이터 전략을 지원하고 여러 팀에서의 채택을 확대하는 것은 빠르게 도전이 되었습니다. 우리는 수천 개의 Glue 작업과 여러 EMR 클러스터를 관리하게 되었는데, 이 모든 것들은 모니터링, 알림, 신뢰성 검사, 그리고 거버넌스/보안 가드레일과 같은 엔터프라이즈 등급 기능을 필요로 했습니다.

우리의 필요성이 증가함에 따라 운영 오버헤드도 증가했습니다. 우리의 엔지니어링 노력의 상당 부분이 혁신과 가치 중심의 사용 사례에 집중하는 대신, 실질적으로 우리의 데이터 플랫폼을 위한 "운영 체제"를 유지하는 데 사용되었습니다.

이 노력이 우리의 전략적 필요성을 해결했지만, 이 버전을 유지하는 데 여러 도전을 마주하기 시작했습니다. 다음과 같은 몇 가지가 있습니다

• 맞춤형 도구와 데이터 변환 - 팀들은 데이터 속성을 식별하고, 그것들을 찾아내고, 각 사용 사례에 대한 맞춤형 파이프라인을 설계하기 위해 여러 회의에서 상당한 시간을 보냈습니다. 이로 인해 개발과 협업이 지연되었습니다.
• 시간이 많이 소요되는 인프라 관리 - 우리의 Spark 작업의 핵심에 여러 튜닝 파라미터가 있어, 우리는 확장 가능하고 일반적인 변경 관리 프로세스를 개발하는 데 어려움을 겪었습니다. 이는 클러스터를 관리하는 인프라 팀에 상당한 인지 부하를 추가했습니다.
• 비용 관리와 예산 집행 - EMR과 Glue를 직접 관리하려면 모든 스택에서 중앙 집중식 관찰 가능성을 포함하여 여러 가드레일을 수동으로 설정해야 했습니다. 프로젝트가 커짐에 따라, 더 성숙한 데이터 플랫폼을 유지하는 데 필요한 인원도 증가했습니다.
• 스파크 관리 - AWS에서 지원하지 않는 스파크 핵심 라이브러리의 일부 업데이트에 대한 문제도 겪었습니다. 이로 인해 일부 작업이 최신 기술에 비해 비효율적이게 되었습니다. 내부 AWS의 실행 관리에 대한 제한으로 인해 근본 원인을 파악하기 위해 광범위한 문제 해결과 반복적인 회의를 진행해야 했습니다.

이러한 도전에도 불구하고, 우리의 자체 개발 솔루션은 계속해서 확장되어, 중요한 사용 사례에 대해 시간당 수천만 건의 데이터 변이를 처리하고 있습니다. 앞으로 보면, 우리는 더 성숙한 플랫폼으로 이전할 명확한 필요성을 보고 있습니다—우리가 내부 도구를 퇴역시키고 엔지니어링 노력을 인프라 관리보다는 고객의 클라우드 환경을 보호하는 데에 집중할 수 있게 해주는 플랫폼입니다.

Prisma Cloud에서의 데이터 아키텍처와 그 진화

Prisma Cloud에서는 기술 평가에 대해 8가지 요소 규칙을 따르며, 이를 통해 장점과 단점을 평가합니다. 이 요소들은 우리의 내부 기술 리더십 위원회에서 분석되며, 우리는 합의에 이르기 위해 토론에 참여합니다. 요소가 적절하게 평가될 수 없는 경우에는, 사업 관련 프로토타이핑을 통해 추가 데이터를 수집하여 잘 알려진 결정을 내릴 수 있도록 합니다.

주요 요인들은 아래에 나열되어 있습니다:

• 기능적 적합성 - 이것이 우리의 비즈니스 요구를 해결합니까?
• 아키텍처/디자인 적합성 - 우리의 장기적인 기술 비전과 일치하는가?
• 개발자 채택 - 오늘날 개발자들 사이에서 얼마나 인기가 있나요?
• 안정성/생태계 - 이 기술을 사용하는 대규모 기업이 있나요?
• 배포 복잡성 - 배포와 변경 관리에 얼마나 많은 노력이 필요한가요?
• 비용 - 우리가 이 기술을 활용하여 제공할 계획인 기능의 가치와 COGs 비교는 어떻게 되나요?
• 비교 벤치마크 - 비교 가능한 규모를 증명하는 기존 벤치마크가 있습니까?

우리의 주요 장기 목표 중 하나는 보안 데이터 메시 모델로 이동할 수 있는 능력이었습니다. 우리의 플랫폼 접근 방식을 고려할 때, 우리는 데이터를 3가지 기본 유형으로 분류합니다:

• 원시 데이터 - 이는 플랫폼에 진입하는 프로듀서 또는 모듈에서 직접 수집된 데이터를 포함합니다. Databricks 레이크하우스 용어로 - 이것은 Bronze 데이터에 해당합니다.
• 처리된 데이터 - Prisma Cloud Platform은 원시 데이터를 정규화된 플랫폼 객체로 변환하는 의견이 있는 플랫폼입니다. 이것을 처리된 데이터라고 부르며, 이는 레이크하우스 용어에서 실버 데이터 계층과 일치합니다.
• 상관 데이터 - 이 카테고리는 다양한 데이터셋을 상관시켜 고급 통찰력과 분석을 가능하게 함으로써 순수 가치를 창출합니다. 이는 레이크하우스 용어에서 Gold 계층에 해당합니다.

전통적인 데이터 레이크에서는 Bronze 데이터가 종종 버려지지만, 우리 플랫폼의 폭과 깊이는 더 진화적인 접근 방식을 필요로 합니다. 단순히 데이터를 Gold 데이터셋으로 변환하는 것이 아니라, 우리는 우리의 데이터 레이크가 데이터 메시로 진화하는 것을 상상합니다, 이를 통해 더 큰 유연성, 접근성, 그리고 교차 도메인 통찰력을 가능하게 합니다. 아래의 다이어그램은 우리가 우리의 데이터 레이크 투자에서 추출하려는 장기적인 능력을 반영합니다.

우리의 모든 평가는 위의 철학을 중심으로 진행되었습니다.

평가 결과

새로운 기술 평가 프레임워크에서 모든 항목을 확인하는 것 외에도, 다음의 주요 인사이트가 Databricks를 우리의 선호하는 데이터 플랫폼으로 확고하게 만들었습니다.

1. 기존 기술 스택의 단순화 - 우리의 인프라는 여러 Glue와 EMR 작업에 의존했으며, 이 중 많은 것들이 ad-hoc 도구와 반복적인 유지 보수를 필요로 했습니다. Databricks를 통해, 우리는 작업의 30%-40%를 줄이고, 엔지니어들이 유지 관리 대신 핵심 비즈니스 기능에 집중할 수 있는 기회를 발견했습니다.
2. 비용 절감 - 우리는 다양한 사용 사례에서 가속화된 채택을 고려하기 전에도 기존 지출에서 최소 20% 감소 를 보았습니다.
3. 플랫폼 기능 및 생태계 - Databricks는 데이터 소비를 위한 JDBC URL 노출, 내장 ML/AI 인프라, 자동화된 모델 호스팅, 강화된 거버넌스 및 접근 제어, 고급 데이터 삭제 및 마스킹 등의 기능을 통해 즉시 가치를 제공했습니다. 이러한 기능들은 우리가 전략적이고 전술적인 필요에 따라 데이터 처리 전략을 업그레이드하는 데 중요했습니다.
4. 교육 및 적용의 용이성 - 새로운 엔지니어를 Databricks에 온보딩하는 것은 AWS에서 처음부터 확장 가능한 ETL 파이프라인을 구축하는 것보다 훨씬 쉬웠습니다. 이는 입문 장벽을 낮추고 우리의 규모에서 필수적인 Spark 기반 기술의 채택을 가속화했습니다.

평가 세부 사항

응용 사례 연구

우리의 초기 시범 프로젝트를 통해, 우리는 기존의 S3 기반 데이터 레이크에서 Databricks 플랫폼으로의 이전 경로를 계획하기로 결정했습니다. Raw와 Correlated 계층에서 데이터에 액세스해야 하는 주요 인사이트 프로젝트가 완벽한 기회를 제공했습니다. 이를 통해 새로운 보안 인사이트를 발견하고 보안 문제 해결을 최적화할 수 있었습니다.

Databricks를 채택하기 전에, 이런 종류의 프로젝트를 실행하는 데는 여러 복잡하고 시간이 많이 걸리는 단계가 포함되었습니다:

• 데이터 요구 사항 식별 - 닭과 달걀의 문제가 발생했습니다: 우리는 데이터 요구 사항을 미리 정의해야 했지만, 대부분의 인사이트는 여러 데이터 세트를 통해 탐색을 필요로 했습니다.
• 통합 복잡성 - 데이터 요구 사항이 정의되면, 소유자와 데이터를 조정하여 통합 경로를 설정해야 했습니다—이는 종종 맞춤형, 일회용 파이프라인으로 이어졌습니다.
• 거버넌스 & 접근 제어 - 모든 데이터가 사용 가능하면, 그 다음에는 적절한 보안과 거버넌스를 보장해야 했습니다. 이는 수동 구성을 필요로 했으며, 데이터가 어디에 있는지에 따라 구현 방식이 달랐습니다.
• 관찰 가능성과 문제 해결 - 데이터 파이프라인 모니터링이 여러 팀에게 분산되어 있어, 문제를 해결하는 데는 상당한 팀 간 협력이 필요하였고, 디버깅이 매우 사용 사례에 특화되었습니다.

우리는 다음 단계를 통해 이 중요한 프로젝트에 Databricks Data Intelligence Platform의 영향을 테스트했습니다:

• 단계 1: 인프라 및 마이그레이션 계획
  
  우리는 Databricks를 개발 환경에 부트스트랩하고 S3에 있는 내부 데이터 레이크를 Databricks로 이전 계획을 시작했습니다. 우리는 마이그레이션과 인프라 및 리소스 배포 모두에 대해 Databricks Asset Bundles와 Terraform을 사용했습니다.
  
  Databricks를 채택하기 전에, 엔지니어들은 대부분의 시간을 다양한 도구를 통해 AWS 인프라를 관리하는 데 사용했습니다. Databricks를 사용하면 사용자 및 그룹 클러스터 구성을 관리하는 중앙 플랫폼이 있습니다.
  
  Databricks는 Photon을 통해 향상된 Spark 환경을 제공하며, 최적화된 성능을 가진 완전히 관리되는 플랫폼을 제공하는 반면, AWS는 주로 EMR 서비스를 통해 Spark를 제공하며, 이는 더 많은 수동 구성을 필요로 하고 Databricks와 같은 성능 최적화 수준을 달성하지 못합니다. 또한, Databricks에서 모델을 구축, 배포, 제공하는 능력은 우리가 더 빠르게 확장할 수 있게 해주었습니다.
• 단계 2: 규모에 맞는 작업 흐름 구조화
  
  우리는 Databricks 플랫폼에서 프로젝트를 데이터 카탈로그 관리, 데이터 레이크 채우기, 거버넌스 및 접근 제어, 개발 도구/자동화의 네 가지 작업 흐름으로 나누었습니다.
  
  Unity Catalog는 플랫폼을 구축하는 데 필수적이었으며, 단일 공간에서 통합된 거버넌스와 접근 제어를 제공했습니다. 속성 기반 액세스 제어 (ABAC) 및 데이터 마스킹을 활용하여, 개발 시간을 지연시키지 않고 필요한 데이터를 숨길 수 있었습니다.
• 단계 3: 데이터 온보딩 및 거버넌스 가속화
  
  카탈로그 등록 및 데이터 레이크에 있는 기존 데이터의 온보딩은 몇 시간 밖에 걸리지 않았으며, 거버넌스 및 접근 제어 설정은 한 번만 수행하면 됐습니다.
  
  Unity Catalog는 모든 권한을 관리하는 중앙화된 플랫폼을 제공하여, 구조화된 데이터와 비구조화된 데이터를 포함한 전체 데이터 자산의 보안을 단순화했습니다. 이에는 데이터, 모델, 대시보드, 노트북 등에 대한 거버넌스가 포함되었습니다.
• 단계 4: 데이터 채우기 & 관찰 가능성 확장
  
  우리는 이전에 사용할 수 없었던 원시 데이터를 기존의 데이터 레이크에 원활하게 통합하고, 그것의 채우기를 Databricks 플랫폼에 우선시했습니다. 종합적인 Kafka, 데이터베이스, S3 통합을 활용하여, 우리는 몇 번의 스프린트 내에 수조 행까지 확장 가능한 생산 등급의 hydration 작업을 성공적으로 개발했습니다.
  
  우리는 프로덕션에서는 Databricks 워크플로우를 광범위하게 사용하며, 대화형 클러스터는 개발, 테스트, 성능 환경을 지원하며, 우리의 Prisma Cloud 제품에 대한 혁신적인 기능을 구축하는데 전념합니다. Databricks Serverless SQL은 우리의 대시보드를 지원하며, 모델 드리프트와 성능 지표의 효율적인 모니터링을 보장합니다. 또한, 시스템 테이블은 우리가 시간이 지남에 따라 고비용의 작업과 실행을 정확하게 파악하고 분석하며, 중요한 예산 변동을 추적하고, 효과적인 비용 최적화와 자원 관리를 촉진하는 데 도움이 됩니다.
  
  이 종합적인 접근법은 경영진에게 플랫폼 사용 및 소비에 대한 명확한 가시성을 제공하며, EMR, Glue, SageMaker, Neptune과 같은 여러 AWS 도구에서 파편화된 인사이트에 의존하지 않고 관찰성과 예산을 간소화합니다.

그 결과

이 통합은 변화를 가져왔습니다. 프로토타이핑의 첫 주 동안에만, 우리는 원시 데이터, 처리된 데이터, 그리고 상관 데이터 세트를 결합하여 제품-시장 적합성을 더 효과적으로 평가할 수 있는 가치 있는 통찰력을 발견했습니다. 결과적으로, 우리는 추구할 고객의 문제에 대한 명확한 방향성을 얻고, 우리가 제공할 수 있는 영향에 대한 더 강한 이해를 얻었습니다.

Databricks와 파트너십을 맺은 지 단 여섯 달 만에, 우리는 고객들을 위한 중요한 보안 혁신을 도입하였습니다—이것은 우리의 이전 기술 스택, 광범위한 고객 기반, 그리고 핵심 보안 기능을 우선시하는 필요성을 고려할 때 거의 불가능했던 성과였습니다.

Databricks 이용 통계

• 하루에 약 3조 개의 레코드 처리.
• P50 처리 시간: < 30 분.
• 최대 병렬성: 24
• Auto Loader 사용은 처리 지연 시간을 초 단위로 줄여, 거의 실시간 처리를 제공합니다.
• 시스템 테이블을 사용한 AI/BI 대시보드와 같은 기본 제공 기능은 개발 팀이 시간이 지남에 따라 고비용 작업과 실행을 식별하고 분석하고, 중요한 예산 변경 사항을 모니터링하고, 효과적인 비용 최적화 및 리소스 관리를 지원하는 데 도움이 되었습니다.

결론

위의 응용 사례 연구가 보여주듯이, 우리의 성장 시기는 Databricks가 선호하는 데이터 플랫폼으로 부상하는 것과 일치했습니다. 우리의 빠른 혁신과 확장성에 대한 공동의 약속으로 이 파트너십은 자연스러운 선택이었습니다.

클라우드 보안의 기술적 도전을 데이터 문제로 재구성함으로써, 우리는 이 분야의 전문가인 기술 제공업체를 찾아볼 수 있었습니다. 이 전략적인 변화는 우리가 Databricks의 강력한 플랫폼을 활용하면서 도메인 지능을 적용하여 우리의 규모와 비즈니스 요구에 맞게 맞춤화하는 데 초점을 맞추게 했습니다. 결국, 이 협력은 우리가 혁신을 가속화하고, 보안 인사이트를 향상시키고, 고객에게 더 큰 가치를 제공하는 데 도움이 되었습니다.

Databricks와 Palo Alto Networks의 협력에 대해 더 알아보려면 여기를 클릭하세요.

 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)