데이터브릭스, 스트림 프로세싱 및 클라우드 데이터 파이프라인 분야의 리더로 선정

데이터브릭스가 데이터 엔지니어링과 데이터 스트리밍 분야에서 두 개의 새로운 분석 보고서에서 인정받았다는 기쁜 소식을 전해드립니다:

• IDC MarketScape: 전 세계 분석 스트림 처리 소프트웨어, 2024 (리더)
• Forrester Wave™: 클라우드 데이터 파이프라인, 2023년 4분기 (리더)

IDC 보고서는 여기에서, Forrester 보고서는 여기에서 다운로드할 수 있습니다.

데이터브릭스 데이터 인텔리전스 플랫폼의 데이터 엔지니어링을 통해 데이터 실무자들은 거버넌스가 관리되는 통합 플랫폼에서 지능형 배치 및 스트리밍 데이터 파이프라인을 구축할 수 있습니다. 데이터브릭스를 통해 데이터 엔지니어와 관련 당사자들은 어떤 규모에서든 적시에 올바른 데이터를 쉽게 수집, 변환, 조정할 수 있습니다. 내장된 데이터 인텔리전스 기능은 자동화된 관리와 최적화, 의미 기반 카탈로그  및 검색, 자연어 접근을 통해 파이프라인 개발 속도를 높이며, 동시에 비즈니스 발전을 위한 실시간 생성 AI와 분석 활용 사례를 가능하게 합니다.

데이터 엔지니어링과 데이터 스트리밍은 밀접하게 연관되어 있기 때문에, 이 두 보고서를 함께 발표하게 된 것을 기쁘게 생각합니다. 자세한 내용은 아래와 같습니다.

IDC MarketScape: 2024년 전 세계 분석 스트림 처리 소프트웨어

비즈니스 속도가 빨라지면서, 기업들은 과거의 데이터가 아닌 현재 일어나고 있는 상황을 바탕으로 대응하고 결정을 내려야 합니다.

스트리밍 데이터 솔루션은 전 세계 모든 주요 지역과 산업 분야에 걸쳐 존재하며, AI 시대에 그 중요성이 급격히 증가하고 있습니다. IDC에 따르면, 은행, 제조, 소매, 정부, 공공 서비스 분야의 상위 15개 AI 활용 사례 중 12개가 실시간 데이터를 필요로 한다고 합니다.

그렇기 때문에 스트리밍 데이터 파이프라인, 실시간 AI, 실시간 분석, 실시간 애플리케이션과 같은 핵심 스트리밍 작업을 처리할 수 있는 데이터 플랫폼을 선택하는 것이 중요합니다. 이러한 플랫폼을 선택할 때는 처리량과 지연 시간 요구사항, 오픈 소스 사용 여부, 지원되는 이벤트 브로커 기술 유형, 프로그래밍 환경, 개인정보 보호 및 거버넌스 요구사항 등을 고려해야 합니다.

데이터브릭스 데이터 인텔리전스 플랫폼은 실시간(또는 적시) 활용 사례에 가장 적합한 데이터 스트리밍 플랫폼입니다. 서버리스 아키텍처와 Spark Structured Streaming(세계적으로 가장 인기 있는 오픈 소스 스트리밍 엔진)을 기반으로 구축되었으며, Delta Live Tables와 같은 파이프라인 도구를 제공하여 실시간 결과를 지원합니다.

IDC는 이 분야의 주요 제공업체들에 대한 최신 평가를 통해 데이터 스트리밍 시장에 대한 관점을 제시했습니다. 평가된 플랫폼 중 데이터브릭스는 현재 능력과 미래 전략 모두에서 최고 순위를 차지했습니다. 데이터브릭스는 특히 다음 항목에서 높은 점수를 받았습니다:

• 스트리밍 및 배치 워크로드를 위한 통합 환경
• 개발자 경험
• Unity Catalog를 통한 포괄적인 거버넌스
• 기술 혁신
• 파트너 에코시스템

여기에서 보고서 전문을 무료로 다운로드할 수 있습니다.

Forrester Wave™: 2023년 4분기 클라우드 데이터 파이프라인 보고서

기업들은 현대 비즈니스 인사이트를 지원하기 위해 간단하고, 통합되며, 비용 효율적이고, 고도로 자동화된 솔루션을 원합니다. 클라우드 데이터 파이프라인(CDP)은 기업이 빠르게 분석을 구축하고, 데이터 수집 및 처리 워크플로우를 자동화하며, 새로운 데이터 소스를 활용하고, 새로운 비즈니스 요구사항을 지원하는 데 도움을 줍니다.

기업들은 대규모의 처리 성능을 제공하고, 데이터 엔지니어, 데이터 과학자, 데이터 분석가, 개발자의 생산성을 높이며, 복잡한 사용 사례를 지원하고, 새로운 생성 AI(genAI) 기능을 활용하여 배포를 자동화할 수 있는 데이터 파이프라인 솔루션이 필요합니다.

따라서 다음과 같은 기능을 갖춘 데이터 파이프라인 엔지니어링 플랫폼을 선택하는 것이 중요합니다:

• 비즈니스 속도에 맞는 성능 제공
• 다양한 사용자를 지원하는 파이프라인 개발 대중화
• 데이터 파이프라인 오케스트레이션
• 생성형 AI를 활용하여 개발과 배포를 자동화하고 가속화

스트리밍 및 배치 워크로드 모두에 있어, 데이터브릭스 데이터 인텔리전스 플랫폼은 모든 AI 및 분석 이니셔티브를 위한 데이터 파이프라인을 구축하는 데 최적의 장소입니다. Delta Live Tables와 데이터브릭스의 기본 데이터 오케스트레이션 도구인 Databricks Workflows와 같은 플랫폼 기능을 통해 데이터 엔지니어와 다른 실무자들이 프로덕션 수준의 데이터 파이프라인을 정의하고 관리할 수 있는 완전한 제어 권한을 갖게 됩니다. 오직 데이터브릭스만이 신뢰할 수 있는 데이터 파이프라인에서 나오는 믿을 수 있는 데이터, 최적화된 비용/성능, 그리고 데이터와 비즈니스를 이해하는 통합되고 완전히 관리되는 플랫폼에서의 대중화된 파이프라인 개발을 가능하게 합니다.

데이터브릭스가 Forrester Wave™: 2023년 4분기 클라우드 데이터 파이프라인 보고서에서 리더로 선정된 이유를 확인해보세요. 비전, 로드맵, 파트너 생태계 부분에서 최고 점수를 받았습니다.

주요 공급업체들의 현재 제품, 전략, 시장 입지에 대한 Forrester의 견해를 포함한 이 보고서를 여기에서 무료로 읽어보실 수 있습니다.

자세히 알아보기

데이터 팀들이 생성 AI와 데이터 인텔리전스를 활용하면서 새로운 형태의 협업 방식도 함께 도입해야 할 때입니다. 현대의 데이터 엔지니어는 데이터 과학 분야에 대해 깊이 있는 지식을 갖추어야 하며, 마찬가지로 데이터 과학자들도 엔지니어링에 대한 이해가 필요합니다. 이러한 변화에 발맞춰 우리는 AI 시대에 데이터 엔지니어링과 데이터 과학을 효과적으로 연계하는 방법을 담은 가이드를 준비했습니다. 이 가이드는 여기에서 다운로드하실 수 있습니다.

마지막으로, 데이터 + AI 서밋 2024가 성황리에 마무리되었습니다! 데이터 엔지니어링 및 스트리밍 트랙의 세션은 온디맨드로 시청할 수 있으며, 데이터브릭스에서 수집, 변환, 스트리밍 및 오케스트레이션의 미래에 대한 몇 가지 중요한 발표가 포함되어 있습니다. 데이터브릭스에서 데이터 파이프라인의 미래에 대해 자세히 알아보려면 여기에서 데이터브릭스 레이크플로우 발표를 읽어보세요.