데이터브릭스에서 Mosaic AI 벡터 검색 일반 출시 발표

검색 증강 생성(RAG)를 위한 도구 모음 발표에 이어, 데이터브릭스의 Mosaic AI Vector Search 일반 출시를 발표하게 되어 기쁩니다.

Mosaic AI Vector Search 란 무엇인가요?

Vector Search를 사용하면 개발자는 PDF, Office 문서, 위키 등과 같은 비정형 문서에 대한 유사도 검색을 통해 검색 증강 생성(RAG) 및 생성형 AI 애플리케이션의 정확도를 향상시킬 수 있습니다. 이를 통해 LLM 쿼리에 문맥과 도메인 지식을 보강하여 정확도와 결과의 품질을 개선합니다.

Vector Search는 데이터브릭스 데이터 인텔리전스 플랫폼의 일부로, RAG 및 생성형 AI 애플리케이션이 데이터 레이크에 저장된 내부 데이터를 빠르고 안전한 방식으로 사용하고 정확한 응답을 제공할 수 있도록 지원합니다. 다른 데이터베이스와 달리 Vector Search는 소스에서 색인까지 자동 데이터 동기화를 지원하므로 복잡하고 비용이 많이 드는 파이프라인 유지 관리가 필요하지 않습니다. 조직이 안심하고 사용할 수 있도록 이미 구축한 것과 동일한 보안 및 데이터 거버넌스 도구를 활용합니다. 서버리스 설계를 채택한 데이터브릭스 Vector Search는 수십억 개의 임베딩과 초당 수천 개의 실시간 쿼리를 지원하도록 쉽게 확장할 수 있습니다.

고객이 Vector Search를 좋아하는 이유는?

"Ford Direct는 딜러의 실적, 재고, 트렌드 및 고객 참여 지표를 평가할 수 있도록 통합 챗봇을 만들어야 했습니다. Vector Search를 통해 내부 데이터와 문서를 검색 증강 생성(RAG)을 사용하는 생성형 AI 솔루션에 통합할 수 있었습니다.  Vector Search를 데이터브릭스 Delta 테이블 및 Unity Catalog와 통합함으로써 배포된 모델/애플리케이션을 건드리거나 다시 배포할 필요 없이 소스 데이터가 업데이트될 때마다 벡터 인덱스에 실시간으로 원활하게 액세스할 수 있게 되었습니다." - Tom Thomas, 분석 부문 부사장

우리는 빠르고 안전하며 사용하기 쉽도록 Vector Search를 설계했습니다.

• 낮은 TCO로 빠른 속도 -  Vector Search는 다른 공급업체보다 최대 5배 빠른 성능으로 낮은 TCO로 고성능을 제공하도록 설계되었습니다 .
• 자동화된 데이터 수집 - Vector Search를 사용하면 클릭 한 번으로 Delta 테이블을 벡터 인덱스로 동기화할 수 있습니다. 복잡한 맞춤형 데이터 수집/동기화 파이프라인을 구축할 필요가 없습니다.
• 기본 내장 거버넌스 - Vector Search는 이미 데이터 인텔리전스 플랫폼을 지원하는 것과 동일한 Unity Catalog 기반 보안 및 데이터 거버넌스 툴을 사용하므로 비정형 데이터에 대한 별도의 데이터 거버넌스 정책을 구축하고 유지 관리할 필요가 없습니다.
• 동급 최고의 검색 품질 - Vector Search는 다른 제공업체에 비해 즉시 가장 높은 검색 품질을 제공하도록 설계되었습니다.
• 서버리스 확장 - 인스턴스나 서버 유형을 구성할 필요 없이 워크플로에 맞게 서버리스 인프라를 자동으로 확장할 수 있습니다.

코닝은 유리 및 세라믹 기술이 다양한 산업 및 과학 분야에서 사용되는 소재 과학 기업입니다. 우리는 데이터브릭스를 사용하여 미국 특허청 데이터의 2,500만 문서를 색인하는 AI 연구 어시스턴트를 구축했습니다. LLM 기반 어시스턴트가 높은 정확도로 질문에 응답하는 것은 연구원들이 작업 중인 과제를 찾아서 진행할 수 있도록 하는 데 매우 중요했습니다. 이를 구현하기 위해 Vector Search를 사용하여 미국 특허청 데이터로 LLM을 보강했습니다. 데이터브릭스 솔루션은 검색 속도, 응답 품질 및 정확성을 크게 개선했습니다.  - 데니스 카모츠키, 수석 소프트웨어 엔지니어, 코닝

자동화된 데이터 수집

벡터 데이터베이스가 정보를 저장하기 위해서는 다양한 소스의 처리되지 않은 원시 데이터를 정리하고, 처리(파싱/청크)한 후, 데이터베이스에 벡터로 저장하기 전에 AI 모델로 임베드하는 데이터 수집 파이프라인이 필요합니다.  또 다른 데이터 수집 파이프라인을 구축하고 유지 관리하는 이 프로세스는 비용과 시간이 많이 소요되며, 귀중한 엔지니어링 리소스의 시간을 빼앗아갑니다. Vector Search는 데이터브릭스 데이터 인텔리전스 플랫폼과 완전히 통합되어 새로운 데이터 파이프라인을 구축 및 유지 관리할 필요 없이 자동으로 데이터를 가져오고 해당 데이터를 임베드할 수 있습니다. 

Delta Sync API는 소스 데이터를 벡터 인덱스와 자동으로 동기화 합니다. 소스 데이터가 추가, 업데이트 또는 삭제되면 해당 벡터 인덱스가 동기화되도록 자동으로 업데이트됩니다. Vector Search는 내부적으로 오류를 관리하고, 재시도를 처리하며, 배치 크기를 최적화하여 별도의 작업이나 입력 없이도 최상의 성능과 처리량을 제공합니다.  이러한 최적화를 통해 임베딩 모델 엔드포인트의 활용도가 높아져 총 소유 비용이 절감됩니다.

거버넌스 기본 제공

엔터프라이즈 조직은 데이터에 대한 엄격한 보안과 액세스 제어를 요구하므로 사용자가 생성형 AI 모델을 사용하여 액세스해서는 안 되는 기밀 데이터를 제공하지 못하도록 해야 합니다. 그러나 현재 벡터 데이터베이스에는 강력한 보안 및 액세스 제어 기능이 없거나 조직이 데이터 플랫폼과 별도로 별도의 보안 정책을 구축하고 유지 관리해야 합니다. 여러 보안 및 거버넌스 세트를 사용하면 비용과 복잡성이 증가하며 안정적으로 유지 관리하기 어렵고 오류가 발생하기 쉽습니다.

Mosaic AI Vector Search는 Unity Catalog와 통합되어, 이미 데이터 인텔리전스 플랫폼의 나머지 부분을 보호하는 것과 동일한 보안 제어 및 데이터 거버넌스를 활용합니다 . 벡터 인덱스는 Unity Catalog 내에 엔티티로 저장되며, 동일한 통합 인터페이스를 활용하여 임베딩을 세밀하게 제어하면서 데이터에 대한 정책을 정의할 수 있습니다. 

동급 최고의 검색 품질

모든 검색 증강 생성(RAG) 애플리케이션에서 관련성 있고 정확한 답변을 제공하기 위한 초석은 기본 검색 엔진의 검색 품질에 있습니다. 이러한 품질을 평가하는 데 있어 핵심은 리콜(recall)이라는 지표입니다. 리콜은 데이터 세트에서 모든 관련 문서를 검색하는 검색 엔진의 기능을 측정합니다. 높은 리콜률은 중요한 정보가 누락되지 않도록 보장하므로 특히 법률 연구, 의료 문의, 기술 지원과 같이 정보의 완전성이 가장 중요한 영역에서 필수적인 기능입니다.

이러한 시스템은 정확하고 상황에 맞는 응답을 생성하기 위해 가장 관련성이 높은 문서를 검색하는 데 의존하기 때문에 RAG 애플리케이션에서 리콜은 특히 중요합니다. 검색 엔진의 리콜이 낮으면 중요한 문서를 놓칠 위험이 있어 불완전하거나 잘못된 답변이 나올 수 있습니다. 그렇기 때문에 높은 리콜률을 보장하는 것은 단순한 기술적 요건이 아니라 RAG 애플리케이션에서 신뢰와 안정성을 구축하는 근본적인 측면입니다.

Mosaic AI Vector Search는 다른 제공업체에 비해 가장 높은 수준의 리콜을 즉시 제공하도록 설계되었습니다. 벡터 검색은 최첨단 머신 러닝 모델, 최적화된 색인 전략, 고급 쿼리 이해 기술을 활용하여 모든 검색이 관련 문서의 전체 범위를 캡처할 수 있도록 합니다. 이 기능은 Vector Search를 차별화하여 사용자에게 RAG 애플리케이션의 전반적인 효율성을 향상시키는 타의 추종을 불허하는 수준의 검색 품질을 제공합니다. 

높은 리콜을 우선시함으로써 보다 정확하고 신뢰할 수 있으며 맥락이 풍부한 응답을 지원하여 당사 기술 기반 애플리케이션에 대한 사용자 만족도와 신뢰를 높일 수 있습니다.

다음 단계

문서를 읽고 구체적으로 Vector Search 인덱스를 생성하여 시작하세요 

Vector Search 가격 자세히 알아보기

자체 RAG 애플리케이션 배포 시작하기 (데모)

생성형 AI 엔지니어 학습 경로: 자기 주도형, 온디맨드, 강사 주도형 생성 AI 과정 수강하기

앞서 발표한 공지의 요약을 읽어보세요

(번역: Youngkyong Ko)  Original Post