벡터 데이터베이스(Vector Database)

언제 벡터 데이터베이스를 사용하나요?

국제 데이터 공사 (IDC)에 따르면, 2025년까지 전 세계에서 생성되는 새로운 데이터의 80%는 텍스트, 이미지, 비디오와 같은 비구조화 데이터가 될 것입니다. 학습 기반 모델, 즉 심층 신경망 등은 이러한 비구조화 데이터를 관리하기 위해 증가하고 있으며, 이는 전자상거래부터 헬스케어에 이르기까지 다양한 산업 분야의 응용 프로그램에 사용됩니다. 이러한 응용 프로그램은 비구조화 데이터를 임베딩 벡터로 변환하는 방식으로 작동합니다. 데이터가 "벡터화"되면, 검색, 추천 및 분석과 같은 작업들이 유사성 기반 벡터 검색을 통해 구현될 수 있습니다. 벡터 데이터의 관리는 벡터 데이터베이스에서 이루어집니다.

언제 벡터 데이터베이스를 사용해야 하는지는 당신이 사용하고 있는 다른 프로세스와 기술에 따라 달라집니다. 벡터 데이터베이스는 많은 AI 시스템을 구동하는 핵심 구성 요소이며, 일부(하지만 모두가 아닌) 대형 언어 모델(LLM) 응용 프로그램은 빠른 유사성 검색을 위해 벡터 데이터베이스를 사용하거나, 문맥이나 도메인 지식을 제공합니다. 예를 들어, 벡터 데이터베이스는 검색 증강 생성(RAG)에서 중요한 역할을 하는데, 이는 벡터 데이터베이스가 LLM에 전달되는 프롬프트를 쿼리와 함께 추가적인 문맥을 제공함으로써 향상시키는 접근 방식입니다.

벡터 데이터베이스는 또한 하이브리드 검색을 가능하게 합니다. 이 접근법은 전통적인 키워드 기반 검색과 의미 유사성 검색을 결합하여 키워드가 정확히 일치하지 않아도 관련 정보를 찾을 수 있습니다. 벡터 데이터베이스는 의미 및 감정 분석을 포함한 여러 자연어 처리(NLP) 작업 또는 기계 학습(ML) 모델 훈련에도 사용될 수 있습니다.

벡터란 무엇인가요?

벡터는 특정 점의 위치를 여러 차원에서 표현하는 고차원의 숫자 배열입니다. 단어 벡터 공간을 단어들이 점으로 표현된 3차원의 구름으로 상상해보세요. 이 공간에서는 관련된 의미를 가진 단어들이 함께 묶입니다. 예를 들어, "사과"를 나타내는 점은 "차"보다는 "배"에 더 가깝게 위치할 것입니다. 이 공간적 배치는 단어들 사이의 의미적 관계를 반영하며, 가까움은 의미의 유사성을 나타냅니다.

벡터 임베딩이란 무엇인가요?

벡터는 원시 데이터에 임베딩 함수를 적용하여 그것을 표현으로 변환함으로써 생성됩니다. 이러한 표현들은 ML 모델이 대표적인 그룹을 가져와 벡터 공간에 임베드 하기 때문에 "임베딩"이라고 불립니다. 벡터는 숫자 목록으로 임베딩되어 ML 모델이 데이터와 함께 작업을 더 쉽게 수행할 수 있게 합니다. 사실, ML 방법의 성능은 벡터 표현의 품질에 크게 의존합니다. 텍스트의 전체 단락 또는 숫자 그룹을 벡터로 축소하여 모델이 효율적으로 작업을 수행할 수 있게 합니다.

벡터 데이터베이스는 어떻게 작동하나요?

벡터 데이터베이스는 고차원 벡터 임베딩을 통해 데이터를 효율적으로 저장, 색인화하고 쿼리하는 것을 목표로 설계되었습니다. 사용자가 벡터 데이터베이스에 쿼리나 요청을 입력하면 다음과 같은 일련의 과정이 시작됩니다:

1. 벡터화: 이 첫 단계에서는 텍스트, 이미지, 오디오 또는 비디오를 포함한 다양한 형태의 콘텐츠에서 임베딩을 생성합니다. 이 과정은 데이터의 의미적 관계를 포착합니다. 예를 들어, 텍스트 데이터에서 이 과정은 유사한 의미를 가진 단어들(또는 벡터들)이 벡터 공간에서 서로 가까이 위치하도록 합니다.
2. 벡터 인덱싱: 다음 단계는 벡터 데이터베이스를 전통적인 데이터베이스와 구별짓습니다. ML 알고리즘, 예를 들어 제품 양자화 또는 계층적 탐색 가능 소세계(HNSW)가 데이터에 적용되어 벡터를 새로운 데이터 구조에 매핑합니다. 이러한 구조는 벡터 간의 가장 가까운 이웃 검색과 같은 더 빠른 유사성 또는 거리 검색을 가능하게 합니다. 이 인덱싱 과정은 데이터베이스의 성능에 필수적이며, 이를 통해 유사한 벡터를 빠르게 검색할 수 있습니다.
3. 쿼리 실행: 마지막 단계에서는 초기 쿼리 벡터가 데이터베이스의 인덱스된 벡터와 비교됩니다. 시스템은 가장 강한 관계를 가진 벡터를 검색하여, 정확한 키워드 일치보다는 의미적 유사성에 기반한 가장 관련성 있는 정보를 효과적으로 찾습니다.

이러한 과정들은 벡터 데이터베이스가 의미론적 검색과 유사성 기반 검색을 수행하게 해주며, 이는 추천 시스템, 이미지 및 비디오 인식, 텍스트 분석, 이상 탐지 등의 애플리케이션에 이상적입니다.

벡터 데이터베이스의 장점

벡터 데이터베이스는 다양한 이점을 제공합니다:

• 고속 및 성능: 벡터 데이터베이스는 벡터 거리 또는 유사성 지표를 사용하여 빠르게 유사한 데이터를 찾을 수 있으며, 이는 NLP, 컴퓨터 비전 및 추천 시스템에 필수적입니다. 정확한 일치 또는 사전 정의된 기준에 제한되는 전통적인 데이터베이스와 달리, 벡터 데이터베이스는 의미론적 및 문맥적 의미를 포착합니다. 이는 단순한 키워드 일치를 넘어 더욱 미묘하고, 문맥을 인식하는 검색을 수행함으로써 데이터 검색을 최적화합니다.
• 확장성: 전통적인 데이터베이스는 대용량 데이터를 처리할 때 확장성 병목 현상, 지연 문제 또는 동시성 충돌과 같은 문제에 직면할 수 있지만, 벡터 데이터베이스는 대량의 데이터를 처리할 수 있도록 구축되었습니다. 벡터 데이터베이스는 샤딩, 파티셔닝, 캐싱 및 복제와 같은 기법을 사용하여 작업 부하를 분산시키고 여러 기계 또는 클러스터 간의 리소스 사용을 최적화함으로써 확장성을 향상시킵니다.
• 다양성: 데이터가 이미지, 비디오 또는 기타 다중 모드 데이터를 포함하더라도 벡터 데이터베이스는 다양하게 구축되어 있습니다. 의미론적 검색부터 대화형 AI 응용 프로그램에 이르기까지 다양한 사용 사례를 처리할 수 있는 능력을 갖추고 있어, 벡터 데이터베이스는 다양한 비즈니스 요구 사항을 충족시키도록 맞춤화될 수 있습니다. 
• 비용 효율적: 벡터 데이터베이스는 고차원 데이터를 효율적으로 처리함으로써 비용을 줄입니다. ML 모델을 직접 쿼리하는 것은 계산적으로 복잡하고 시간이 많이 소요되는 반면, 벡터 데이터베이스는 모델 임베딩을 사용하여 데이터셋을 더 효율적으로 처리합니다. 
• ML과의 통합: 벡터 데이터베이스는 ML 모델이 이전 입력을 기억하는 것을 용이하게 하여, ML이 의미 검색, 분류 및 추천 엔진을 구동할 수 있게 합니다. 데이터는 정확한 일치 대신 유사성 지표를 기반으로 식별될 수 있어, 모델이 데이터의 맥락을 이해할 수 있게 합니다.

벡터 데이터베이스 사용 사례 다섯 가지

벡터 데이터베이스는 다양한 응용 프로그램과 사용 사례를 위해 여러 산업에서 사용됩니다. 다음은 가장 일반적인 벡터 데이터베이스 예시입니다:

대규모 언어 모델(LLM)

정보 검색과 같은 작업을 위한 LLM의 부상과 전자상거래 및 추천 플랫폼의 인기 증가는, 비구조화 데이터에 대한 쿼리 최적화 기능을 제공할 수 있는 벡터 데이터베이스 관리 시스템이 필요합니다.

다중 모드 애플리케이션에서는 데이터를 임베딩한 후 벡터 데이터베이스에 저장하여, 벡터 표현을 보다 효율적으로 검색할 수 있도록 합니다. 사용자가 텍스트 쿼리를 제출하면, 시스템은 LLM과 벡터 데이터베이스를 모두 사용합니다: LLM은 NLP 기능을 제공하고, 벡터 데이터베이스의 알고리즘은 근사 최근접 이웃 검색을 수행합니다. 이 접근 방식은 단독으로 각 구성 요소를 사용하는 것에 비해 더 나은 결과를 가져올 수 있습니다.

벡터 데이터베이스는 RAG를 통해 LLM에 점점 더 적용되고 있으며, 이는 LLM 출력에 문맥을 적용함으로써 설명 가능성을 높이는 데 도움이 됩니다. 사용자 프롬프트는 환각(hallucination)이나 편향과 같은 핵심 LLM 문제를 완화하기 위해 문맥을 포함하여 확장할 수 있습니다.

이미지 인식

벡터 데이터베이스는 ML 모델에 의해 생성된 이미지의 고차원 임베딩을 저장함으로써 이미지 인식에서 중요한 역할을 할 수 있습니다. 벡터 데이터베이스는 유사성 검색 작업에 최적화되어 있으므로, 이는 객체 감지, 얼굴 인식, 이미지 검색과 같은 응용 프로그램에 이상적입니다.

벡터 데이터베이스는 유사성을 통한 빠른 컨텍스트 검색을 위해 세밀하게 조정되어 있습니다. 전자 상거래 플랫폼은 벡터 데이터베이스를 사용하여 비슷한 시각적 속성을 가진 제품을 찾을 수 있고, 소셜 미디어 사이트는 사용자에게 관련 이미지를 제안할 수 있습니다. Pinterest는 각 이미지를 고차원 벡터로 표현함으로써 콘텐츠 발견을 위한 벡터 데이터베이스를 활용하는 좋은 예입니다. 사용자가 해안석양의 이미지를 고정하면, 시스템은 빠르게 벡터 데이터베이스를 검색하여 비슷한 이미지, 예를 들어 다른 해변 풍경이나 석양을 제안할 수 있습니다.

자연어 처리(NLP)

벡터 데이터베이스는 분산 단어 표현의 효율적인 저장 및 검색을 가능하게 함으로써 NLP를 혁신시켰습니다. Word2Vec, GloVe, BERT와 같은 모델들은 대규모 텍스트 데이터셋에서 훈련되어 의미론적 관계를 포착하는 고차원 단어 임베딩을 생성하며, 이들은 빠른 접근을 위해 벡터 데이터베이스에 저장됩니다.

빠른 유사성 검색을 가능하게 함으로써, 벡터 데이터베이스는 모델이 문맥적으로 관련된 단어나 구문을 찾을 수 있게 합니다. 이 기능은 의미론적 검색, 질문 응답, 텍스트 분류, 명명된 엔티티 추출 등의 작업에 특히 유용합니다. 더욱이, 벡터 데이터베이스는 문장 수준의 임베딩을 저장할 수 있어, 단어의 문맥을 포착하고 더욱 미세한 언어 이해를 가능하게 합니다.

추천 시스템 및 개인화

벡터 데이터베이스가 임베딩 모델을 사용하여 훈련되면, 개인화된 추천을 생성하는 데 사용될 수 있습니다. 사용자가 시스템과 상호 작용하면, 그들의 행동과 선호도가 사용자의 임베딩을 생성하는 데 사용됩니다. 예를 들어, 사용자가 LLM에게 TV 시리즈 추천을 요청하면, 벡터 데이터베이스는 사용자의 선호도와 유사한 줄거리나 평점을 가진 TV 시리즈를 제안할 수 있습니다. 사용자의 인코딩에 가장 가까운 임베딩을 가진 TV 시리즈가 그에 따라 추천됩니다.

사기 탐지

금융 기관은 벡터 데이터베이스를 사용하여 부정 거래를 탐지합니다. 벡터 데이터베이스는 회사가 실시간으로 거래 벡터를 알려진 사기 패턴과 비교할 수 있게 합니다. 벡터 데이터베이스의 확장성은 또한 그들이 위험을 관리하고 소비자 행동에 대한 새로운 통찰력을 얻을 수 있게 합니다. 이러한 데이터베이스는 거래 데이터를 벡터로 인코딩하여 활동을 나타내는 패턴을 식별할 수 있습니다. 또한, 데이터 분석을 통해 신용도 평가 및 소비자 세분화를 용이하게 하여 의사결정 과정을 개선합니다.

벡터 데이터베이스의 일반적인 문제점

그들의 많은 이점과 사용 사례에도 불구하고, 벡터 데이터베이스의 완전한 이해는 그들의 도전과 함께 포함되어야 합니다.

• 새로운 데이터 파이프라인

벡터 데이터베이스는 원시 데이터가 다양한 소스에서 수집되어 청소, 처리 및 ML 모델로 임베딩되어 데이터베이스에 벡터로 저장되기 전에 효율적인 데이터 수집 파이프라인이 필요합니다.

Databricks Vector Search 는 이러한 도전을 해결하기 위해 종합적인 솔루션을 제공합니다. 이것은 벡터 생성, 관리, 최적화를 자동화하며, 소스 데이터와 해당 벡터 인덱스의 실시간 동기화를 처리합니다. 이 소프트웨어는 실패를 관리하고, 처리량을 최적화하며, 수동 개입 없이 배치 크기 조정과 자동 스케일링을 수행합니다.

이 접근 방식은 별도의 데이터 수집 파이프라인의 필요성을 줄이며, "개발자의 고충"을 최소화하고 팀이 복잡한 데이터 준비 과정의 구축 및 유지 관리에 시간을 보내는 대신, 직접적으로 비즈니스 가치를 더하는 고수준 작업에 집중할 수 있게 합니다.

• 보안 및 거버넌스 강화

벡터 데이터베이스는 추가적인 보안, 접근 제어 및 데이터 관리와 함께 필요한 유지 관리와 관리가 필요합니다. 기업 조직은 사용자가 기밀 데이터에 연결된 생성형 AI 모델에 접근하지 못하도록 데이터에 대한 엄격한 보안 및 접근 제어가 필요합니다.

현재 많은 벡터 데이터베이스는 강력한 보안 및 접근 제어를 갖추지 않았거나, 조직이 별도의 보안 정책 세트를 구축하고 유지하도록 요구합니다. Databricks Vector Search는 추가 도구가 필요 없이 데이터 유래를 자동으로 추적하는 데이터 정책을 정의하는 통합 인터페이스를 제공합니다. 따라서 LLM 모델은 액세스가 허용되지 않은 사용자에게 기밀 데이터를 노출하지 않게 됩니다.

• 고급 기술 지식

유사성 검색과 고차원 데이터 처리에 대한 강력한 기능을 제공하기 때문에, 벡터 데이터베이스는 AI와 ML 모델을 다루는 데이터 과학자들에게 필수 도구입니다. Databricks Vector Search는 수동 구성의 필요성을 제거하는 서버리스 벡터 데이터베이스로서, 데이터 과학자가 인프라 관리보다 핵심 작업에 집중할 수 있게 합니다.

Databricks Vector Search의 주요 장점은 레이크하우스 아키텍처와의 원활한 통합, 자동 데이터 수집, 그리고 다른 인기 있는 벡터 데이터베이스에 비해 최대 5배 빠른 결과를 제공합니다. 또한 Unity Catalog를 통해 기존 데이터 관리 및 보안 도구와 호환되어 데이터 보호 및 준수를 보장합니다.

Databricks Vector Search는 데이터 수집 및 쿼리에 대한 자동 스케일링과 함께, 파이프라인에 대한 더 많은 제어를 선호하는 사람들을 위한 플러그 앤 플레이스 API를 제공함으로써 초보자와 고급 사용자 모두에게 유연성을 제공합니다. 이 사용의 용이성과 강력한 성능의 결합은 모든 수준의 데이터 과학자가 벡터 데이터베이스를 구축하는 것을 단순화합니다.

벡터 데이터베이스 vs. 그래프 데이터베이스

벡터 데이터베이스는 데이터를 다차원 벡터 공간의 점으로 구성합니다. 각 점은 데이터의 한 부분을 나타내며, 위치는 다른 데이터와의 상대적인 특성을 반영합니다. 이 벡터 데이터베이스 구조는 LLM에서 생성된 벡터 임베딩에 의해 데이터가 쉽게 검색되고 검색될 수 있으므로 많은 생성형 AI 애플리케이션에 적합합니다.

반면에, 그래프 데이터베이스는 데이터를 그래프 구조에 저장함으로써 데이터를 구성합니다. 엔티티는 그래프의 노드로 표현되며, 이러한 데이터 포인트 간의 연결은 엣지로 표현됩니다. 그래프 구조는 저장소의 데이터 항목이 노드와 엣지의 컬렉션이 되게 하며, 엣지는 노드 간의 관계를 나타냅니다. 그래프 데이터베이스의 상호 연결된 구조는 데이터 포인트 간의 연결이 데이터 자체만큼 중요한 시나리오에 잘 맞습니다.

벡터 인덱스와 벡터 데이터베이스의 차이점은 무엇인가요?

벡터 인덱스와 벡터 데이터베이스는 고차원 데이터를 처리하는 데 있어 서로 다르지만 보완적인 역할을 합니다.

• 벡터 인덱스: 벡터 인덱스는 벡터 임베딩 간의 빠른 유사성 검색을 촉진하기 위해 설계된 특수한 데이터 구조입니다. 이는 벡터를 효율적인 검색이 가능한 방식으로 구성함으로써 검색 속도를 크게 향상시킵니다. 벡터 인덱스의 예로는 Facebook AI Similarity Search (FAISS), HNSW 및 지역 민감 해싱 (LSH)이 있습니다. 이러한 인덱스는 독립적인 알고리즘 프로세스로 사용되거나 검색 작업을 최적화하기 위해 더 큰 시스템에 통합될 수 있습니다. 
• 벡터 데이터베이스: 반면, 벡터 데이터베이스는 단순히 벡터 색인화뿐만 아니라, 데이터 저장, 생성·읽기·업데이트·삭제(CRUD) 기능, 메타데이터 필터링, 그리고 수평 확장과 같은 다양한 기능을 제공하는 종합적인 데이터 관리 솔루션입니다. 벡터 데이터베이스는 복잡한 연산을 지원하고 데이터 무결성과 보안을 보장하면서 벡터 임베딩을 효율적으로 관리하고 쿼리하는 데 설계되었습니다.

벡터 데이터베이스의 미래 트렌드

최근에는 LLMs와 생성형 AI 애플리케이션의 일반적인 상승이 벡터 데이터베이스의 동시적인 증가에 기여하였습니다. AI 응용 프로그램이 지속적으로 발전함에 따라, 신제품 개발과 사용자의 변화하는 요구 사항이 벡터 데이터베이스의 미래 방향을 결정할 것입니다. 그러나, 이 기술이 나아갈 전반적인 흐름에 대한 예측은 이미 존재합니다.

• ML 모델과의 통합 증가: 벡터 데이터베이스와 ML 모델 간의 관계는 증가하는 연구의 대상입니다. 이러한 노력은 벡터의 크기와 차원을 줄이려는 것을 목표로 하며, 이는 대규모 데이터셋의 저장 요구 사항을 최소화하고 계산 효율성을 향상시킵니다.
• RAG 커스터마이징: RAG는 챗봇 및 일반 질문-답변 애플리케이션을 포함한 생성형 AI 사용 사례에서 LLM에 제공되는 문맥을 개선하기 위해 사용되는 접근법입니다. 벡터 데이터베이스는 쿼리와 함께 추가 컨텍스트를 추가하여 LLM에 전달된 프롬프트를 향상시키는 데 사용됩니다.
• 다중 벡터 검색: 얼굴 인식과 같은 응용 프로그램에 중요한 다중 벡터 검색 기능을 개선하기 위한 추가 연구가 예상됩니다. 현재의 기법들은 종종 개별 점수를 결합하는데 의존하지만, 이 접근 방식은 필요한 거리 계산의 수를 증가시킴으로써 계산 비용이 많이 들 수 있습니다. 
• 하이브리드 검색: 검색 시스템의 진화로 인해 전통적인 키워드 기반 방법과 현대적인 벡터 검색 기법을 결합하는 하이브리드 접근법의 채택이 점점 늘고 있습니다.

Databricks로 벡터 데이터베이스 만드는 방법

Databricks Mosaic AI Vector Search 는 Databricks의 통합 벡터 데이터베이스 솔루션으로, Data Intelligence Platform을 위한 것입니다. 이 완전히 통합된 시스템은 별도의 데이터 수집 파이프라인의 필요성을 제거하고, 보안 제어 및 데이터 거버넌스 메커니즘을 적용하여 모든 데이터 자산에 대한 일관된 보호를 보장합니다. 

Databricks Vector Search는 고성능의 사용자 경험을 제공하며, LLM이 최소한의 지연으로 관련 결과를 빠르게 검색할 수 있게 합니다. 사용자는 자동 스케일링 및 최적화의 혜택을 받아, 데이터베이스의 수동 튜닝이 필요 없습니다. 이 통합은 벡터 임베딩의 저장, 관리 및 쿼리 과정을 간소화하며, 이는 조직이 추천 시스템 및 의미론적 검색과 같은 AI 응용 프로그램을 구현하는 동안 데이터 보안 및 거버넌스 표준을 유지하는 데 도움이 됩니다.

벡터 데이터베이스와 벡터 검색에 대한 더 많은 정보를 어디에서 찾을 수 있나요?

벡터 데이터베이스와 벡터 검색에 대한 더 많은 정보를 찾을 수 있는 많은 자원이 있습니다, 이에는:

블로그

• Mosaic AI Vector Search에서의 하이브리드 검색
• Databricks Vector Search 공개 미리 보기
• Databricks로 고품질의 RAG 애플리케이션 구축
• 실시간 정형 데이터로 RAG 애플리케이션 응답 품질 개선
• 새로운 파운데이션 모델 기능으로 생성형 AI 앱을 더 빠르게 구축
• RAG 애플리케이션의 LLM 평가를 위한 모범 사례
• MLflow AI Gateway 및 Llama 2를 사용하여 생성형 AI 앱 빌드(자체 데이터로 검색 증강 생성(RAG)를 사용하여 정확도 향상)

eBook

• 생성형 AI의 큰 책
• RAG에 대한 간결한 가이드
• MLOps의 Big Book

데모

• 검색 증강 생성(RAG), llama2-70B(MosaicML 추론) 및 Vector Search를 사용하여 LLM 챗봇 배포

Databricks에 연락 하여 데모를 예약하고 LLM 및 벡터 데이터베이스에 대해 누군가와 이야기하십시오.