Databricks에서의 Databricks - GenAI 에이전트를 사용하여 판매 경험 변형

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

Databricks에서는 비즈니스의 모든 측면을 자동화하여 더 나은, 더 빠르고, 더 저렴하게 만드는 것이 우리의 자동화 비전입니다.  판매 팀의 경우, 판매 생활주기 전반에 걸쳐 판매자를 지원하는 genAI 에이전트를 제공함으로써 판매자 경험을 디지털로 변환하고 있습니다.  우리의 목표는 판매자의 경험을 AI 기능으로 향상시키고, 이를 그들의 일상 업무에 원활하게 통합함으로써 판매자가 정보 자산을 검색하고 반복적인 수동 관리 작업을 자동화하여 조치를 취하는 더 간단하고 효과적인 방법을 제공하는 것입니다.  

우리의 "Field AI Assistant"는 Databricks Mosaic AI 에이전트 프레임워크를 기반으로 하며, 판매자가 여러 데이터 소스 간에 데이터를 쿼리하고 상호 작용하는 방법을 제공합니다.  이는 여러 주요 플랫폼과 통합됩니다:

 

1. 우리의 내부 Databricks Lakehouse는 계정 지능, 판매 지원 콘텐츠, 그리고 판매 플레이북을 위한 것입니다
2. 우리의 고객 관계 관리 플랫폼 (CRM) 시스템
3. 우리의 협업 플랫폼은 대부분의 비구조화된 데이터를 수집하고 색인화합니다

AI 애플리케이션은 다음을 위해 사용됩니다:

• 자연어(영어로 시작)를 사용하여 여러 데이터 소스 간에 대화식으로 데이터와 상호작용합니다.
• 수집된 정보를 기반으로 문서를 다운로드하고 생성하는 기능 
• 데이터 인사이트를 기반으로 조치를 취합니다(우리의 CRM에서 필드를 업데이트하거나, 개인화된 아웃바운드 프로스펙팅 이메일을 작성하거나, 맞춤형 고객 제안서를 작성하거나, 고객 회의를 준비하는 등). 

필드 어시스턴트는 사용자와 페이지 컨텍스트에 기반한 시드 프롬프트에 응답하며, 위에서 언급한 데이터셋에 대한 개방형 질의를 위한 채팅 같은 인터페이스도 제공합니다.

비즈니스 영향 

판매자들은 대게 그들에게 던져진 정보의 양에 압도됩니다.  그들은 일상적인 업무를 수행하는 일환으로 다양한 격리된 애플리케이션에 있는 데이터에 접근할 필요가 있습니다.  그들은 우리의 CRM에 존재하는 계정, 기회, 그리고 사용 사례 데이터에 쉽게 접근할 필요가 있으며, 고객 시장 통찰력과 계정 지능, 우리의 레이크하우스에 존재하는 계정 소비 데이터를 포함합니다.  또한, 판매 콘텐츠에 대한 접근이 필요합니다 - 활성화 플레이북, 경쟁 판매 자료, 제품 지식 기반 문서 및 제품 로드맵 문서.  이것은 단순히 데이터 검색에 국한된 것이 아니며, 그들이 검색한 데이터 인사이트에 기반하여 매일 수행하는 반복적인 수동 작업이 완전히 자동화될 때 진정한 효율성 향상이 발생합니다.  그것이 바로 필드 AI 어시스턴트의 역할입니다 - 정보 검색, 정보에서 인사이트 추출, 그 인사이트를 기반으로 조치를 취하는 등 일상적인 작업에서 판매자를 돕습니다. 

솔루션 개요

Databricks Mosaic AI 에이전트 프레임워크를 사용하여, 다양한 데이터 소스에서 구조화된 데이터와 비구조화된 데이터를 모두 통합하여 필드 AI 어시스턴트를 구축했습니다. 이 솔루션은 판매자에게 맞춤화되고 개인화된 종합적인 접근 방식을 제공하며, 우리의 CRM에서 요청에 따라 사용할 수 있습니다. 제공되는 기능 중 일부는 다음과 같습니다: 

 

고객 인사이트 는 다음을 포함한 360도 고객 계정 뷰를 제공합니다: 

• 계정에 대한 금융 뉴스/인사이트
• 경쟁 데이터 랜드스케이프 
• 제품 라인 및 클라우드별 제품 사용량 
• 고객 지원 사례 
• 수익을 늘리는 주요 사용 사례들
• 비슷한 고객들에게 제공되는 다른 사용 사례에 대한 판매자 추천 

데이터 위생 알림 

• 다음 주/달/분기에 실시될 사용 사례들
• 주요 사용 사례 차단 요인 
• 핵심 정보가 부족한 사용 사례(즉, 경영진 비즈니스 후원 등)

판매 자료 

• 판매 플레이북 
• 경쟁력 있는 콜래터럴
• 회의 요약 
• 피치 덱 

행동 조정

• 특정 기회나 사용 사례에 대한 다음 단계를 CRM에 업데이트 
• 새로운 고객 연락처에게 프로스펙팅 이메일 작성 
• 고객 대상 제안서 작성 

 

 

우리의 필드 AI 어시스턴트 솔루션은 완전히 우리의 Databricks 기술 스택에 기반을 두고 있습니다. 이것은 다양하고 다양한 데이터 소스로의 통합을 허용하며, 데이터 검색, 프롬프팅, 그리고 LLM 관리를 위한 확장 가능한 인프라 구조를 제공합니다. 이는 복합 AI 에이전트 프레임워크를 사용하여 구축되었으며, 우리의 Unity Catalog 거버넌스 계층을 통해 모두 관리되는 여러 도구(SQL 쿼리, Python 함수)의 추가를 지원합니다.

에이전트 / 도구 프레임워크

인간의 입력은 본질적으로 모호합니다; LLM은 이제 우리에게 요청의 의도를 해석하고 이를 더 결정적인 것으로 변환하는 데 컨텍스트를 사용할 수 있는 능력을 제공하였습니다. 요청을 처리하기 위해서는 특정 사실을 검색하거나, 코드를 실행하고, 이전에 학습한 변환에 기반한 추론 프레임워크를 적용하는 것이 필요할 수 있습니다. 이 모든 정보는 그것을 소비할 사람(또는 무엇)에게 올바르게 포맷된 일관된 출력으로 재조립되어야 합니다.  

그것이 바로 판매자로부터의 질문에 응답하기 위해 필드 AI 어시스턴트가 하는 일입니다.  필드 AI 어시스턴트는 1개의 드라이버 에이전트와 결정적인 처리를 수행하는 여러 도구와 기능을 가지고 있습니다.  

• 데이터 기반:  이것은 에이전트가 상호작용하는 데이터 소스 세트입니다. 우리의 솔루션에서, 이 데이터 기반에는 우리의 Lakehouse, 판매 자료, Google 문서, 그리고 우리의 CRM(Salesforce)에 있는 데이터가 포함됩니다. 
• 결정론적 처리: 정확하고 고품질의 응답을 생성하는 데 필요한 함수와 도구의 집합. LLM은 쿼리에서 필드를 추출하고 이를 표준 함수 호출에 전달하여 결정론적 처리를 수행할 수 있습니다. Databricks 플랫폼 내에서, Mosaic AI 도구와 함수 의 기능들이 이를 가능하게 하며, 사용자 정의 함수는 Databricks 내에서 대부분의 활동을 수행할 수 있습니다. 이들은 일반적으로 Python 함수나 간단한 SQL 쿼리 또는 Glean, Perplexity, Aha 등의 외부 앱과 통합하는 API들이며, 이들은 자연어를 사용하여 호출될 수 있습니다.
• LLM 모델: 우리는 Azure OpenAI, GPT 4를 필드 AI 어시스턴트 솔루션의 기본 모델로 활용합니다. 그러나, 이 프레임워크는 각 모델의 특정 기능이 특정 사용 사례를 어떻게 처리하는지에 대해 평가되는 다중 모델 접근법을 지원합니다. 예를 들어, 우리는 다양한 오픈 소스 모델로 우리의 솔루션을 평가하였고, 우리는 모델의 실제성, 사실적이고 관련된 콘텐츠를 생성하는 능력, 각 프롬프트를 처리하기 위한 적절한 사용자 정의 함수 / 도구를 선택하는 능력, 그리고 모델에 제공된 콘텐츠 출력 포맷팅 프롬프팅을 준수하는 능력에 기반하여 우리의 솔루션을 위한 모델로 Azure Open AI - GPT 4를 선택하였습니다.  

그렇게 말하고, 우리의 솔루션 아키텍처는 Mosaic AI 에이전트 프레임워크에서 사용 가능해지는 새로운 모델을 채택하는 유연성을 허용하도록 설계되었습니다. 

Databricks에서는 Mosaic AI Agent Framework 를 활용하여 필드 AI 어시스턴트와 같은 genAI 애플리케이션을 쉽게 구축할 수 있습니다. 이 프레임워크를 사용하여, 우리는 평가 기준을 정의하고, LLM-as-a-judge 기능을 활용하여 애플리케이션 응답을 점수화합니다. Mosaic AI Gateway 는 접근 제어, 속도 제한, 페이로드 로깅, 그리고 가드레일(시스템 입력 및 출력 필터링)을 제공합니다. 게이트웨이는 사용자에게 안전, 편향, 품질을 모니터링하기 위해 실행 중인 시스템을 지속적으로 모니터링할 수 있게 합니다. 

우리가 필드 AI 어시스턴트에 활용한 컴포넌트들은:

• 모델과 벡터 데이터베이스 임베딩(Mosaic AI Vector Search)
• 함수 호출 및 도구 사용 인터페이스(Mosaic AI Function Calling)
• LLM의 프롬프팅 또는 파인 튜닝에 의한 맞춤화(MLFlow LLMOps, DSPy on Databricks, Mosaic AI Fine-tuning)
• 모니터링, 속도 제한 및 가드레일 (Mosaic AI Gateway)
• 기본 데이터 세트, 에이전트 및 도구의 검색 가능성, 거버넌스, 카탈로그화를 위한 Unity Catalog

솔루션 아키텍처

우리의 학습

데이터는 복잡합니다 - Lakehouse를 활용하여, 데이터 세트를 반복적으로 확장하고, 데이터 엔지니어링 파이프라인에 초점을 맞추고, 깨끗한, GOLD 단일 진실 소스 데이터 세트를 구축하였습니다.

 

ROI 측정이 어렵습니다 - 파일럿에서 작은 포커스 그룹으로 실험을 준비하세요. 모델 효과성을 측정하기 위한 평가 데이터셋을 구축하는 것은 어렵고, 빠른 실험을 지원하는 전략이 필요한 집중적인 노력을 필요로 합니다

 

데이터와 AI 거버넌스는 필수입니다 - 기업 보안, 개인정보 보호, 법률 팀과 조기에 협력하십시오. 데이터뿐만 아니라 에이전트와 도구에 대한 강력한 거버넌스 모델을 Unity 카탈로그에 구축하십시오 

결론

이 포스트를 통해, 우리의 Databricks에서 Databrick의 GenAI 여정에 대해 알게 되었고, 이러한 기술을 어떻게 활용하여 판매자가 더 효과적으로 작업할 수 있도록 돕는지 알게 되었기를 바랍니다.  이 사용 사례에서 GenAI를 활용함으로써 AI 에이전트가 판매자 여정의 모든 측면을 어떻게 크게 변화시키고 돕는지를 보여주는 데 도움이 되었습니다. 이는 고객 인사이트를 검색하고, 반복적인 수동 작업을 자동화하여 데이터 관리를 개선하고, 그 데이터 인사이트를 활용하여 기회를 창출하고 판매 속도를 향상시키는 것을 포함합니다. 

우리의 다가오는 게시물을 기다려 주세요, 여기서 우리는 AI가 Databricks에서 판매 경험을 어떻게 재구성하고 있는지에 대한 우리의 경험을 계속 공유할 것입니다.