AI 에이전트의 잠재력 실현하기: 시범 프로젝트에서 성공적인 운영까지

전 세계 기업의 85%가 이미 생성 AI(GenAI)를 사용하고 있지만, 이러한 프로젝트를 시범 단계를 넘어 확장하는 데는 큰 어려움이 있습니다. 가장 진보된 GenAI 모델도 비즈니스 특정, 정확하고 잘 관리된 결과를 제공하는 데 어려움을 겪고 있습니다. 이는 주로 관련 기업 데이터에 대한 이해가 부족하기 때문입니다. 많은 고객들이 저위험, 한정된 범위의 사용 사례에서 GenAI 솔루션을 배포하는 데 편안함을 느끼지만, 재정적 위험이 있는 외부 또는 내부 사용 사례에 대해서는 배포에 자신감이 부족합니다.

오늘, 우리는 기업이 AI 에이전트 를 자신 있게 확장하고 배포할 수 있도록 도와줄 몇 가지 주요 혁신을 소개하게 되어 기쁩니다:

• 모든 AI 모델에 대한 중앙 집중식 거버넌스: Mosaic AI Gateway가 지원하는 사용자 정의 LLM 공급자 (Public Preview)를 이용하여 오픈 소스 및 상업용 AI 모델을 한 곳에서 통합 관리합니다.
• 기존 앱 워크플로우에 간편하게 통합: AI/BI Genie 대화형 API 스위트(Public Preview)는 개발자가 자연어 기반 챗봇을 맞춤형 앱이나 Microsoft Teams, Sharepoint, Slack과 같은 인기 있는 생산성 도구에 직접 통합할 수 있게 해줍니다.
• 인간 참여 워크플로우 간소화: 업그레이드된 에이전트 평가 리뷰 앱(Public Preview)은 도메인 전문가가 목표 지향적인 피드백을 제공하고, 라벨링을 위해 추적을 보내고, 평가 기준을 사용자 정의하는 것을 용이하게 합니다.
• 프로비저닝 없는 배치 추론: Mosaic AI를 사용하여 단일 SQL 쿼리로 배치 추론을 실행하는 새로운 방법(Public Preview) - 인프라를 프로비저닝할 필요 없이 비정형데이터 통합을 원활하게 합니다.

이 새로운 기능들은 기업이 정확성, 거버넌스, 사용 편의성을 보장하면서 고가치, 임무 중심의 애플리케이션에 AI 에이전트를 효과적으로 배포하는 데 기여할 것입니다. 이제 세부 사항을 자세히 살펴보겠습니다.

고품질 에이전트 구축 및 관리

Databricks에서는 특정 사용 사례를 가장 효과적으로 해결하는 것이 최고의 기반 모델이라고 믿습니다. 이는 때때로 오픈 소스 모델일 수도 있고, 다른 경우에는 GPT-4o나 다른 상업용 AI 모델일 수도 있습니다. 고객이 오픈 소스와 독점 AI 모델을 모두 관리하고 관리할 수 있도록 돕기 위해, 우리는 Mosaic AI 게이트웨이를 개발했습니다. 이 AI 게이트웨이는 외부 모델 엔드포인트를 가져와 모든 모델에 대한 통합된 관리, 모니터링, 통합을 가능하게 합니다.

오늘부터 AI 게이트웨이의 범위를 확장하여 LLM 엔드포인트를 지원하게 되었으며, 이제 자체 내부 게이트웨이에서 엔드포인트를 가져올 수도 있습니다. 이는 회사들이 자체 시스템에 구축된 맞춤형 기능을 포기하지 않고도 Databricks의 모든 가치를 얻을 수 있게 해줍니다. 많은 사람들이 이 기능을 요청해 왔고, 오늘 이를 Public Preview로 발표하게 되어 기쁩니다. 화요일에는 더 많은 AI 게이트웨이 관련 발표를 기대해 주시기 바랍니다.

또한, 우리는 Genie 대화 API 스위트를 도입하고 있습니다. 이를 통해 사용자는 Databricks 앱, Slack, Teams, SharePoint, 그리고 맞춤형 애플리케이션을 포함한 다양한 플랫폼에서 자연어를 사용하여 데이터 인사이트를 자체 제공할 수 있습니다. Genie API를 사용하면 사용자는 프로그래밍 방식으로 프롬프트를 제출하고 Genie UI에서와 같이 인사이트를 받을 수 있습니다. API는 상태를 유지하므로 대화 스레드 내에서 여러 후속 질문에 걸쳐 컨텍스트를 유지할 수 있습니다.

다가오는 블로그에서는 Public Preview에서 사용 가능한 주요 엔드포인트를 검토하고, Genie의 Mosaic AI 에이전트 프레임워크와의 통합을 탐구하며, Microsoft Teams 채널에 Genie를 임베드하는 예를 강조할 것입니다.

에이전트가 정확하고 신뢰할 수 있는 결과를 제공하도록 보장

고품질의 AI 에이전트를 구축하는 것은 도전적입니다. 한 프롬프트에 대한 응답을 개선하는 방법이 항상 명확하지 않고, 동시에 다른 많은 것들에 부정적인 영향을 미치지 않는 방법도 항상 명확하지 않기 때문입니다. 실무자들은 에이전트가 성공적으로 수행될 것인지, 그리고 실제 운영 환경에서 어떻게 수행되고 있는지를 이해하기 위해 상당한 시간과 노력을 기울였습니다. 12월 중순에는 고객이 자체 데이터를 기반으로 평가 데이터셋을 합성적으로 구축할 수 있는 API를 출시했습니다. 오늘, 우리는 에이전트 평가 리뷰 앱에 대한 새로운 업데이트를 발표하게 되어 기쁩니다. 이 업데이트를 통해 인간 참여 피드백이 간소화됩니다. 이 업그레이드된 도구를 통해 도메인 전문가는 목표 지향적인 평가를 제공하고, 개발 또는 생산에서 라벨링을 위해 추적을 보내고, 사용자 정의 평가 기준을 정의할 수 있습니다. 스프레드시트나 맞춤형 애플리케이션이 필요 없게 되어, 모든 과정이 더 효율적으로 이루어집니다. 구조화된 피드백을 수집하는 것을 더 쉽게 만듦으로써, 팀은 AI 에이전트의 성능을 지속적으로 개선하고 체계적인 정확성 향상을 이끌어낼 수 있습니다.

고객들이 명성이나 재정적 위험을 수반하는 영역에서 에이전트를 배포하려고 할 때, 정확도를 측정하고 체계적으로 정확도를 향상시키는 도구를 갖는 것이 매우 중요합니다. 에이전트 평가를 위한 새로운 기능에 대해 더 알고 싶다면, 이번 수요일에 우리의 블로그 게시물을 참고해 주세요. 여기서 새로운 에이전트나 기존 에이전트의 정확성을 향상시키는 방법에 대해 자세히 설명할 예정입니다.

인프라 고민 없이 AI 확장

모델 선택, 거버넌스, 평가가 고품질의 에이전트를 구축하는 데 중요하지만, 이 기술을 비즈니스 전반에 확장하려는 기업에게 경험을 단순화하는 것도 매우 중요하다는 것을 알고 있습니다. 지난해 동안, 더 많은 기업들이 기반 모델과 에이전트를 위한 배치 추론을 채택했습니다. Mosaic AI가 이제 배치 추론을 AI 함수와 함께 지원하므로 이러한 작업 부하를 더욱 간단하게 확장할 수 있게 되었습니다.

분류나 자연어 처리를 위해 LLM을 사용하든, 더 복잡한 데이터 인텔리전스 작업을 실행하기 위해 에이전트를 사용하든, 고객들은 이러한 모델의 힘을 대규모로 접근하기 위해 간단한 SQL 문을 사용하는 것을 선호했습니다.

SQL 문장을 작성하는 것은 어렵지 않지만, 많은 고객들이 서빙 엔드포인트를 프로비저닝하고 확장하는 데 어려움을 겪었습니다. 이제, ai_query를 실행하기 위해 인프라를 설정할 필요가 없습니다. 대신, 우리는 그것을 대신 처리해 드리고, 사용한 만큼만 비용을 지불하면 됩니다. 고객들은 이미 이러한 기능들로 성공을 거두고 있으며, 이는 그들의 비즈니스에 긍정적인 영향을 미치고 있습니다:

“배치 AI와 AI 함수는 우리의 AI 워크플로우를 간소화하고 있습니다. 이를 통해 대규모 AI 추론을 간단한 SQL 쿼리로 통합할 수 있게 되었으며, 인프라 관리가 필요하지 않습니다. 이는 우리의 파이프라인에 직접적으로 통합되어 비용을 절감하고 구성 부담을 줄여줍니다. 이를 채택한 이후로, 전통적인 ETL과 데이터 파이프라이닝을 AI 추론 작업과 결합할 때 개발자의 작업 속도가 크게 빨라졌습니다."

— Ian Cadieu, Altana CTO

우리는 이번 출시와 다른 흥미로운 기능들에 대해 더 많은 정보를 공유하게 되어 기쁩니다. 목요일에 우리의 블로그를 통해 자세히 확인해 보세요.

에이전트 주간 동안 더 많은 정보를 기대해 주세요.

이번 주는 다양한 새로운 기능들과 함께 "에이전트의 주"를 축하하면서 큰 주가 될 것입니다. GenAI가 두 해 동안 발전했음에도 불구하고, 많은 기업들이 여전히 정확성, 거버넌스, 보안에 대한 우려로 인해 고가치 사용 사례에서 AI 에이전트를 배포하는 데 어려움을 겪고 있습니다. 고객들과의 대화를 통해, 기술뿐만 아니라 신뢰가 가장 큰 장애물이라는 것이 명확해졌습니다.

이번 주에 소개한 혁신들은 이러한 도전을 직접적으로 해결하며, 기업들이 시범 프로젝트를 넘어 전체 규모의 운영으로 이동하고 신뢰할 수 있는 AI 에이전트를 활용할 수 있게 합니다.

이번 주에 여러분과 더 많은 것을 공유하는 것을 기대합니다. 우리의 제품을 시도하고 피드백을 공유해 주시면, 우리는 이 기술의 약속된 가치를 해제하는 데 계속 기여할 수 있습니다.

AI 에이전트에 대한 간략한 가이드를 확인해 보세요.

데모 비디오를 시청하세요.

문서를 시작하세요:

• Mosaic AI 게이트웨이: 사용자 정의 제공자
• Mosaic AI 배치 추론 AI 함수와 함께
• Mosaic AI 에이전트 평가 리뷰 앱 업데이트

(한글화: 황경태 원문)