신뢰성있게 AI 에이전트를 확장하기 위한 새로운 거버넌스 기능 소개

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

이번 주 초에 우리의 블로그 에서 언급했듯이, AI 에이전트는 생산 품질을 달성하기 위해 기업 데이터 통합 및 출력 관리가 필요합니다. 오늘, 우리는 조직이 강력한 거버넌스와 데이터 통합 기능을 갖춘 생산 준비가 된 AI 에이전트를 구축할 수 있도록 Mosaic AI Gateway, Unity Catalog 도구, AI/BI Genie에 대한 업데이트를 출시합니다.

이것이 왜 중요한지 상상해보세요: 개발자들이 고우선 순위 고객 불만을 요약하고 Slack을 통해 부서에 알리는 AI 에이전트를 만들었다고 가정해봅시다. 고품질의 성능이 없으면, 부서는 시끄러운 알림으로 넘쳐나게 되어 정말 긴급한 문제를 놓칠 수 있습니다. 더 나쁜 상황은, 개발자들이 안전한 기업 통합을 사용하는 대신에 Slack API 자격증명에 직접 접근을 받게 되면, 악의적인 행위자들이 이러한 자격증명을 가로채서 회사 전체에 피싱 링크를 배포할 수 있습니다.

 그들의 핵심에서, AI 에이전트는 모델, 도구, 데이터라는 세 가지 필수 구성 요소에 의존합니다. 오늘의 업데이트가 어떻게 여러분이 잘 관리되고, 고품질의 AI 에이전트를 전반적으로 구축할 수 있게 하는지 살펴봅시다:

• 모델 - Mosaic AI Gateway (공개 미리보기)를 활용하여 Foundation Model 접근을 관리하고, 품질을 모니터링하고, 공급자 간 사용량을 추적합니다. 이제, 개선된 모델 신뢰성을 위해 자동 트래픽 폴백을 활성화하고, 사용자 정의 공급자 LLM 을 외부 모델로 통합하세요.
• 도구 - 위험한 자격 증명 관리에 작별 인사를 하세요. Unity 카탈로그 연결 및 기능 은 기업 및 외부 API를 AI 에이전트를 위한 강력한 도구로 안전하게 통합합니다.
• 데이터 - 기업 데이터에 안전하게 AI 에이전트를 활용하세요. AI/BI Genie 대화 API (공개 미리보기)와 Vector 검색 검색 도구 는 에이전트 프레임워크와 직접 통합하여 Unity 카탈로그 데이터에 안전한 파이프라인을 생성하고 가치 있는 통찰력을 제공합니다.

Databricks는 모든 AI 에이전트에 대한 통합된, 종단간 거버넌스 프레임워크를 제공하여, 파편화된 솔루션의 필요성을 제거하고, 전반적인 품질과 보안을 촉진합니다. 이제, 이러한 주요 거버넌스 구성 요소 각각에 대한 최신 업데이트를 살펴보겠습니다.

최첨단 기반 모델로 AI 에이전트를 안전하게 운영하십시오 

Databricks에서는 올바른 기반 모델을 사용하는 것이 - 오픈 소스이든 독점적이든 - 고품질 AI 에이전트를 구축하는 데 근본적인 것임을 알고 있습니다. 

Mosaic AI 게이트웨이 는 기업용 AI를 위한 중앙 제어 허브로, 모든 기반 모델과 AI 에이전트에 걸쳐 거버넌스와 품질을 보장합니다. AI Gateway를 사용하면 다음과 같은 작업을 수행할 수 있습니다:

• 중앙 집중식 권한, 가드레일, 속도 제한을 통해 AI 에이전트 내에서 사용되는 주요 모델 (OpenAI GPT, Claude, Llama, Gemini)에 대한 안전한 제어를 강제합니다.
• 자동 페이로드 로깅 을 통해 생산에서 AI 에이전트 품질을 모니터링하고 컴플라이언스를 감사합니다. 
• 모든 제공업체에 걸쳐 사용 추적을 통합하여 비용 속성 및 사용 감사를 간소화합니다

Mosaic AI 게이트웨이는 거버넌스와 유연성을 결합하여 혁신을 가속화하고 고품질의 AI 에이전트를 제공합니다. 개발자들은 거버넌스가 강화된, 중앙 집중화된 프레임워크 내에서 그들의 AI 에이전트에 가장 최적의 모델에 통합적으로 접근할 수 있습니다.

우리는 이것이 고객들에게 얼마나 많은 가치를 가져다 주었는지 보았으므로, 신뢰할 수 있고 고품질의 AI 에이전트를 구축하기 위해 AI 게이트웨이를 통해 사용할 수 있는 두 가지 새로운 기능을 발표하게 되어 기쁩니다:

1. Mosaic AI Gateway에서 사용자 정의 공급자 지원 소개 (공개 미리보기)

많은 회사들이 그들의 맞춤형 요구 사항을 위해 사용자 정의 프록시를 개발했지만, 그들의 AI 에이전트를 Databricks에서 종단간으로 구축하고 배포하려고 합니다. 다른 사람들은 자체 호스팅 또는 제3자 모델을 AI 게이트웨이에 통합하여 AI 에이전트에 가장 적합한 모델을 활용해야 합니다.

오늘부터, AI Gateway는 사용자 정의 프록시에 호스팅되거나 다른 공급자에서 오는 어떤 OpenAI 스키마 호환 Foundation Model도 외부 모델로 지원합니다. 이는 중앙 집중식 모델 접근 관리를 가능하게 하며, 보안을 보장하고, 품질을 모니터링하기 위한 중요한 데이터를 캡처합니다, 이는 Foundation Model이 어디에 호스팅되는지에 관계없습니다.

오늘날 여러분의 AI 에이전트에 모든 기반 모델을 안전하게 통합하려면, 사용자 정의 공급자에서 LLM을 등록 하여 Mosaic AI 게이트웨이를 사용하여 접근을 관리하고 품질을 모니터링하십시오.

2. AI 모델 폴백을 이용한 신뢰할 수 있는 AI 에이전트 구동 (공개 미리보기)

신뢰성 있는, 고 트래픽 AI 에이전트를 생산화해야 하는 팀들은 종종 제3자 AI 모델 공급자로부터의 가용성 문제에 직면합니다. 제3자 서비스가 예기치 않게 다운되거나 사용량이 급증하여 할당량 제한에 도달하면, 이러한 Foundation Models (그리고 따라서 이에 의존하는 AI 에이전트)에 접근할 수 없게 됩니다. 

Mosaic AI Gateway의 새로운 트래픽 폴백은 여러 공급자, 지역, 리소스 간에 원활한 장애 전환을 보장하여, 어떠한 고객 직면 중단도 방지합니다. 자동 복구 메커니즘을 통해 기업들은 AI 에이전트 시스템이 급증 또는 중단 시에도 원활하게 작동하도록 유지합니다.

“Erste Group에서는 신뢰할 수 있는 AI 기반 운영을 보장하는 것이 우리의 성공에 결정적입니다. Mosaic AI Gateway의 폴백 기능은 주요 모델이 문제를 겪을 때 트래픽을 자동으로 리디렉션함으로써 우리 시스템의 복원력을 강화했습니다."
— 유르겐 노이링거, Erste 그룹의 고위 솔루션 매니저

안전한 API 접근 및 도구 통합으로 AI 에이전트 기능 향상

AI 에이전트는 외부 서비스 (예: Teams, Slack) 및 엔터프라이즈 백엔드 (예: 내부 API)를 사용하여 결정을 내리고 행동을 취합니다. 그러나, 이러한 민감한 API 자격증명을 개발자들에게 분배하는 것은, 특히 대규모로, 심각한 보안 위협을 초래할 수 있습니다.  

Unity Catalog (UC) Connections and Functions (공개 미리보기)를 사용하면, 개발자들은 그들의 AI 에이전트에 완전히 거버넌스가 강화된 API 통합을 포함시킬 수 있습니다, 이는 그들과 함께 오는 보안 위험 없이 가능합니다.  

특히, IT 팀은 UC Connections를 사용하여 모든 API 자격증명을 중앙에서 안전하게 관리할 수 있습니다. 접근 권한에 따라, 개발자들은 도구로서 사전 승인된 연결을 그들의 AI 에이전트에 통합할 수 있으며, 선택적으로 그들을 호출하기 위해 UC Functions를 생성(및 공유)할 수 있습니다. 이는 개발자들과 그들의 코드가 원격 API 토큰에 접근할 수 없게 하며, 모든 API 접근이 UC Connections를 통해 완전히 감사됩니다.

개발자가 UC 연결을 통해 Slack REST API에 인증하는 Python에서 "Slack 메시지 보내기" 도구를 정의하는 예시입니다.

UC 연결은 안전하고, 재사용 가능하며, 발견할 수 있습니다. 이제, 개발자들은 실세계 데이터와 행동과 상호작용하는 민첩한 AI 에이전트를 구축할 수 있습니다— 모두 철저한 API 거버넌스를 유지하면서.

기업 데이터를 에이전트 시스템과 안전하게 통합하세요

AI 에이전트는 차별화된 품질과 성능을 추구하기 위해 독점 데이터에 의존합니다. 따라서, 그들이 고품질의 통찰력과 행동을 촉진하는 기업 데이터와 안전하고 효율적인 방법으로 상호작용할 수 있어야 합니다. 

안전하고 고성능 AI 에이전트를 보장하기 위해, 우리는 구조화된 데이터와 비구조화된 기업 데이터를 AI 에이전트에 쉽게 통합할 수 있는 두 가지 새로운 기능을 도입하고 있습니다.

AI/BI Genie 대화 API

개발자들은 Genie—비즈니스 팀이 자연어를 사용하여 데이터와 상호작용할 수 있게 하는 강력한 AI/BI 도구—를 그들의 AI 에이전트에 통합하는 방법을 요청해 왔습니다. 우리는 Genie 대화 API 가 이제 가능하게 했다는 것을 발표하게 되어 기쁩니다!

Unity Catalog가 모든 Genie 데이터를 관리하면, 다른 부서의 비즈니스 사용자들은 “내 비용은 얼마인가요?”라고 질의하고, 그들의 부서에 관련된 결과만 볼 수 있습니다. Genie 대화 API를 에이전트 프레임워크에 통합하면, Unity Catalog 데이터와 상호작용하는 안전한 다중 에이전트 시스템을 구축하는 것이 어느 때보다 쉬워집니다.

 “Genie가 Teams와 통합된 것은 데이터 민주화를 위한 큰 진전이었습니다. 이로 인해 기술적 배경에 상관없이 모든 사람이 데이터 통찰력에 접근할 수 있게 되었습니다.”
— Cezar Steinz, 데이터 운영 관리자, Grupo Casas Bahia

시작하려면, Genie 대화 API를 발표하는 우리의 자세한 블로그를 여기에서 확인하세요.

Vector Search Retrieval Tool

많은 AI 에이전트는 Databricks Vector 검색을 활용하여 비구조화된 데이터와 안전하게 대화합니다. Unity Catalog의 데이터 거버넌스 기능을 유지하면서 이를 도구로서 AI 에이전트 시스템에 통합하는 것을 단순화하기 위해, 우리는 Vector Search Retrieval Tool API를 도입했습니다. 

이 API들은 AI 에이전트 내의 도구로 벡터 검색 리트리버를 원활하게 통합할 수 있게 해주며, 민감한 정보를 보호하면서도 고품질의 인사이트를 자신있게 제공합니다.

기업 데이터로 AI 에이전트를 안전하게 강화하는 것은 이제 몇 줄의 코드만큼 쉽습니다. 

오늘부터 AI 에이전트를 구축하고 관리해 보세요.

최고의 기업들은 거버넌스를 활용하여 생산에서 안전하고 품질 높은 AI 에이전트를 운영합니다. Databricks를 사용하면, 모든 모델, 도구, 데이터셋과 함께 고품질의 AI 에이전트를 자신있게 확장할 수 있습니다.

오늘날 여러분의 에이전트 시스템을 통합적으로 관리하는 것을 시작하십시오:

• Mosaic AI Gateway설정 을 통해 AI 에이전트가 필요로 하는 Foundation Models를 설정하세요.
• Unity 카탈로그 연결을 사용하여 AI 에이전트 도구를 외부 서비스에 안전하게 연결 하세요.
• Genie 대화 API 를 Mosaic AI 에이전트 프레임워크에 통합하세요.
• 비구조화된 데이터에 안전하게 접근하기 위해 에이전트 시스템에서 Vector 검색 검색 도구를 사용하세요.
• 데모 비디오를 시청하세요.

그리고 반드시 AI 에이전트를 위한 간결한 가이드 를 확인하여 GenAI에 투자한 최대의 수익을 얻는 방법을 배우세요.