레이크하우스 AI: 생성형 AI 어플리케이션을 만들기 위한 데이터 중심의 접근 방식

생성형 AI는 모든 비즈니스에 혁신적인 영향을 미칠 것입니다. 데이터브릭스는 10년간 AI 혁신을 선도해 왔으며, 수천 명의 고객과 적극적으로 협력하여 AI 솔루션을 제공하고, 오픈 소스 커뮤니티와 협력하여 월 1,100만 건의 다운로드를 기록한 MLflow와 같은 프로젝트를 진행하고 있습니다. 레이크하우스 AI와 고유의 데이터 중심 접근 방식을 통해 Databricks는 수 고객이 AI모델 개발 및 배포의 속도와 안정성, 완벽한 거버넌스를 갖출 수 있도록 지원합니다. 오늘 Data and AI Summit에서는 레이크하우스 AI를 통해 생성형 AI 제작 여정을 가속화하는 최고의 플랫폼으로 자리 매김하는 몇 가지 새로운 기능을 발표했습니다. 이러한 혁신에는 벡터 검색, 레이크하우스 모니터링, LLM에 최적화된 GPU 기반 모델 서빙, MLflow 2.5 등이 포함됩니다.

생성형 AI 솔루션을 개발하기 위한 핵심 문제점

모델 품질의 최적화: 데이터는 AI의 심장과도 같습니다. 잘못된 데이터는 편견, 환각, 유독한 결과물로 이어질 수 있습니다. 대규모 언어 모델(LLM)은 객관적인 근거 레이블이 거의 없기 때문에 효과적으로 평가하기가 어렵습니다. 이 때문에 조직은 감독 없이 중요한 사용 사례에서 모델을 신뢰할 수 있는 시점을 파악하는 데 어려움을 겪는 경우가 많습니다. 

기업의 데이터를 학습하기 위한 비용 및 복잡성: 조직은 자체 데이터를 사용하여 모델을 학습시키고 이를 제어하고자 합니다. MPT-7B 및 Falcon-7B와 같은 인스트럭션 튜닝 모델은 좋은 데이터만 있으면 더 작은 규모의 미세 튜닝 모델도 좋은 성능을 얻을 수 있다는 것을 입증했습니다. 그러나 조직은 얼마나 많은 데이터 예제가 충분한지, 어떤 기본 모델로 시작해야 하는지, 모델을 훈련하고 미세 조정하는 데 필요한 인프라의 복잡성을 관리하고 비용을 어떻게 고려해야 하는지 어려움을 겪고 있습니다.

운영 환경에서 신뢰할 수 있는 모델: 기술 환경이 빠르게 진화하고 새로운 기능이 도입됨에 따라 이러한 모델을 프로덕션에 적용하는 것이 더욱 어려워졌습니다. 이러한 기능은 벡터 데이터베이스와 같은 새로운 서비스에 대한 요구의 형태로 나타나기도 하고, 심층적인 프롬프트 엔지니어링 지원 및 추적과 같은 새로운 인터페이스의 형태로 나타날 수도 있습니다. 강력하고 확장 가능한 인프라와 모니터링을 위해 완벽하게 계측된 스택이 없으면 프로덕션 환경에서 모델을 신뢰하기 어렵습니다.

데이터 보안 및 거버넌스: 조직은 데이터 유출을 방지하고 규정을 준수하는 대응을 보장하기 위해 제3자에게 전송 및 저장되는 데이터를 제어하고자 합니다. 오늘날 많은 팀이 보안과 개인정보 보호를 침해하거나 데이터 사용 프로세스가 번거로워 혁신의 속도를 저해하는 제한 없는 관행을 따르는 경우를 보았습니다.

레이크하우스 AI - 생성형 AI를 위한 최적화

앞서 언급한 과제를 해결하기 위해 조직이 데이터 보안과 거버넌스를 유지하고 PoC에서부터 운영환경으로의 여정을 가속화하는 데 도움이 되는 몇 가지 레이크하우스 AI 기능을 발표하게 되어 기쁘게 생각합니다.

기존 모델 사용 또는 데이터를 활용한 자체 모델 학습

• 인덱싱을 위한 벡터 서치: 벡터 임베딩을 통해 조직은 조직의 전체 지식 코퍼스에 의한 고객 지원 봇부터 고객의 의도를 이해하는 검색 및 추천 경험에 이르기까지 다양한 사용 사례에서 제너레이티브 AI 및 LLM의 강력한 기능을 활용할 수 있습니다. 저희의 벡터 데이터베이스를 통해 팀은 조직의 데이터를 임베딩 벡터로 빠르게 색인하고 실시간 배포에서 지연 시간이 짧은 벡터 유사성 검색을 수행할 수 있습니다. 벡터 검색은 데이터와 쿼리를 벡터로 변환하는 프로세스를 자동으로 관리하기 위한 거버넌스용 Unity 카탈로그 및 모델 서빙을 비롯하여 레이크하우스와 긴밀하게 통합되어 있습니다. 여기에서 미리보기를 신청하세요.
• 고성능을 위해 최적화된 Model Serving에 지원 가능한 선별된 모델: 사용 사례에 가장 적합한 오픈 소스 생성 AI 모델을 연구하는 데 시간을 소비하는 대신, 일반적인 사용 사례에 대해 데이터브릭스 전문가가 큐레이션한 모델을 활용할 수 있습니다. 저희 팀은 지속적으로 모델 환경을 모니터링하고 품질 및 속도와 같은 여러 요소에 대해 새로 출시되는 모델을 테스트합니다. 우리는 동급 최고의 기본 모델을 Databricks 마켓플레이스에서 제공하고, task에 특화된 LLM을 Unity 카탈로그에서 기본으로 사용할 수 있도록 지원합니다. 모델을 Unity 카탈로그에 등록되면 데이터로 직접 사용하거나 fine-tune 할 수 있습니다. 이러한 모델에 대해 레이크하우스 AI의 구성요소를 통해 추가로 최적화시킬 수 있습니다 (예를 들어 모델 서빙 latency 시간을 최대 10배까지 단축하는 등). 여기에서 미리보기를 신청하세요.
• AutoML의 LLM 지원: 우리는 텍스트 분류를 위한 생성 AI 모델의 fine-tuning과 데이터에 대한 기본 임베딩 모델의 fine-tuning을 지원하도록 AutoML 제품을 확장했습니다. AutoML을 사용하면 비기술적인 사용자도 조직의 데이터에서 손 쉬운 클릭만으로 손쉽게 모델을 fine-tune 할 수 있으며, 사용자의 작업 효율을 높일 수 있습니다. 여기에서 미리보기를 신청하세요.

모델 및 프롬프트 성능의 모니터링, 평가, 로깅

• 레이크하우스 모니터링: 사용자가 데이터와 AI 자산의 품질을 동시에 추적할 수 있는 최초의 통합 데이터 및 AI 모니터링 서비스입니다. 이 서비스는 자산의 프로필 및 드리프트 지표를 유지하고, 사전 예방적 경고를 구성하고, 품질 대시보드를 자동 생성하여 조직 전체에서 시각화하고 공유할 수 있으며, 데이터 품질 경고를 계보 그래프에서 상호 연관시켜 근본 원인 분석을 용이하게 해줍니다. Unity Catalog를 기반으로 구축된 레이크하우스 모니터링은 사용자에게 데이터와 AI 에셋에 대한 심층적인 인사이트를 제공하여 높은 품질, 정확성, 안정성을 보장합니다. 여기에서 미리보기를 신청하세요.
• 추론 테이블: 데이터 중심 패러다임의 일환으로, 서비스 엔드포인트로 들어오는 요청과 나가는 응답은 Unity 카탈로그의 델타 테이블에 기록됩니다. 이 자동 페이로드 로깅을 통해 팀은 준실시간으로 모델의 품질을 모니터링할 수 있으며, 이 테이블을 사용하여 다음 데이터 세트로 레이블을 변경해야 하는 데이터 포인트를 쉽게 소싱하여 임베딩 또는 기타 LLM을 fine-tune 할 수 있습니다.
• LLMOPs를 위한 MLflow (MLflow2.4 또는 MLflow2.5): 우리는 LLM 사용 사례에 가장 적합한 모델 후보를 더 쉽게 식별할 수 있도록 LLM 매개변수 및 모델을 추적할 수 있도록 MLflow 평가 API를 확장했습니다. 우리는 사용 사례에 가장 적합한 프롬프트 템플릿을 식별하는 데 도움이 되는 프롬프트 엔지니어링 도구를 구축했습니다. 평가된 각 프롬프트 템플릿은 나중에 검토하거나 재사용할 수 있도록 MLflow에 기록됩니다.

안전하게 실시간으로 모델, 피쳐, 함수 서빙

• GPU 기반, LLM 최적화된 모델 서빙: 우리는 GPU 모델 서비스를 제공할 뿐만 아니라 최고의 오픈 소스 LLM을 위해 GPU 서빙을 최적화하고 있습니다. 최적화를 통해 동급 최고의 성능을 제공하므로, 데이터브릭스에 배포할 때 LLM을 훨씬 더 빠르게 실행할 수 있습니다. 이러한 성능 개선을 통해 팀은 추론 시 비용을 절감할 수 있을 뿐만 아니라 엔드포인트를 빠르게 확장/축소하여 트래픽을 처리할 수 있습니다. 여기에서 미리보기를 신청하세요.

“Databricks 모델 서빙을 도입한 이후 추론 latency가 10배나 줄었고 이를 통해 고객에게 정확하고 유사한 예측을 심지어 더빠르게 제공할 수 있도록 도움을 주었습니다. 데이터가 존재하고 학습된 모델이 있는 동일한 플랫폼에서 모델을 서빙을 통해 배포 과정을 가속화하고 유지보수 또한 줄일 수 있게 되었습니다.”

— Daniel Edsgärd, Electrolux 데이터 사이언스 총괄

• 피쳐와 함수 서빙: 조직은 피쳐과 함수를 모두 제공함으로써 온라인 및 오프라인 skew를 방지할 수 있습니다. 피처 및 함수 서빙은 REST API 엔드포인트 뒤에서 latency 시간이 짧은 온디맨드 컴퓨팅을 수행하여 머신 러닝 모델을 제공하고 LLM 애플리케이션을 강화합니다. 데이터브릭스 모델 서빙과 함께 사용하면 기능이 들어오는 추론 요청에 자동으로 조인되므로 고객은 간단한 데이터 파이프라인을 구축할 수 있습니다. 여기에서 미리보기를 신청하세요. 
• AI 함수: 이제 데이터 분석가와 데이터 엔지니어는 대화형 SQL 쿼리 또는 SQL/Spark ETL 파이프라인 내에서 LLM 및 기타 머신러닝 모델을 사용할 수 있습니다. 분석가는 Unity 카탈로그와 AI 게이트웨이에서 권한을 부여받은 경우 AI 함수를 사용하여 감정 분석을 수행하거나 속기를 요약할 수 있습니다.  마찬가지로 데이터 엔지니어는 모든 신규 콜센터 통화를 속기하고 LLM을 사용하여 추가 분석을 수행하여 해당 통화에서 중요한 비즈니스 인사이트를 추출하는 파이프라인을 구축할 수 있습니다.

데이터 관리 & 거버넌스

• 통합된 데이터 & AI 거버넌스: 우리는 데이터와 AI 에셋에 대한 포괄적인 거버넌스 및 계보 추적을 하나의 통합된 환경에서 제공할 수 있도록 Unity 카탈로그를 개선하고 있습니다. 즉, 모델 레지스트리와 피처 스토어가 Unity 카탈로그에 통합되어 팀이 여러 워크스페이스에서 에셋을 공유하고 AI와 함께 데이터를 관리할 수 있습니다.
• MLflow AI 게이트웨이: 조직에서 직원들이 OpenAI 및 기타 LLM 제공업체를 활용하도록 권한을 부여함에 따라 속도 제한 및 자격 증명 관리, 급증하는 비용, 외부로 전송되는 데이터 추적 등의 문제에 직면하고 있습니다. MLflow 2.5의 일부인 MLflow AI 게이트웨이는 조직이 경로를 생성하고 공유한 다음 다양한 속도 제한, 캐싱, 비용 귀속 등으로 구성하여 비용과 사용량을 관리할 수 있는 워크스페이스 수준의 API 게이트웨이입니다.
• MLOps를 위한 Databricks CLI: 데이터 팀은 Databricks CLI의 진화를 통해 Infra-as-Code로 프로젝트를 설정하고 통합된 CI/CD 도구로 운영환경에 더 빠르게 도달할 수 있습니다. 조직은 '번들'을 생성하여 데이터브릭스 워크플로우로 AI 수명 주기 구성 요소를 자동화할 수 있습니다.

이러한 생성형 AI의 새로운 시대에 우리는 이 모든 혁신을 제공할 수 있어서 기대되고 여러분들이 무엇을 만들지 기대하도록 하겠습니다!