Databricks 모델 서빙에 LLMs 배포하기

Databricks 모델 서빙은 복잡한 인프라를 이해할 필요 없이 어떤 AI 모델이든 배포할 수 있는 통합 솔루션을 제공합니다. 이는 자연어, 비전, 오디오, 테이블, 또는 사용자 정의 모델을 배포할 수 있음을 의미하며, 이는 스크래치로부터 구축되었는지, 오픈 소스에서 출처를 두었는지, 또는 독점 데이터로 세밀하게 조정되었는지에 관계없습니다. 간단히 MLflow로 모델을 로그하면, 우리는 자동으로 CUDA와 같은 GPU 라이브러리가 포함된 생산 준비가 완료된 컨테이너를 준비하고 이를 서버리스 GPU에 배포합니다. 우리의 완전 관리 서비스는 모든 무거운 작업을 대신 처리해드림으로써, 인스턴스 관리, 버전 호환성 유지, 패치 버전 관리 등의 필요성을 제거해 드립니다. 이 서비스는 트래픽 패턴을 충족시키기 위해 자동으로 인스턴스를 확장하여 인프라 비용을 절약하고 지연 성능을 최적화합니다.