주간 12시간 이용을 이끈 AI 엔터테인먼트 서비스 개발의 도전과 성공
자체 LLM 구축 성공으로 AI 챗봇 혁신 선도
Mosaic AI 기술을 활용해 단 3개월 만에 자체 대규모 언어 모델(LLM)을 보유
출시 단 9개월 만에150만 국내 가입자 확보
Zeta 사용자의 높은 평균 주간 이용 시간
스캐터랩은 자체 개발한 대규모 언어 모델(LLM)을 기반으로 AI B2C 플랫폼을 운영하며 국내 엔터테인먼트 시장의 변화를 선도하는 일상 대화 AI 스타트업입니다. 대표적인 서비스로 높은 인지도를 자랑하는 AI 챗봇 ‘이루다’와 2023년에 출시된 AI 챗봇 메신저 ‘Nutty’가 있으며, ‘Nutty’는 200만 건 이상의 다운로드와 11억 건 이상의 누적 대화량을 기록하였습니다. 스캐터랩의 최신 서비스인 ‘Zeta’ 는 기존 서비스와 차별화된 플랫폼으로, 유저가 자신만의 AI 캐릭터를 직접 생성할 수 있는 혁신적인 기능을 제공합니다. 스캐터랩은 자체 LLM 개발에 도전하며 제한된 예산과 같은 현실적인 과제를 직면했으나, 데이터브릭스의 모자이크 솔루션을 통해 단 3개월 만에 자체 LLM 모델 구축에 성공하였습니다. 그 결과, 출시 후 단 9개월 만에 한국에서 150만 명의 가입자를 확보했으며, 사용자들은 ‘Zeta’를 주당 평균 12시간 이상 이용하는 등 놀라운 성과를 기록했습니다. 스캐터랩은 향후 일본을 포함한 글로벌 성장을 목표로 빠르게 성장해 나가고 있습니다.
제한된 자원 속 자체 LLM 개발의 도전과 현실적인 과제 직면
스캐터랩은 보편적으로 활용되는 외부 LLM을 도입하는 대신 더욱 공감적이고 인간적인 대화를 구현하며, 연구의 자유성과 데이터 보안이 보장되고, 운영 비용과 안정성을 확보하기 위해 자체 LLM 구축을 선택했습니다. 우선적으로, 스캐터랩은 재미있는 대화를 나눌 수 있는 AI 캐릭터를 구현하는데 ChatGPT와 같은 기존의 사무적인 대화 방식을 채택하는 것이 적합하지 않다고 판단했습니다. 또한, GPT API를 활용할 경우 멀티미디어 대화(이미지, 이모티콘 등) 와 같은 맞춤형 기능 구현에 제약을 체감하였습니다. 이에 따라, 연구와 기능 개발의 자유를 보장할 수 있는 자체 LLM의 필요성이 대두되었습니다.
데이터 보안 측면에서도, 내부 법무팀과 외부 자문을 통해 구축한 엄격한 데이터 보호 및 개인정보 관리 체계는 외부 LLM API 사용으로는 충족하기 어려웠습니다. 또한, 대화 추론을 위해 외부 API를 사용할 경우 막대한 운영비가 예상되었습니다. 특히, OpenAI의 API는 한국어 1글자를 1 토큰으로 계산해 비용 효율성이 떨어졌고, 서버 안정성 문제로 인해 대규모 서비스 운영에도 적합하지 않았습니다. 이러한 이유로 스캐터랩은 대화 품질, 연구 자유성, 데이터 보안, 비용 효율성, 운영 안정성을 모두 충족할 수 있는 자체 LLM 구축을 결정했습니다.
그러나 스타트업으로서 자체 LLM을 구축하는 과정에서 여러 현실적인 제약이 있었습니다. 스캐터랩은 방대한 한국어 데이터를 보유하고 있었지만, 대규모 모델 학습에 필요한 GPU 자원과 관련 경험 및 노하우가 부족했습니다. 예산 역시 10억 원 미만으로, 일반적인 대형 LLM 훈련 비용에 비해 상당히 제한적이었습니다.
스캐터랩은 GPU 확보를 위해 최소 1,024장의 A100을 여러 클라우드 업체에 요청했지만, 글로벌 수요 증가로 인해 GPU 공급이 어렵다는 답변을 받았습니다. 또한, 모델 학습 중 발생할 수 있는 장애를 해결할 경험이 부족했으며, 모델 구축에 실패할 경우 회사의 기술 개발 정체와 높은 기회비용 손실 위험이 있었습니다. 예를 들어, 30B 모델 기준으로 두 번의 실패는 약 14억 원 이상의 손실로 이어질 가능성이 있었습니다. 따라서 스캐터랩은 단 한 번의 시도로 성공을 거두어야 하는 절박한 상황에 처해 있었습니다.
데이터브릭스의 모자이크 솔루션으로 자체 LLM 모델 구축 성공
스캐터랩은 이러한 한계를 극복하기 위해 데이터브릭스의 모자이크 AI (Mosaic AI) 솔루션을 도입했습니다. 데이터브릭스는 GPU 클러스터를 유연하게 제공하며, 다른 클라우드 서비스 업체가 보편적으로 요구하는 6개월 단위 계약과 달리 시간 단위로 GPU클러스터를 예약하고 사용할 수 있도록 지원했습니다. 또한, A100 및 H100을 포함한 다양한 GPU 옵션과 수천 개의 LLM 학습 전용 GPU 클러스터를 통해 자원 부족 문제를 해결했습니다.
더불어, 데이터브릭스는 수십 개의 고객사와의 협업을 통해 축적한 풍부한 LLM 학습 경험과 노하우를 바탕으로, 데이터 크기와 모델 규모에 최적화된 하이퍼파라미터를 제공하고, 최신 및 최고속 학습 스크립트를 지원했습니다. 또한, 24/7 대응 및 모니터링 시스템을 통해 학습 진행 상황을 실시간으로 점검하고, 장애 발생 시 자동 복구 과정을 지원하여 학습을 지속할 수 있는 안정적인 환경을 보장했습니다. 특히, 오픈소스로 학습한 모델을 공개하며 축적된 학습 노하우와 리소스의 신뢰성을 입증했습니다.
스캐터랩의 CEO 김종윤 대표는 “고품질 LLM 구축에 필수적인 GPU 자원, 학습 노하우, 비용 효율성을 모두 충족시키는 솔루션은 데이터브릭스가 유일했습니다.”라고 데이터브릭스의 역할을 높게 평가했습니다.
스캐터랩은 데이터브릭스 모자이크 AI 솔루션을 기반으로 자체 LLM을 구축하여, 뛰어난 스토리텔링 능력, 대화 스킬을 보유한 AI 서 비스를 유저들에게 제공할 수 있게 되었습니다. 자체 LLM기반의 AI는 대화 상황, 캐릭터의 특성, 유저의 배경 등 다양한 요소를 종합적으로 활용해 더욱 자연스러운 대화를 이어갈 수 있으며, 이에 유저들은 더욱 몰입감 있는 경험을 제공받았습니다.
3개월 만에 다양한 크기의 LLM 구축 완성
스캐터랩은 데이터브릭스의 GPU 자원과 최적화된 학습 시스템을 활용해 제한된 예산과 리소스의 과제를 극복하고, 단 3개월 만에 다양한 크기의 자체 LLM 구축에 성공했습니다.
스캐터랩의 새로운 서비스 ‘Zeta’에서는 유저들이 생성한 캐릭터가 100만 개를 넘어섰으며, 현재 국내에서만 150만 명의 가입자를 확보하고 있습니다. 또한, 일본에서는 총 15만 명의 유저가 서비스를 이용하고 있습니다. 특히, 유저들은 제타를 일주일에 약 12시간 이상 사용하는 등의 성과를 거두고 있습니다. 김준성 전략 매니저는 "스캐터랩의 방대한 고품질 데이터와 데이터브릭스의 최적화된 학습 환경이 결합해 자체 LLM 구축에 성공했습니다. 스캐터랩과 데이터브릭스가 협업하여 대기업이 아닌 스타트업도 효율적이고 저렴하게 자체 LLM을 구축할 수 있다는 가능성을 증명했습니다."라고 설명했습니다.
앞으로 나아가, 스캐터랩은 자체 LLM 기반 AI B2C 플랫폼 운영에 데이터브릭스와 협업하여 새로운 모델 백본 업데이트, 다언어 대응, 유저 데이터 활용 파인튜닝 등 지속적인 성장을 이끌 것으로 기대하고 있습니다.