거대 언어 모델(LLM)

대규모 언어 모델(LLM)의 작동 방식

대규모 언어 모델(LLM)에는 일반적으로 3가지 아키텍처 요소가 있습니다.

1. 인코더: 토크나이저가 대량의 텍스트를 숫자 값인 토큰으로 변환하면 인코더는 유사한 의미를 가진 단어를 벡터 공간에 서로 가깝게 배치하는 의미 있는 토큰 임베딩을 생성합니다.
2. 어텐션 메커니즘: 이 알고리즘은 모델이 텍스트의 관련 단어에 대해 입력 텍스트의 특정 부분에 집중할 수 있도록 하는 LLM에 사용됩니다. 이 알고리즘은 인코더 및 디코더와 별개로 간주되지 않습니다.
3. 디코더: 토크나이저가 사용자가 이해할 수 있도록 토큰을 다시 단어로 변환합니다. 이 과정에서 LLM은 수백만 단어에 대해 다음 단어, 그 다음 단어를 예측합니다. 모델이 학습 프로세스를 완료하면 이제 질의 응답, 언어 번역, 시맨틱 검색 등과 같은 새로운 작업을 수행할 수 있습니다.

LLM의 작동 방식

LLM 학습 프로세스의 단순화된 버전

모든 LLM의 기반인 트랜스포머에 대해 자세히 알아보기

대규모 언어 모델(LLM)의 역사

LLM에 사용되는 기술은 1940년대에 시작된 인공 지능 분야 연구의 결정체입니다.

1940년대

신경망에 관한 최초의 과학 논문은 1943년에 발표되었습니다.

1989년

Lecun은 역전파 네트워크가 이미지 인식 문제에 적용될 수 있음을 보여주는 숫자 인식에 관한 과학 논문을 발표했습니다.

2012년

Hinton 등의 논문 에 따르면 심층 신경망이 음성 인식에 대해 이전 모델보다 훨씬 뛰어난 성능을 보여주었습니다.

컨볼루셔널 신경망(AlexNet)은 Imagenet 시각적 인식의 기존 오류율을 절반으로 줄여 75% 정확도를 최초로 돌파했습니다. GPU를 사용한 모델 학습 등 새로운 기술을 다뤘습니다.

2017년

'Attention is All you Need(관심을 기울이기만 하면 됩니다)'라는 획기적인 논문을 통해 모든 LLM 모델의 기본 아키텍처인 트랜스포머 아키텍처를 소개했습니다.

2018년

Google이 아키텍처의 큰 도약이자 미래의 대규모 언어 모델을 위한 길을 연 BERT(Bidirectional Encoder Representations from Transformers)를 도입했습니다.

2020년

OpenAI가 1,750억 매개변수를 갖는 최대 규모의 모델이며 언어 관련 영역에 대한 새로운 성능 벤치마크가 된 GPT-3를 출시했습니다.

2022년

GPT-3 및 유사 모델을 웹 인터페이스를 통해 사용자가 광범위하게 액세스할 수 있는 서비스로 전환하여 LLM 및 생성형 AI에 대한 대중의 인식을 크게 높인 ChatGPT가 출시되었습니다.

2023년

오픈 소스 LLM이 LLaMA 2, Falcon 및 MosaicML MPT와 같은 릴리스에서 점점 더 인상적인 결과를 보여줍니다. GPT-4도 출시되어 매개변수 크기와 성능 모두에 대한 새로운 벤치마크를 설정했습니다.

LLM의 사용 사례

LLM은 사용 사례와 다양한 산업 전반에 걸쳐 비즈니스에 영향을 미칠 수 있습니다. 사용 사례의 예는 다음과 같습니다.

• 챗봇 및 가상 어시스턴트: LLM은 챗봇을 구동하여 고객과 직원이 고객 지원, 웹사이트 리드 후속 조치에 도움을 주고 개인 비서 역할을 하는 개방형 상담 기능을 제공하는 데 사용됩니다.
• 코드 생성 및 디버깅: LLM은 유용한 코드 스니펫을 생성하고 코드 오류를 식별 및 수정하며, 입력 명령에 따라 프로그램을 완성할 수 있습니다.
• 감정 분석: LLM은 텍스트 안의 감정을 자동으로 파악하고 고객 만족도를 자동으로 이해할 수 있습니다.
• 텍스트 분류 및 클러스터링: LLM은 대량의 데이터를 구성, 분류 및 정렬하여 정보에 입각한 의사 결정을 지원하는 공통의 주제와 추세를 식별할 수 있습니다.
• 언어 번역: LLM은 문서와 웹 페이지를 다른 언어로 번역할 수 있습니다.
• 요약 및 의역: LLM은 논문, 기사, 고객 통화 또는 회의를 요약하고 가장 중요한 내용을 강조할 수 있습니다.
• 콘텐츠 생성: LLM은 유용한 초안이 될 수 있는 개요를 개발하거나 새로운 콘텐츠를 작성할 수 있습니다.

LLM이 효과적으로 배포된 고객 사례 소개

JetBlue

JetBlue는 기업 데이터로 보완된 오픈 소스 생성형 AI 모델을 사용하는 Databricks 기반 챗봇인 "BlueBot"을 배포했습니다. 이 챗봇은 JetBlue의 모든 팀에서 역할별로 관리되는 데이터에 액세스하는 데 사용할 수 있습니다. 예를 들어 재무팀은 SAP 및 규제 관련 보고 자료의 데이터를 볼 수 있지만, 운영팀은 유지 관리 정보만 볼 수 있습니다.

Chevron Phillips

Chevron Phillips Chemical은 Databricks를 사용하여 문서 프로세스 자동화를 비롯한 생성형 AI 이니셔티브를 지원합니다.

Thrivent Financial

Thrivent Financial은 생성형 AI를 사용하여 검색 기능을 개선하고, 더 쉽게 액세스할 수 있는 요약된 인사이트를 생성하며, 엔지니어링의 생산성을 높일 방법을 찾고 있습니다.

대규모 언어 모델(LLM)이 주목받기 시작한 이유는 무엇인가요?

최근 LLM이 조명을 받게 만든 기술적 발전을 소개하겠습니다.

1. 머신 러닝 기술 고도화
   • LLM은 다양하게 발전한 ML 기술의 활용합니다. 가장 주목할 만한 발전은 트랜스포머 아키텍처로, 대부분의 LLM 모델의 기본 아키텍처입니다.
2. 접근성 향상
   • ChatGPT의 출시로 인터넷 접속이 가능한 사람이라면 누구나 간단한 웹 인터페이스를 통해 가장 발전된 LLM과 상호 작용할 수 있게 되었습니다. 이를 통해 전 세계가 LLM의 강력한 힘을 이해하게 되었습니다.
3. 컴퓨팅 성능 향상
   • 그래픽 처리 장치(GPU)와 같은 더 강력한 컴퓨팅 리소스와 더 나은 데이터 처리 기술을 통해 연구원들은 훨씬 더 큰 모델을 학습시킬 수 있게 되었습니다.
4. 학습 데이터의 양과 품질
   • 대규모 데이터세트의 가용성과 이를 처리하는 능력으로 모델 성능이 크게 향상되었습니다. 예를 들어, GPT-3는 품질에 중점을 두고 공개적으로 크롤링되는 웹 페이지를 포함한 WebText2 데이터세트(1,700만 개의 문서)와 같은 고품질의 하위 집합을 포함하는 빅데이터(약 5,000억 개의 토큰)에서 학습되었습니다.

조직의 자체 데이터로 LLM을 맞춤 설정하는 방법은 무엇인가요?

조직의 데이터로 LLM 애플리케이션을 맞춤 설정할 때 4가지 아키텍처 패턴을 고려해야 합니다. 이러한 기술은 아래에 요약되어 있으며, 상호 배타적이지 않습니다. 반대로, 각각의 장점을 활용하기 위해 서로 결합할 수 있거나 결합해야 합니다.

선택한 기술에 관계없이 잘 구조화되고 모듈화된 방식으로 솔루션을 구축하면 조직은 반복과 조정 작업을 수행할 수 있는 준비가 됩니다. 이 접근 방식에 대한 자세한 내용은 MLOps의 Big Book을 참조하세요.

대규모 언어 모델(LLM)에서 프롬프트 엔지니어링은 무엇을 의미하나요?

프롬프트 엔지니어링은 LLM에 제공된 텍스트 프롬프트를 조정하여 보다 정확하고 관련성 높은 응답을 이끌어내는 방식입니다. 프롬프트 엔지니어링은 모델마다 다르므로 모든 LLM 모델이 동일한 품질 결과를 생성하는 것은 아닙니다. 다양한 모델에 적용되는 몇 가지 일반화된 팁은 다음과 같습니다.

1. 명확하고 간결한 프롬프트를 사용합니다. 여기에는 지침, 컨텍스트(필요한 경우), 사용자 쿼리 또는 입력, 원하는 출력 유형 또는 형식에 대한 설명이 포함될 수 있습니다.
2. LLM이 원하는 출력이 무엇인지 이해할 수 있도록 프롬프트에 예(퓨샷 학습)를 제공합니다.
3. 질문에 답할 수 없는 경우에 답변하기 어렵다고 설명하는 것 등 모델에 행동 방식을 지시합니다.
4. 모델에 단계별로 생각하거나 그 이유를 설명하도록 지시합니다.
5. 프롬프트에 사용자 입력이 포함된 경우 프롬프트의 어느 부분이 사용자 명령과 사용자 입력에 해당하는지 명확하게 표시하는 등 프롬프트 해킹을 방지하는 기술을 사용합니다.

대규모 언어 모델(LLM)에서 검색 증강 생성(RAG)은 무엇을 의미하나요?

검색 증강 생성(Retrieval Augmented Generation, RAG)은 맞춤형 데이터를 활용하여 대규모 언어 모델(LLM) 애플리케이션의 효율성을 개선할 수 있는 아키텍처 접근 방식입니다. 이 작업은 질문이나 작업과 관련된 데이터/문서를 검색하고 이를 LLM의 컨텍스트로 제공하여 수행할 수 있습니다. RAG는 최신 정보를 유지 관리하거나 도메인별 지식에 액세스해야 하는 지원 챗봇 및 Q&A 시스템에서 성공을 거두었습니다.
여기에서 RAG에 대해 자세히 알아보세요.

대규모 언어 모델(LLM)에서 미세 조정이란 무엇인가요?

미세 조정은 사전 학습된 LLM을 개별 도메인이나 작업에 특화된 비교적 작은 데이터세트에 적용하는 프로세스입니다. 미세 조정 과정에서는 전체 모델에 비해 상대적으로 적은 수의 가중치를 조정하여 짧은 시간 동안 학습을 계속합니다.

'미세 조정'이라는 용어는 여러 개념을 나타낼 수 있으며, 가장 일반적인 두 가지 형태는 다음과 같습니다.

• 감독 대상 명령 미세 조정: 이 접근 방식에는 일반적으로 수천 개의 학습 예시를 사용하여 수행되는 입력-출력 훈련 예시 데이터세트로 사전 학습된 LLM의 지속적인 학습이 포함됩니다.
• 지속적인 사전 학습: 이 미세 조정 방법은 입력 및 출력 예시에 의존하지 않고 대신 구조화되지 않은 도메인별 텍스트를 사용하여 동일한 사전 학습 프로세스(예: 다음 토큰 예측, 마스킹된 언어 모델링)를 계속합니다.

대규모 언어 모델(LLM)에서 사전 학습이란 무엇인가요?

LLM 모델을 처음부터 사전 학습하는 것은 기존 모델의 사전 지식이나 가중치를 사용하지 않고 대규모 데이터 코퍼스(예: 텍스트, 코드)로 언어 모델을 학습하는 프로세스를 의미합니다. 이는 이미 사전 학습된 모델을 특정 작업 또는 데이터세트에 추가로 적용하는 미세 조정과 대조됩니다. 전체 사전 학습의 출력은 다운스트림 작업에 직접 사용하거나 추가로 미세 조정할 수 있는 기본 모델입니다. 사전 학습은 일반적으로 직면하게 되는 가장 크고 비용이 많이 드는 학습 작업이며, 대부분의 조직에서 수행하는 일반적인 작업은 아닙니다.

가장 일반적인 LLM의 종류와 차이점은 무엇인가요?

대규모 언어 모델 분야는 선택할 수 있는 옵션이 매우 많습니다. 일반적으로 LLM은 독점 서비스와 오픈 소스 모델이라는 두 가지 범주로 분류할 수 있습니다.

독점 서비스

가장 많이 사용하는 LLM은 많은 호평을 받으며 출시된 OpenAI의 ChatGPT입니다. ChatGPT는 사용자가 프롬프트를 제공하고 일반적으로 빠르고 관련성 높은 응답을 받을 수 있는 친숙한 검색 인터페이스를 제공합니다. 개발자는 ChatGPT API에 액세스하여 이 LLM을 자신의 애플리케이션, 제품 또는 서비스에 통합할 수 있습니다. 다른 서비스로는 Google Bard와 Anthropic Claude가 있습니다.

오픈 소스 모델

또 다른 옵션은 LLM을 자체 호스팅하는 것으로, 오픈 소스이며 상업적으로 사용 가능한 모델이 일반적입니다. 오픈 소스 커뮤니티는 독점 모델의 성능을 빠르게 따라잡았습니다. 많이 사용하는 오픈 소스 LLM 모델로는 Meta의 Llama 2와 MosaicML(Databricks에서 인수)의 MPT가 있습니다.

최선의 옵션을 평가하는 방법

타사 공급업체의 폐쇄형 AI를 사용하거나 자체 오픈 소스(또는 미세 조정된) LLM 모델을 자체 호스팅하는 접근 방식에서 고려해야 할 주요 사항과 차이점은 미래 보장성을 고려하고, 비용을 관리하며, 데이터를 경쟁 우위로 활용하는 것입니다. 독점 모델은 더 이상 사용되지 않고 제거되어 기존 파이프라인과 벡터 인덱스를 손상시킬 수 있으며, 오픈 소스 모델은 영구적으로 액세스할 수 있습니다. 오픈 소스 및 미세 조정된 모델은 더 많은 옵션을 제공하고 애플리케이션에 맞게 조정할 수 있으므로 성능과 비용 간의 절충점을 더 잘 찾을 수 있습니다. 향후 자체 모델을 미세 조정할 계획을 세우면 공개적으로 사용할 수 있는 것보다 더 나은 모델을 구축하기 위한 경쟁 우위로 조직의 데이터를 활용할 수 있습니다. 마지막으로, 독점 모델은 이러한 '블랙박스' LLM이 학습 프로세스 및 가중치에 대해 더 낮은 수준의 감독을 허용하므로 거버넌스 문제를 야기할 수 있습니다.

자체 오픈 소스 LLM 모델을 호스팅하려면 독점 LLM을 사용하는 것보다 더 많은 작업이 필요합니다. Databricks의 MLflow를 사용하면 Python 경험이 있는 사용자가 트랜스포머 모델을 가져와 Python 개체로 더 쉽게 사용할 수 있습니다.

평가 기준에 따라 사용할 LLM을 선택하는 방법은 무엇인가요?

LLM 평가는 어렵지만 계속 발전하고 있는 영역으로, 주된 이유는 LLM이 다양한 작업에서 균등하지 않은 기능을 보여 주는 경우가 많기 때문입니다. LLM은 하나의 벤치마크에서는 탁월할 수 있지만, 프롬프트나 문제가 약간만 변형되어도 성능에 큰 영향을 미칠 수 있습니다.

LLM 성과를 평가하는 데 사용되는 몇 가지 주요 도구 및 벤치마크는 다음과 같습니다.

• MLFlow
  • 모델 평가를 위한 일련의 LLMOps 도구를 제공합니다.
• Mosaic Model Gauntlet
  • 단일 모놀리식 지표로 정제하는 대신 모델 역량을 6개의 광범위한 영역(아래 표시)으로 분류하는 집계 평가 접근 방식입니다.
• Hugging Face는 개방형 LLM 참여자로부터 수십만 개의 모델을 수집합니다.
• BIG-bench(Beyond the Imitation Game Benchmark)
  • 현재 200개 이상의 작업을 호스팅하고 있는 동적 벤치마킹 프레임워크로, 향후 LLM 기능에 적응하는 데 초점을 맞춥니다.
• EleutherAI LM Evaluation Harness
  • 200개 이상의 작업에 대한 모델을 평가하고 BIG-bench 및 MMLU와 같은 평가를 병합하여 재현성과 비교 기능을 향상하는 포괄적인 프레임워크입니다.

RAG 애플리케이션의 LLM 평가를 위한 모범 사례도 참조하세요.

대규모 언어 모델 운영(LLMOps)을 통해 대규모 언어 모델(LLM) 관리를 어떻게 운영할 수 있을까요?

LLMOps(Large Language Model Ops)는 프로덕션 환경에서 대규모 언어 모델의 운영 관리에 사용되는 사례, 기술 및 도구를 포괄합니다.

LLMOps를 사용하면 대규모 언어 모델을 효율적으로 배포, 모니터링 및 유지 관리할 수 있습니다. 기존 머신 러닝 운영(MLOps)과 마찬가지로 LLMOps에는 데이터 사이언티스트, DevOps 엔지니어 및 IT 전문가의 협업이 필요합니다. 여기에서 LLMOps에 대해 자세히 알아보세요.

대규모 언어 모델(LLM)에 대해 더 자세히 알아보세요.

다음과 같이 다양한 리소스를 참고할 수 있습니다.

교육

• LLM: 처음부터 파운데이션 모델로 빌드(EDX 및 Databricks 교육) — LLM의 파운데이션 모델에 대한 세부 정보를 살펴보는 Databricks의 무료 교육
• LLM: 애플리케이션에서 프로덕션까지(EDX 및 Databricks 교육) — 가장 잘 알려진 최신 프레임워크를 사용하여 LLM 중심 애플리케이션을 빌드하는 방법에 초점을 맞춘 Databricks의 무료 교육

eBook

• MLOps Big Book

기술 블로그

• RAG 애플리케이션의 LLM 평가를 위한 모범 사례
• MLflow AI Gateway 및 Llama 2를 사용하여 생성형 AI 앱 빌드(자체 데이터로 검색 증강 생성(RAG)를 사용하여 정확도 향상)
• 검색 증강 생성(RAG), llama2-70B(MosaicML 추론) 및 Vector Search를 사용하여 LLM 챗봇 배포
• LLMOps: LLM을 관리하기 위해 알아야 할 모든 정보

다음 단계

• Databricks에 연락해 데모를 예약하고 대규모 언어 모델(LLM) 프로젝트에 대해 문의하기
• Databricks의 LLM용 제품에 대해 알아보기
• 검색 증강 생성(RAG) 사용 사례(가장 일반적인 LLM 아키텍처)에 대해 자세히 알아보기