토큰
대형 언어 모델(LLM)에서 토큰은 모델이 효율적으로 처리하기 위해 숫자 표현으로 변환하는 문자 시퀀스입니다. 토큰은 GPT-3, ChatGPT와 같은 LLM이 언어를 이해하고 생성하는 데 사용하는 텍스트의 기본 단위입니다....
3 분 읽기
Token
LLM
+3
LLM 미스트랄 컴포넌트란?
LLM 미스트랄 컴포넌트는 Mistral 모델을 플로우에 연결합니다. 실제 텍스트 생성은 제너레이터와 에이전트에서 이루어지지만, LLM 컴포넌트를 통해 사용할 모델을 직접 선택하고 제어할 수 있습니다. 모든 컴포넌트는 기본적으로 ChatGPT-4를 사용하며, 이 컴포넌트를 연결하면 모델을 변경하거나 더 세밀하게 제어할 수 있습니다.
LLM 컴포넌트 연결은 선택 사항임을 기억하세요. LLM을 사용하는 모든 컴포넌트는 기본값으로 ChatGPT-4o를 탑재하고 있습니다. LLM 컴포넌트는 모델 변경과 모델 설정 제어를 가능하게 합니다.
LLM 미스트랄 컴포넌트 설정
최대 토큰(Max Tokens)
토큰은 모델이 처리하고 생성하는 텍스트의 개별 단위를 의미합니다. 토큰 사용량과 단위는 모델마다 다르며, 한 토큰은 단어, 서브워드, 혹은 문자 하나일 수 있습니다. 모델 요금은 일반적으로 수백만 토큰 단위로 책정됩니다.
최대 토큰 설정은 한 번의 요청 또는 상호작용에서 처리될 수 있는 토큰의 총량을 제한해, 응답이 적절한 범위를 넘지 않도록 보장합니다. 기본값은 4,000토큰이며, 이는 문서 요약이나 여러 자료의 답변 생성에 최적화된 크기입니다.
템퍼러처(Temperature)
템퍼러처는 답변의 다양성과 창의성을 0에서 1까지 조절합니다.
0.1의 템퍼러처는 매우 간결하지만 반복적이고 단조로운 답변이 생성될 수 있습니다.
1의 높은 템퍼러처는 최대한 창의적인 답변을 허용하지만, 관련 없는 내용이나 환각(hallucination)이 발생할 위험도 커집니다.
예를 들어, 고객 응대 챗봇에는 0.2~0.5의 템퍼러처를 권장합니다. 이 범위는 답변을 스크립트에 맞게 유지하면서도 자연스러운 변화를 허용합니다.
모델(Model)
여기서 원하는 Mistral 지원 모델을 선택할 수 있습니다. 현재 지원되는 모델은 다음과 같습니다.
- Mistral 7B – 73억 개의 파라미터를 가진 트랜스포머 기반 언어 모델로, Apache 2.0 라이선스 하에 공개되었습니다. 작은 프로젝트임에도 Meta의 Llama 2보다 뛰어난 성능을 자주 보여줍니다. 테스트 결과를 확인해보세요.
- Mistral 8x7B (Mixtral) – 전문가 집단을 혼합하는 sparse mixture of experts 구조를 사용하며, 8개의 독립된 전문가 그룹으로 구성되어 총 467억 개의 파라미터를 갖추고 있습니다. 각 토큰당 최대 129억 파라미터를 사용하며, 대부분의 벤치마크에서 LLaMA 2 70B와 GPT-3.5와 동등하거나 그 이상의 성능을 보여줍니다. 결과 예시를 확인하세요.
- Mistral Large – 1,230억 파라미터와 128,000토큰의 컨텍스트 길이를 가진 고성능 언어 모델입니다. 여러 자연어 및 프로그래밍 언어에 능통하며, LLaMA 3.1 405B 등과 비교해 특히 프로그래밍 관련 작업에서 경쟁력 있는 성능을 보입니다. 자세한 내용은 여기에서 확인하세요.
LLM 미스트랄을 플로우에 추가하는 방법
모든 LLM 컴포넌트에는 출력 핸들만 있다는 점을 알 수 있습니다. 입력은 이 컴포넌트를 통과하지 않으며, 해당 컴포넌트는 모델만 나타내고 실제 텍스트 생성은 AI 에이전트와 제너레이터에서 이루어집니다.
LLM 핸들은 항상 보라색입니다. LLM 입력 핸들은 AI가 텍스트를 생성하거나 데이터를 처리하는 모든 컴포넌트에 있습니다. 핸들을 클릭하면 연결 옵션을 볼 수 있습니다.
이를 통해 다양한 도구를 만들 수 있습니다. 실제 컴포넌트 활용 예시를 살펴보겠습니다. 아래는 Mistral 7B 모델을 사용하여 답변을 생성하는 간단한 AI 에이전트 챗봇 플로우입니다. 기본적인 Mistral 챗봇이라고 생각하시면 됩니다.
이 간단한 챗봇 플로우에는 다음 요소가 포함됩니다.
- 챗 입력: 사용자가 채팅에 입력하는 메시지를 나타냅니다.
- 챗 기록: 챗봇이 과거 답변을 기억하고 반영할 수 있도록 합니다.
- 챗 출력: 챗봇의 최종 응답을 나타냅니다.
- AI 에이전트: 응답을 생성하는 자율 AI 에이전트입니다.
- LLM 미스트랄: Mistral 텍스트 생성 모델과의 연결입니다.
