토큰
대형 언어 모델(LLM)에서 토큰은 모델이 효율적으로 처리하기 위해 숫자 표현으로 변환하는 문자 시퀀스입니다. 토큰은 GPT-3, ChatGPT와 같은 LLM이 언어를 이해하고 생성하는 데 사용하는 텍스트의 기본 단위입니다....
3 분 읽기
Token
LLM
+3
LLM DeepSeek 컴포넌트란?
LLM DeepSeek 컴포넌트는 DeepSeek 모델을 여러분의 플로우에 연결합니다. 실제 생성과 에이전트 기능은 Generator와 Agent 컴포넌트에서 이루어지지만, LLM 컴포넌트는 사용 모델을 손쉽게 교체하고 제어할 수 있도록 해줍니다.
LLM 컴포넌트 연결은 필수 사항이 아닙니다. LLM을 사용하는 모든 컴포넌트는 기본적으로 ChatGPT-4o가 적용되어 있습니다. LLM 컴포넌트를 통해 모델 변경과 세부 설정 제어가 가능합니다.
LLM Gemini 컴포넌트 설정
최대 토큰(Max Tokens)
토큰은 모델이 처리하고 생성하는 텍스트의 개별 단위입니다. 토큰 사용량은 모델마다 다르며, 하나의 토큰은 단어, 부분 단어, 혹은 한 글자가 될 수 있습니다. 일반적으로 요금은 백만 개 단위로 부과됩니다.
최대 토큰 설정은 한 번의 상호작용 또는 요청에서 처리할 수 있는 토큰 수를 제한하여, 응답이 적정 범위 내에서 생성되도록 보장합니다. 기본 제한은 4,000토큰으로, 문서 요약이나 다양한 자료에서 답변을 생성하기에 최적입니다.
온도(Temperature)
온도는 답변의 다양성을 제어하는 값으로, 0에서 1 사이의 범위를 가집니다.
0.1의 낮은 온도는 답변이 매우 간결하지만 반복적이거나 부족할 수 있습니다.
1의 높은 온도는 최대한 창의적인 답변이 가능하지만, 무관하거나 허구의 답변이 나올 위험도 있습니다.
예를 들어, 고객센터 챗봇의 권장 온도는 0.2와 0.5 사이입니다. 이 범위는 답변을 스크립트 내에서 자연스럽고 관련성 있게 유지시켜줍니다.
모델(Model)
여기서 지원되는 모든 DeepSeek 모델을 선택할 수 있습니다. 최신 Gemini 모델도 모두 지원합니다:
- DeepSeek R1: 2025년 초 세계적으로 큰 반향을 일으킨 중국의 경량 오픈소스 모델입니다. 현재 DeepSeek 중 가장 빠르고 우수하며, OpenAI의 o1 모델을 손쉽게 능가합니다.
LLM DeepSeek를 플로우에 추가하는 방법
모든 LLM 컴포넌트는 출력 핸들만 있다는 점을 확인하실 수 있습니다. 실제 생성은 AI Agent와 Generator에서 이루어지므로, 입력은 LLM 컴포넌트를 거치지 않습니다. LLM 컴포넌트는 단순히 사용 모델을 나타냅니다.
LLM 핸들은 항상 보라색입니다. LLM 입력 핸들은 텍스트 생성이나 데이터 처리를 위해 AI를 사용하는 모든 컴포넌트에 있습니다. 핸들을 클릭하면 옵션을 확인할 수 있습니다:
이렇게 다양한 도구를 만들 수 있습니다. 실제로 컴포넌트가 어떻게 작동하는지 살펴보겠습니다. 아래는 DeepSeek R1을 활용해 답변을 생성하는 간단한 AI Agent 챗봇 플로우입니다. 즉, 기본적인 DeepSeek 챗봇으로 볼 수 있습니다.
이 간단한 챗봇 플로우는 다음과 같은 요소로 구성됩니다:
- 채팅 입력: 사용자가 챗에 보낸 메시지를 나타냅니다.
- 채팅 기록: 챗봇이 이전 응답을 기억하고 반영할 수 있게 합니다.
- 채팅 출력: 챗봇의 최종 응답을 나타냅니다.
- AI Agent: 응답을 생성하는 자율 AI 에이전트입니다.
- LLM DeepSeek: DeepSeek 생성 모델과의 연결입니다.
