LLM xAI

LLM xAI 컴포넌트란 무엇인가요?

LLM xAI 컴포넌트는 Grok 모델을 플로우에 연결합니다. 실제로 텍스트 생성은 생성기와 에이전트에서 이루어지지만, LLM 컴포넌트는 사용할 모델을 제어할 수 있게 해줍니다. 모든 컴포넌트는 기본적으로 ChatGPT-4를 내장하고 있습니다. 모델을 변경하거나 더 세밀하게 제어하고 싶다면 이 컴포넌트를 연결하면 됩니다.

LLM 컴포넌트 연결은 선택 사항임을 기억하세요. LLM이 사용되는 모든 컴포넌트는 기본적으로 ChatGPT-4o가 적용되어 있습니다. LLM 컴포넌트로 모델을 변경하고 세부 설정을 제어할 수 있습니다.

LLM xAI 컴포넌트 설정

최대 토큰

토큰은 모델이 처리하고 생성하는 텍스트의 개별 단위를 의미합니다. 토큰 사용량은 모델마다 다르며, 하나의 토큰은 단어, 부분 단어, 또는 한 글자일 수도 있습니다. 모델은 보통 수백만 단위의 토큰 기준으로 과금됩니다.

최대 토큰 설정은 한 번의 상호작용 또는 요청에서 처리할 수 있는 토큰 수를 제한하여, 응답이 합리적인 범위 내에서 생성되도록 보장합니다. 기본 제한은 4,000토큰으로, 여러 문서와 다양한 소스를 요약해 답변을 생성하기에 최적입니다.

온도(Temperature)

온도는 답변의 다양성을 0에서 1까지 조절합니다.

0.1의 낮은 온도에서는 응답이 매우 간결하지만 반복적이거나 단조로울 수 있습니다.

1의 높은 온도에서는 창의성이 극대화되지만, 관련 없거나 허구의 답변이 생성될 수 있습니다.

예를 들어, 고객센터 챗봇에 권장되는 온도는 0.2에서 0.5 사이입니다. 이 정도면 답변이 충분히 자연스러우면서도 스크립트에서 크게 벗어나지 않습니다.

모델(Model)

이곳에서 xAI 제공업체의 지원되는 모든 모델을 선택할 수 있습니다. xAI의 대표 텍스트 모델은 Grok입니다. 현재는 grok-beta 모델만 지원하며, 이는 대중에게 공개된 유일한 API 기반 모델입니다.

Grok-beta에 대해 더 알아보고 다른 모델과의 차이점이 궁금하다면 관련 아티클을 참고하세요.

LLM xAI를 플로우에 추가하는 방법

모든 LLM 컴포넌트에는 출력 핸들만 있다는 점을 알 수 있습니다. 입력은 이 컴포넌트를 통과하지 않으며, 이 컴포넌트는 모델을 대표할 뿐이고 실제 텍스트 생성은 AI 에이전트와 생성기에서 이뤄집니다.

LLM 핸들은 항상 보라색입니다. LLM 입력 핸들은 텍스트 생성이나 데이터 처리를 위해 AI를 사용하는 모든 컴포넌트에서 확인할 수 있습니다. 핸들을 클릭하면 옵션을 볼 수 있습니다:

이렇게 다양한 도구를 만들 수 있습니다. 컴포넌트가 실제로 어떻게 동작하는지 살펴볼까요? 아래는 xAI의 grok-beta를 사용해 응답을 생성하는 간단한 AI 에이전트 챗봇 플로우입니다. 기본적인 xAI 챗봇이라고 생각하시면 됩니다.

이 간단한 챗봇 플로우에는 다음이 포함됩니다:

• 채팅 입력: 사용자가 채팅에서 전송하는 메시지를 나타냅니다.
• 채팅 기록: 챗봇이 이전 응답을 기억하고 반영할 수 있게 합니다.
• 채팅 출력: 챗봇의 최종 응답을 나타냅니다.
• AI 에이전트: 응답을 생성하는 자율 AI 에이전트입니다.
• LLM xAI: xAI의 텍스트 생성 모델과의 연결입니다.