LLM Anthropic AI

업무마다 필요한 모델이 다르듯, FlowHunt는 여러 구독 없이도 최고의 AI를 경험할 수 있도록 다양한 텍스트 및 이미지 생성 모델을 한 대시보드에서 제공합니다. LLM 컴포넌트는 공급자별로 그룹화된 텍스트 생성(및 그 응용 분야) 모델을 담고 있어, 필요에 따라 AI 모델을 바로바로 교체할 수 있습니다.

LLM Anthropic AI 컴포넌트란?

LLM Anthropic AI 컴포넌트는 Claude 계열 모델을 플로우에 연결해줍니다. 실제 생성과 처리는 Generator 및 Agent에서 이루어지지만, LLM 컴포넌트를 통해 어떤 모델을 사용할지 제어할 수 있습니다. 모든 컴포넌트는 기본적으로 ChatGPT-4를 탑재하고 있습니다. 모델을 변경하거나 더 세밀히 제어하고 싶다면 이 컴포넌트를 연결하세요.

LLM 컴포넌트 연결은 선택 사항임을 기억하세요. LLM을 사용하는 모든 컴포넌트는 기본적으로 ChatGPT-4o를 사용합니다. LLM 컴포넌트를 통해 모델 변경 및 세부 설정이 가능합니다.

LLM Anthropic AI 컴포넌트 설정

최대 토큰(Max Tokens)

토큰은 모델이 처리하고 생성하는 텍스트의 최소 단위입니다. 토큰의 범위는 모델마다 다르며, 하나의 토큰은 단어, 부분 단어, 혹은 문자일 수 있습니다. 대부분의 모델은 백만 단위의 토큰 사용량 기준으로 과금됩니다.

최대 토큰 설정은 한 번의 상호작용 또는 요청에서 처리할 수 있는 토큰의 총량을 제한하여, 응답이 적절한 범위 내에서 생성되도록 합니다. 기본값은 4,000토큰으로, 여러 문서를 요약하거나 다양한 소스에서 답변을 생성할 때 최적의 크기입니다.

온도(Temperature)

온도는 답변의 다양성을 제어하는 값으로 0에서 1까지 설정할 수 있습니다.

• 0.1로 설정하면 매우 간결하고 일관된 응답을 얻지만, 반복적이고 창의성이 부족할 수 있습니다.
• 1로 높이면 최대한 창의적인 답변이 나오지만, 관련 없는 내용이나 부정확한 답변이 생성될 위험도 있습니다.

예를 들어, 고객 서비스 챗봇에는 0.2~0.5 사이의 온도를 추천합니다. 이 정도면 스크립트에 충실하면서도 자연스러운 응답 변화를 기대할 수 있습니다.

모델(Model)

여기서 Anthropic에서 지원하는 모든 모델을 선택할 수 있습니다. 현재 Claude 계열의 최신 모델을 모두 지원합니다.

• Claude 3.5 Sonnet – Claude의 최신 미드레인지 모델로, 속도와 품질의 균형이 뛰어나 대부분의 작업에 적합합니다. 자세히 알아보기.
• Claude 3 Sonnet – 인기 있었던 이전 미드레인지 모델입니다. 성능 비교는 관련 글을 참고하세요.
• Claude 3 Haiku – 가볍고 빠른 모델로 단순 반복 작업에 최적화되어 있습니다. 가장 경량이지만 복잡한 작업도 무난히 처리합니다. 모델 테스트 결과를 확인해보세요.
• Claude 2 – 뛰어난 성능의 레거시 모델입니다. 모델의 사고방식에 대해 더 알아보려면 여기를 참고하세요.

LLM Anthropic AI를 플로우에 추가하는 방법

모든 LLM 컴포넌트에는 출력 핸들만 존재합니다. 입력은 컴포넌트를 통과하지 않으며, 이 컴포넌트는 오직 모델만을 대표하고 실제 생성은 AI Agent 및 Generator에서 이루어집니다.

LLM 핸들은 항상 보라색입니다. LLM 입력 핸들은 텍스트 생성이나 데이터 처리를 위해 AI를 활용하는 모든 컴포넌트에서 확인할 수 있습니다. 핸들을 클릭하면 다양한 옵션을 볼 수 있습니다.

이로써 다양한 도구를 직접 만들 수 있습니다. 실제 활용 예시를 살펴보겠습니다. 아래는 Anthropic의 Claude 3.5 Sonnet을 활용해 답변을 생성하는 간단한 AI Agent 챗봇 플로우입니다. 쉽게 말해, 가장 기본적인 Anthropic 챗봇이라고 할 수 있습니다.

이 간단한 챗봇 플로우에는 다음 요소들이 포함됩니다.

• 채팅 입력: 사용자가 채팅에 입력하는 메시지를 나타냅니다.
• 채팅 기록: 챗봇이 이전 응답을 기억하고 반영할 수 있게 합니다.
• 채팅 출력: 챗봇의 최종 응답을 의미합니다.
• AI Agent: 자율적으로 답변을 생성하는 AI 에이전트입니다.
• LLM Anthropic AI: Anthropic의 텍스트 생성 모델과의 연결을 담당합니다.