LLM 오픈AI

LLM 오픈AI 컴포넌트란?

LLM 오픈AI 컴포넌트는 ChatGPT 모델을 플로우에 연결해줍니다. 실제 생성과 처리는 Generator와 Agent에서 이루어지지만, LLM 컴포넌트는 어떤 모델을 사용할지 제어할 수 있도록 해줍니다. 모든 컴포넌트에는 기본적으로 ChatGPT-4가 적용되어 있습니다. 모델을 변경하거나 더 세밀하게 제어하고 싶을 때 이 컴포넌트를 연결하면 됩니다.

LLM 오픈AI 컴포넌트 설정

모델 이름

이곳은 모델 선택기입니다. FlowHunt에서 지원하는 모든 OpenAI 모델을 확인할 수 있습니다. ChatGPT는 다양한 기능과 가격대의 모델을 제공합니다. 예를 들어, 덜 발전된 구버전인 GPT-3.5를 사용하면 최신 4o보다 비용이 저렴하지만, 출력 품질과 속도는 떨어질 수 있습니다.

FlowHunt에서 제공하는 OpenAI 모델:

• GPT-4o – OpenAI의 최신이자 가장 인기 있는 모델입니다. 텍스트, 이미지, 오디오 처리와 웹 검색이 가능한 멀티모달 모델입니다. 자세히 알아보기.
• GPT-4o Mini – 128K 컨텍스트 윈도우와 60% 이상 비용 절감 효과를 제공하면서, GPT-3.5 Turbo보다 성능이 향상된 소형·경제적인 버전입니다. 작업 처리 성능을 확인해보세요.
• o1 Mini – 복잡한 추론 작업을 위해 설계된 o1 모델의 슬림형 버전으로, 성능과 효율성의 균형을 제공합니다. 테스트 결과를 확인해보세요.
• o1 Preview – 코딩 및 과학적 추론 등 복잡한 문제 해결에 탁월한 고도화 모델로, 프리뷰 형태로 제공됩니다. 사고 및 작업 처리 방식을 확인해보세요.
• gpt-4-vision-preview – 텍스트와 이미지 입력을 모두 지원하는 프리뷰 모델로, JSON 모드 및 병렬 함수 호출 등 다양한 멀티모달 상호작용 기능을 지원합니다. 자세히 알아보기.
• GPT-3.5 Turbo – 단순 작업에 적합하고 비용 부담이 적은 구버전 GPT입니다. 최신 모델과 비교한 AI Agent 테스트 결과를 참고하세요.

작업에 적합한 모델을 선택할 때 품질과 속도 요구 사항을 고려하세요. 구버전 모델은 단순 반복 작업이나 채팅 등 비용 절감이 필요한 경우에 적합합니다. 콘텐츠 생성이나 웹 검색 등 정교함이 필요하다면 최신 모델을 사용하는 것이 좋습니다.

최대 토큰 수

토큰은 모델이 처리하고 생성하는 텍스트의 최소 단위를 의미합니다. 모델마다 토큰 단위가 다를 수 있으며, 한 토큰은 단어, 부분 단어, 심지어 한 글자일 수도 있습니다. 일반적으로 수백만 단위의 토큰 사용량을 기준으로 요금이 책정됩니다.

최대 토큰 설정은 한 번의 상호작용 또는 요청에서 처리될 수 있는 토큰의 총량을 제한해, 응답이 적정 범위 내에서 생성되도록 합니다. 기본값은 4,000토큰으로, 문서나 여러 소스를 요약해 답변을 생성하기에 최적의 크기입니다.

온도(Temperature)

온도 설정은 답변의 다양성을 결정하며, 0에서 1 사이의 값을 가질 수 있습니다.

온도 0.1은 매우 직설적이고 반복적이거나 부족한 답변을 만들 수 있습니다.

온도 1은 최대한 창의적인 답변을 허용하지만, 관련 없는 답변이나 허상(hallucination)도 발생할 위험이 있습니다.

예를 들어, 고객 지원 챗봇에는 0.2에서 0.5 사이의 온도가 권장됩니다. 이 범위는 답변이 스크립트에 맞으면서도 자연스러운 변화를 허용합니다.

LLM 오픈AI를 플로우에 추가하는 방법

모든 LLM 컴포넌트에는 출력 핸들만 있는 것을 볼 수 있습니다. 입력은 이 컴포넌트를 통과하지 않으며, 해당 컴포넌트는 모델을 나타내기만 하고 실제 생성은 AI Agent와 Generator에서 이뤄집니다.

LLM 핸들은 항상 보라색입니다. LLM 입력 핸들은 텍스트 생성이나 데이터 처리를 위해 AI를 사용하는 모든 컴포넌트에서 찾을 수 있습니다. 핸들을 클릭하면 옵션을 확인할 수 있습니다.

이 기능을 통해 다양한 도구를 만들 수 있습니다. 실제로 컴포넌트가 동작하는 모습을 살펴보죠. 아래는 o1 Preview를 사용해 답변을 생성하는 간단한 Agent 기반 챗봇 플로우의 예시입니다. 기본적인 ChatGPT 챗봇이라고 생각하시면 됩니다.

이 간단한 챗봇 플로우는 다음으로 구성됩니다:

• 채팅 입력: 사용자가 채팅에 보내는 메시지를 나타냅니다.
• 채팅 기록: 챗봇이 과거 답변을 기억하고 반영할 수 있게 합니다.
• 채팅 출력: 챗봇의 최종 답변을 나타냅니다.
• AI Agent: 답변을 생성하는 자율 AI 에이전트입니다.
• LLM 오픈AI: OpenAI의 텍스트 생성 모델과의 연결고리입니다.