우리는 FlowHunt CLI 툴킷 출시를 기쁜 마음으로 알립니다. 이 오픈소스 명령줄 도구는 AI 플로우의 평가와 테스트 방식을 혁신적으로 개선하도록 설계되었습니다. 엔터프라이즈급 플로우 평가 역량과 고급 리포팅, 그리고 혁신적인 “LLM 판사” 구현을 오픈소스 커뮤니티에 제공합니다.

FlowHunt CLI 툴킷 소개

FlowHunt CLI 툴킷은 AI 워크플로우 테스트와 평가 분야에서 중요한 진전을 의미합니다. GitHub에서 지금 바로 사용할 수 있으며, 개발자들에게 다음과 같은 종합 도구를 제공합니다:

• 플로우 평가: AI 워크플로우의 자동화 테스트 및 평가
• 고급 리포팅: 정오 결과 분해와 상세 분석
• LLM 판사: FlowHunt 플랫폼을 활용한 AI 기반 고도화 평가
• 성능 메트릭: 플로우 동작 및 정확도에 대한 종합적 인사이트

이 툴킷은 투명성과 커뮤니티 중심 개발에 대한 우리의 의지를 담고 있으며, 전 세계 개발자들에게 고급 AI 평가 기술을 개방합니다.

LLM 판사의 강력함

CLI 툴킷의 가장 혁신적인 기능 중 하나는 “LLM 판사” 구현입니다. 이 방식은 인공지능이 AI 생성 응답의 품질과 정확도를 평가하도록 하여, AI가 AI의 성능을 정교한 추론 능력으로 심사할 수 있게 합니다.

FlowHunt로 구현한 LLM 판사

우리의 구현이 특별한 이유는 평가 플로우 자체를 FlowHunt로 구축했다는 점입니다. 이 메타적인 방식은 플랫폼의 파워와 유연성을 입증함과 동시에, 강력한 평가 시스템을 제공합니다. LLM 판사 플로우는 여러 상호 연결된 컴포넌트로 구성됩니다:

1. 프롬프트 템플릿: 평가 기준이 적용된 프롬프트를 생성
2. 구조적 출력 생성기: LLM을 활용해 평가를 처리
3. 데이터 파서: 결과를 리포팅용 구조로 포맷
4. 채팅 출력: 최종 평가 결과를 표시

평가 프롬프트

LLM 판사 시스템의 핵심은 일관성 있고 신뢰도 높은 평가를 보장하는 정교한 프롬프트입니다. 다음은 우리가 사용하는 주요 프롬프트 템플릿입니다:

You will be given an ANSWER and REFERENCE couple.
Your task is to provide the following:
1. a 'total_rating' scoring: how close is the ANSWER to the REFERENCE
2. a binary label 'correctness' which can be either 'correct' or 'incorrect', which defines if the ANSWER is correct or not
3. and 'reasoning', which describes the reason behind your choice of scoring and correctness/incorrectness of ANSWER

An ANSWER is correct when it is the same as the REFERENCE in all facts and details, even if worded differently. the ANSWER is incorrect if it contradicts the REFERENCE, changes or omits details. its ok if the ANSWER has more details comparing to REFERENCE.

'total rating' is a scale of 1 to 4, where 1 means that the ANSWER is not the same as REFERENCE at all, and 4 means that the ANSWER is the same as the REFERENCE in all facts and details even if worded differently.

Here is the scale you should use to build your answer:
1: The ANSWER is contradicts the REFERENCE completely, adds additional claims, changes or omits details
2: The ANSWER points to the same topic but the details are omitted or changed completely comparing to REFERENCE
3: The ANSWER's references are not completely correct, but the details are somewhat close to the details mentioned in the REFERENCE. its ok, if there are added details in ANSWER comparing to REFERENCES.
4: The ANSWER is the same as the REFERENCE in all facts and details, even if worded differently. its ok, if there are added details in ANSWER comparing to REFERENCES. if there are sources available in REFERENCE, its exactly the same as ANSWER and is for sure mentioned in ANSWER

REFERENCE
===
{target_response}
===

ANSWER
===
{actual_response}
===

이 프롬프트는 LLM 판사가 다음을 제공하도록 보장합니다:

• 수치 평가 (1~4점 척도)로 정량적 분석
• 이진 정오 판정으로 명확한 합격/불합격 기준
• 상세 이유로 투명성과 디버깅 지원

플로우 아키텍처: 전체 동작 방식

LLM 판사 플로우는 FlowHunt의 시각적 플로우 빌더로 구축된 정교한 AI 워크플로우 설계의 예시입니다. 각 컴포넌트는 다음과 같이 협업합니다:

1. 입력 처리

플로우는 채팅 입력 컴포넌트로 시작하며, 실제 응답과 기준 답변이 포함된 평가 요청을 받습니다.

2. 프롬프트 구성

프롬프트 템플릿 컴포넌트는 다음과 같이 동적으로 프롬프트를 만듭니다:

• 기준 답변을 {target_response} 자리에 삽입
• 실제 응답을 {actual_response} 자리에 삽입
• 종합 평가 기준을 적용

3. AI 평가

구조적 출력 생성기가 선택된 LLM으로 프롬프트를 처리하여 다음을 생성합니다:

• total_rating: 1~4점 수치 평가
• correctness: 정오 이진 분류
• reasoning: 상세 평가 이유

4. 출력 포맷팅

데이터 파서 컴포넌트가 구조화된 결과를 읽기 쉬운 형태로 변환하고, 채팅 출력 컴포넌트가 최종 평가 결과를 표시합니다.

고급 평가 역량

LLM 판사 시스템은 AI 플로우 평가에 특히 효과적인 여러 고급 기능을 제공합니다:

미묘한 이해력

단순 문자열 일치와 달리, LLM 판사는

• 의미 동등성: 다른 표현이라도 같은 의미임을 인식
• 사실 정확성: 세부 정보의 모순, 누락 감지
• 완전성: 답변이 모든 필요한 정보를 포함하는지 평가

유연한 점수 체계

4점 척도는 세밀한 평가를 가능하게 합니다:

• 4점: 모든 사실이 보존된 완벽한 의미 일치
• 3점: 사소한 차이는 있으나 추가 정보는 허용
• 2점: 주제는 같으나 세부 정보가 많이 변경/누락
• 1점: 완전한 모순 또는 주요 사실 오류

투명한 이유 제공

각 평가에는 상세한 이유가 포함되어 있어,

• 특정 점수가 할당된 이유를 이해하고
• 플로우 성능을 디버깅하며
• 평가 피드백을 반영해 프롬프트 엔지니어링을 개선할 수 있습니다.

종합 리포팅 기능

CLI 툴킷은 플로우 성능에 대한 실질적 인사이트를 제공하는 상세 리포트를 생성합니다:

정오 분석

• 모든 응답에 대한 정오 이진 분류
• 테스트 케이스별 정확도 비율
• 공통 실패 패턴 식별

점수 분포

• 1~4점 점수의 통계적 분석
• 평균 성능 메트릭
• 일관성 문제 파악을 위한 분산 분석

상세 이유 로그

• 각 평가의 전체 이유 기록
• 공통 문제 분류
• 플로우 개선을 위한 권장 사항

FlowHunt CLI 툴킷 시작하기

전문가 수준 도구로 AI 플로우 평가를 시작할 준비가 되셨나요? 시작 방법은 다음과 같습니다:

빠른 설치

원라인 설치(권장) - macOS 및 Linux:

curl -sSL https://raw.githubusercontent.com/yasha-dev1/flowhunt-toolkit/main/install.sh | bash

이 명령어로 자동으로:

• ✅ 모든 종속성 설치
• ✅ FlowHunt 툴킷 다운로드 및 설치
• ✅ flowhunt 명령어 PATH에 등록
• ✅ 자동 설정 완료

수동 설치:

# 저장소 클론
git clone https://github.com/yasha-dev1/flowhunt-toolkit.git
cd flowhunt-toolkit

# pip로 설치
pip install -e .

설치 확인:

flowhunt --help
flowhunt --version

빠른 시작 가이드

1. 인증 먼저 FlowHunt API에 인증하세요:

flowhunt auth

2. 플로우 목록 확인

flowhunt flows list

3. 플로우 평가 테스트 데이터를 CSV 파일로 준비하세요:

flow_input,expected_output
"What is 2+2?","4"
"What is the capital of France?","Paris"

LLM 판사로 평가 실행:

flowhunt evaluate your-flow-id path/to/test-data.csv --judge-flow-id your-judge-flow-id

4. 플로우 일괄 실행

flowhunt batch-run your-flow-id input.csv --output-dir results/

고급 평가 기능

평가 시스템은 종합 분석을 제공합니다:

flowhunt evaluate FLOW_ID TEST_DATA.csv \
  --judge-flow-id JUDGE_FLOW_ID \
  --output-dir eval_results/ \
  --batch-size 10 \
  --verbose

주요 기능:

• 📊 종합 통계(평균, 중앙값, 표준편차, 사분위)
• 📈 점수 분포 분석
• 📋 자동 CSV 결과 내보내기
• 🎯 합격/불합격률 계산
• 🔍 오류 추적 및 리포팅

FlowHunt 플랫폼과의 통합

CLI 툴킷은 FlowHunt 플랫폼과 완벽하게 연동되어,

• 시각적 에디터에서 만든 플로우 평가
• 고급 LLM 모델 활용
• 기존 판사 플로우를 자동 평가에 활용
• 결과를 내보내 추가 분석 가능

AI 플로우 평가의 미래

CLI 툴킷 출시는 단순한 도구 제공을 넘어, 다음과 같은 AI 개발의 미래 비전을 제시합니다:

품질의 계량화: 고급 평가 기술로 AI 성능을 수치화하고 비교 가능하게 만듭니다.

테스트의 자동화: 종합 테스트 프레임워크로 수작업을 줄이고 신뢰성을 높입니다.

투명성의 표준화: 상세 이유와 리포팅으로 AI 동작을 이해하고 디버깅할 수 있습니다.

커뮤니티 중심 혁신: 오픈소스 도구로 협업적 개선과 지식 공유를 촉진합니다.

오픈소스 약속

FlowHunt CLI 툴킷의 오픈소스화는 우리의 다음과 같은 약속을 보여줍니다:

• 커뮤니티 개발: 전 세계 개발자들이 자유롭게 기여 및 개선
• 투명성: 평가 방식의 개방과 감사 가능성 보장
• 접근성: 예산에 상관없이 엔터프라이즈급 도구 제공
• 혁신: 새로운 평가 기술의 협업적 발전 촉진

결론

LLM 판사 기반 FlowHunt CLI 툴킷은 AI 플로우 평가 역량의 획기적 발전을 의미합니다. 정교한 평가 논리, 종합 리포팅, 오픈소스 접근성을 결합해, 더 나은 신뢰성의 AI 시스템 개발을 개발자에게 제공합니다.

FlowHunt 자체로 FlowHunt 플로우를 평가하는 메타적 접근은 플랫폼의 성숙함과 유연성을 입증함과 동시에, 더 넓은 AI 개발 커뮤니티에 강력한 도구를 제공합니다.

단순 챗봇부터 복잡한 멀티에이전트 시스템까지, FlowHunt CLI 툴킷은 품질, 신뢰성, 지속적 개선을 위한 평가 인프라를 제공합니다.

AI 플로우 평가의 수준을 높이고 싶으신가요? GitHub 저장소에서 FlowHunt CLI 툴킷을 지금 시작해보세요. LLM 판사의 강력함을 직접 경험할 수 있습니다.

AI 개발의 미래는 이미 시작되었습니다. 그리고 그 미래는 오픈소스입니다.