문서 검색기

대형 언어 모델의 가장 큰 한계는 모호하거나, 오래되었거나, 전혀 사실이 아닌 정보를 제시하는 경향입니다. 답변이 항상 최신이며 사용자의 용도와 관련성이 있도록 하려면, 생성형 모델이 올바른 지식 소스를 참조해야 합니다.

이 방법은 검색 기반 생성(RAG)이라고 하며, 생성형 모델에 자체 지식 소스를 제공합니다. 문서 검색기를 포함한 검색기 컴포넌트는 이 방식을 활용할 수 있게 해줍니다.

문서 검색기 컴포넌트란?

이 컴포넌트는 챗봇이 사용자의 자체 소스에서 지식을 검색할 수 있도록 하여, 정보가 관련성 높고 신뢰할 수 있으며 최신임을 보장합니다. 이 정보는 사용자가 문서 및 일정에 지정한 소스에서 직접 가져옵니다. 이 컴포넌트의 역할은 검색을 제어하는 것입니다.

입력 쿼리

관련 정보를 찾기 위해 사용되는 쿼리를 지정합니다. 컴포넌트에서 연결할 수도 있고 직접 입력할 수도 있습니다. 대부분의 경우 입력 쿼리는 챗 입력이 됩니다.

문서 개수

이 설정은 흐름에서 검색할 문서의 수를 제한하여, 결과가 관련성을 유지하고 생성 시간이 너무 오래 걸리지 않도록 합니다.

문서 카테고리

이 선택적 설정을 통해, 지식 소스의 문서 화면에서 생성한 카테고리 중 하나로 검색을 제한할 수 있습니다.

일정

지식 소스의 일정 화면에서 지정한 일정 중 하나로 검색을 제한할 수 있습니다.

임계값

지식 데이터베이스의 소스들은 쿼리와 다양한 정도로 일치합니다. AI는 이를 0에서 1까지 관련성 기준으로 순위를 매깁니다. 이 설정을 통해 출력이 쿼리와 얼마나 잘 맞아야 하는지 조절할 수 있습니다.

정확한 임계값은 용도에 따라 다르지만, 일반적으로 0.7~0.8 정도가 관련성 높고 적당한 수의 소스에서 답을 얻기에 권장됩니다.

임계값을 0.6으로 설정하고 아래와 같은 문서가 있다고 가정해봅시다:

• 문서 A: 0.8
• 문서 B: 0.65
• 문서 C: 0.5
• 문서 D: 0.9

관련성 점수가 0.6을 넘는 문서만 출력에 포함되므로 A, B, D만 포함됩니다.

• 임계값이 높을수록(예: 0.9), 쿼리와 매우 밀접하게 일치하는 매우 관련성 높은 결과만 반환되지만, 충분한 문서를 찾지 못하거나 일부 관련 문서를 놓칠 수 있습니다.
• 임계값이 낮을수록(예: 0.5 미만), 더 많은 문서에서 정보를 제공할 수 있지만, 관련성이 떨어지는 정보가 포함될 위험이 있습니다.

문서 검색기 컴포넌트를 흐름에 연결하는 방법

이 컴포넌트는 입력 핸들 1개, 출력 핸들 1개만을 가집니다:

• 입력 쿼리: 쿼리는 텍스트 출력이면 무엇이든 연결할 수 있습니다. 일반적으로는 챗 입력 또는 생성기와 연결합니다.
• 출력: 모든 검색기 컴포넌트의 출력은 항상 문서 형식입니다.

문서 출력은 최종 챗 출력에 적합하지 않은 구조화된 데이터를 포함합니다. 문서를 입력으로 받는 모든 컴포넌트는 이를 사용자 친화적인 형식으로 변환합니다. 예를 들어 위젯 컴포넌트나 문서-텍스트 변환기가 있습니다.

문서 검색기를 사용하는 이유?

• AI 모델의 근거 제공: 조직의 지식 기반에서 실제이자 맥락 있는 정보를 제공해 AI 결과의 사실성 및 관련성을 높입니다.
• 맥락 보강: LLM이나 챗봇에 참고 문서나 자료를 제공해 더 풍부한 응답이 가능합니다.
• 유연한 필터링: 카테고리, 일정, URL, 문서 구조, 메타데이터별로 검색을 세밀하게 조정해 가장 관련성 높은 정보를 찾을 수 있습니다.
• 맞춤 출력: 검색할 콘텐츠의 양, 분할 방식, 포함할 메타데이터 등을 선택해, AI 후속 처리나 UI 요구에 쉽게 맞출 수 있습니다.
• 에이전트 통합: 도구 설명 및 명칭과 함께, 컴포넌트를 에이전트 기반 아키텍처에서 도구로 참조할 수 있습니다.

예시 활용 사례

• 검색 기반 생성(RAG): LLM에 참고 문서를 제공해 정확하고 지식에 기반한 답변을 생성합니다.
• 챗봇 및 가상 비서: 직원/고객 질문에 FAQ나 정책 문서를 빠르게 노출합니다.
• 데이터 보강: 제품, 저자 등 메타데이터를 추가로 가져와 AI 분석이나 업무 자동화에 활용합니다.

예시

지금 바로 사용해봅시다! 흐름을 만들기 전에, 관련 문서나 일정을 먼저 생성해야 합니다. 적합한 소스가 없으면 챗봇은 답변을 할 수 없다는 사과 메시지를 보낼 수 있습니다.

절차:

1. 챗 입력으로 시작합니다.
2. 문서 검색기를 추가하고, 챗 입력을 입력 쿼리로 연결합니다.
3. 출력은 변환이 필요한 문서 형식입니다. 이 예시에서는 문서-텍스트 변환기를 사용합니다.
4. 그 다음 AI 생성기를 연결합니다.
5. 이제 대화 준비가 완료되었습니다.

이제 우리의 흐름은 사람이 입력한 쿼리로 소스를 검색하고, 구조화된 데이터를 읽기 쉬운 텍스트로 변환한 뒤, AI가 사용자 친화적인 답변을 생성하도록 전달할 수 있습니다.

지식 소스에는 FlowHunt의 가격 페이지를 최신 정보로 수집하도록 일정이 설정되어 있습니다. 이에 대해 챗봇에 물어보면 다음과 같이 답변합니다: