문서에서 텍스트로

AI는 방대한 양의 데이터를 순식간에 분석할 수 있지만, 그중 일부만이 실제로 출력에 적합하거나 관련성이 있습니다. 문서에서 텍스트로 컴포넌트는 리트리버에서 받은 데이터를 어떻게 처리하고 텍스트로 변환할지에 대해 사용자가 직접 제어할 수 있도록 해줍니다.

문서에서 텍스트로 컴포넌트는 입력된 지식 문서를 일반 텍스트 형식으로 변환하도록 설계되었습니다. 이는 텍스트 데이터가 추가 처리, 분석 또는 언어 모델의 입력으로 요구되는 AI 및 데이터 처리 워크플로우에서 특히 유용합니다.

컴포넌트의 기능

이 컴포넌트는 하나 이상의 구조화된 문서(HTML, 마크다운, PDF 또는 기타 지원되는 형식 등)를 받아 텍스트 콘텐츠를 추출합니다. 사용자는 문서의 어느 부분을 내보낼지, 메타데이터를 포함할지, 문서의 섹션이나 헤더를 어떻게 처리할지 등을 정확히 지정할 수 있습니다. 출력 결과는 추출된 텍스트가 담긴 통합 메시지 객체로, 요약, 분류, 질의응답 등 다양한 다운스트림 작업에 활용할 수 있습니다.

입력값

이 컴포넌트는 여러 가지 설정 가능한 입력값을 받습니다:

사용 가능한 콘텐츠 유형: H1, H2, H3, H4, H5, H6, Paragraph
메타데이터 옵션: Author, Product, BreadcrumbList, VideoObject, BlogPosting, FAQPage, WebSite, opengraph

출력값

이 컴포넌트는 다음과 같은 출력을 생성합니다:

• 메시지: 변환된 텍스트와 포함된 메타데이터가 담긴 메시지 객체.

주요 특징 및 활용도

• 유연한 콘텐츠 추출: 문서의 어느 부분(예: 주요 헤더와 단락만, 또는 전체 등)을 추출할지 정밀하게 제어할 수 있습니다.
• 메타데이터 포함: 출력에 풍부한 메타데이터(예: 저자, 제품, 구조화 데이터 등)를 선택적으로 포함할 수 있어, 후속 맥락화에 유용합니다.
• 토큰 제한 관리: 최대 토큰 수를 설정하여, 다운스트림 모델 요구 사항에 맞는 출력 크기로 제어할 수 있습니다.
• 맞춤형 추출 전략:
  • 문서 연결, 첫 문서부터 토큰 한도까지 채우기: 첫 번째 문서부터 순차적으로 출력을 채웁니다.
  • 각 문서에서 동일한 크기만큼 포함: 여러 문서에서 균형 있게 내용을 추출합니다.
• 스마트 섹션 처리: 푸터 등 문서 하단을 생략하거나 쿼리에 가장 적합한 섹션부터 시작하는 등, 추출 텍스트의 관련성을 높이는 옵션을 제공합니다.

대표 사용 사례

• 지식 베이스 사전 처리 (예: 임베딩 또는 인덱싱 전)
• 대용량 문서 요약/압축: 관련 섹션만 추출
• 구조화된 콘텐츠를 챗봇, 검색엔진, NLP 파이프라인에 입력
• 텍스트와 메타데이터를 결합한 하이브리드 검색 시스템 구축

요약 표

전략

봇은 원하는 텍스트 출력을 위해 여러 문서를 크롤링할 수 있습니다. 전략 설정을 통해 토큰 한도 내에서 이러한 문서를 어떻게 활용할지 스마트하게 제어할 수 있습니다.

현재 가능한 전략은 두 가지입니다:

• 각 문서에서 동일한 크기만큼 포함: 발견된 모든 문서를 균등하게 활용합니다.
• 문서 연결, 첫 문서부터 토큰 한도까지 채우기: 문서를 연결하되, 쿼리와의 관련성에 따라 우선순위를 부여합니다.

문서에서 텍스트로 컴포넌트를 플로우에 연결하는 방법

이 컴포넌트는 트랜스포머 컴포넌트로, 두 출력 간의 연결을 담당합니다. 문서에서 텍스트로는 리트리버 컴포넌트에서 출력된 문서를 입력값으로 받습니다:

• 문서 리트리버 – 연결된 지식 소스(페이지, 문서 등)에서 지식을 가져옵니다.
• URL 리트리버 – 봇이 지식을 얻을 URL을 지정할 수 있습니다.
• GoogleSearch – 봇이 웹에서 지식을 검색할 수 있는 기능을 제공합니다.

지식은 트랜스포머를 거치며 읽기 쉬운 마크다운 텍스트로 변환됩니다. 이 텍스트는 이후 분할기, 위젯, 출력 등 텍스트 입력이 필요한 컴포넌트와 연결할 수 있습니다.

아래는 문서에서 텍스트로 컴포넌트를 사용해 문서 리트리버와 AI 생성기 사이를 연결하는 플로우 예시입니다: