URL Retriever는 지정한 URL에서 웹 콘텐츠를 가져와 구조화된 문서로 반환하는 다목적 플로우 컴포넌트입니다. 외부 온라인 콘텐츠와 AI 워크플로우를 연결해, 웹 기반 정보를 효율적으로 통합·분석·처리할 수 있게 해줍니다.

어떤 기능을 하나요?

이 컴포넌트는 입력으로 제공된 하나 이상의 URL의 콘텐츠를 가져옵니다. 주요 텍스트, 메타데이터를 추출할 수 있고, 광학 문자 인식(OCR)을 통해 이미지의 내용도 처리할 수 있습니다. 추출된 데이터는 요약, 질의응답, 지식 추출 등 후속 AI 작업에 적합한 다양한 구조화 형식으로 제공됩니다.

입력 옵션

컴포넌트에 URL을 공급하는 방법은 두 가지입니다:

• 텍스트 URL:

  • 입력 타입: Message
  • 설명: 컴포넌트가 콘텐츠를 가져올 일반 URL 링크 목록입니다.

• URL 레코드:

  • 입력 타입: UrlRecord
  • 설명: 추가 메타데이터를 포함할 수 있는 구조화된 URL 레코드 목록입니다.

고급 입력 파라미터

출력

URL Retriever는 여러 형식으로 출력을 제공하여 다양한 AI 프로세스와 유연하게 통합할 수 있습니다:

URL Retriever를 사용하는 이유?

• 외부 지식 통합: 챗봇, 검색엔진, 지식베이스 등 AI 애플리케이션에 웹 기반 정보를 원활하게 도입할 수 있습니다.
• 맞춤 추출: 필요한 콘텐츠·메타데이터만 선택하여 추출하고, 이미지에는 OCR을 적용할 수 있습니다.
• 성능 및 효율성: 캐싱을 활용해 중복 다운로드를 방지하고, 토큰 수를 제한해 성능을 최적화할 수 있습니다.
• 유연한 출력 형식: 구조화 문서, 메시지, 도구 등 다음 워크플로우 단계에 맞는 출력 형식을 선택할 수 있습니다.

활용 예시

• 최신 웹 콘텐츠로 질의에 답하는 지식 기반 대화형 에이전트 구축
• 이커머스 사이트에서 상품 데이터를 수집해 비교 또는 분석
• 특정 주제나 키워드 기반으로 블로그·뉴스 기사 모니터링 및 분석
• 텍스트와 이미지가 혼합된 웹페이지에서 정보 추출

요약 표

URL Retriever는 웹 콘텐츠와 AI 워크플로우를 연결하는 강력하고 유연한 다리로, 세밀한 콘텐츠 추출 및 통합 제어를 제공합니다.