콘텐츠 인덱싱 건너뛰기

아무리 강력해도 AI는 여전히 배운 정보를 전달하는 기계일 뿐입니다. AI는 농담, 가정, 혹은 빈정거림을 이해하지 못하며, 이런 요소들이 때로는 아주 엉뚱하거나(때로는 심각하게 위험한) 답변의 원인이 되기도 합니다. 챗봇이 새로운 AI 논란의 주인공이 되는 것을 막고, 콘텐츠를 더 잘 이해하도록 돕기 위해 AI에게 어떤 내용을 건너뛰어야 할지 알려줄 수 있습니다.

AI의 신뢰성을 보장하는 방법은 AI가 배우는 정보를 모니터링하는 것입니다. 모든 콘텐츠가 챗봇에 적합한 것은 아닙니다. flowhunt-skip 클래스는 FlowHunt가 인덱싱하지 않아야 할 콘텐츠를 지정할 수 있게 해줍니다. 이 클래스를 가진 모든 HTML 요소는 콘텐츠 처리 시 무시됩니다.

skip 파라미터를 언제 사용해야 할까요

이 클래스를 사용해야 하는 주요 이유는 두 가지지만, 챗봇이 사용하기에 불필요하거나 부적절하다고 생각되는 모든 콘텐츠에 자유롭게 적용할 수 있습니다.

1. 반복적인 콘텐츠 건너뛰기: 비슷한 내용이 반복적으로 인덱싱되면 AI가 콘텐츠의 주제를 구분하고 분류하기 어려워집니다. 중복 정보를 건너뛰면 장기적으로 텍스트 처리 비용도 절감할 수 있습니다.

2. 위험하거나 부적절한 정보 건너뛰기: AI가 잘못된, 해로운, 혹은 맥락에 맞지 않는 답변을 제공할 수 있는 정보는 반드시 건너뛰어야 합니다. 브랜드의 톤이 농담이나 강한 어투를 자주 사용한다면 특히 주의하세요. 다른 콘텐츠에는 좋을 수 있지만, 사용자들은 빈정거리는 챗봇을 반기지 않을 수 있습니다.

flowhunt-skip 파라미터 사용 방법

FlowHunt는 웹사이트를 크롤링하고 인덱싱하여 챗봇에 맥락을 제공합니다. FlowHunt가 인덱싱한 내용은 챗봇이 언제든 사용할 수 있습니다.

HTML 요소에 flowhunt-skip 클래스를 추가하면 인덱싱을 원하지 않는 콘텐츠를 표시할 수 있습니다. 이 클래스가 적용된 요소는 무시되어 챗봇에 전달되지 않습니다.

클래스 사용 예시:

<div class="flowhunt-skip">
  <h2>중복 콘텐츠</h2>
  <p>이 내용은 중복됩니다. FlowHunt가 다시 인덱싱하지 않기를 바랍니다.</p>
</div>

단일 문단이나 요소의 일부만 건너뛸 수도 있습니다:

<div>
  <h2>내 콘텐츠</h2>
  <p>이 문단은 인덱싱되어야 합니다.</p>
  <p class="flowhunt-skip">이 정보는 챗봇이 사용하지 않았으면 합니다.</p>
  <p>이 문단은 인덱싱되어야 합니다.</p>
</div>

인덱싱은 어떻게 동작하나요

크롤링 과정은 백그라운드에서 설정한 스케줄에 따라 실행됩니다. HTML 페이지만 다운로드하며, 이미지나 기타 미디어는 링크로만 저장됩니다. 리디렉션은 자동으로 따라가며, 표준 URL도 평가합니다.

크롤링이 완료되면 HTML 콘텐츠는 일반 마크다운 텍스트로 변환됩니다. 이 과정에서 일부 정보가 제거될 수 있습니다. 최종 마크다운 텍스트는 챗봇에 맥락으로 제공됩니다. 챗봇은 필요할 때 이 정보를 검색해 사용할 수 있습니다.

AI는 어떤 정보를 선택해야 할지 어떻게 알까요

마크다운 텍스트는 여러 청크로 분할되어 벡터화된 후 벡터 데이터베이스에 저장됩니다. 이 데이터베이스는 단어의 의미에 값을 할당합니다. 덕분에 AI는 정확히 같은 단어가 아니어도 연관된 단어를 이해할 수 있습니다.

단어들은 할당된 값에 따라 그리드에 배치됩니다. 이를 통해 컴퓨터는 단어들 간의 의미적 유사성을 파악할 수 있습니다:

참고: 이는 매우 단순화된 모델입니다. 실제로 AI는 수천 개의 단어, 구, 전체 문장까지 이 작업을 수행합니다.

벡터 데이터베이스에서 정보를 검색하는 과정을 시맨틱 검색이라고 합니다. 이는 AI가 벡터 데이터베이스의 단어 의미를 검색·평가하여 답변에 활용하는 능력입니다.

사용자가 질문을 입력하면, 챗봇은 단어를 벡터로 변환합니다. 그리고 콘텐츠 중 유사한 벡터를 데이터베이스에서 검색합니다. 일치하거나 비슷한 내용을 찾으면, 그 정보를 활용해 답변을 만듭니다.

시맨틱 검색이 왜 중요한가요

온라인 펫샵을 운영한다고 가정해봅시다. 한 고객이 이렇게 질문합니다:

“고양이 아기 사료 팔아요?”

당신의 상품명에는 “키튼” 대신 “주니어”라는 단어가 들어가 있습니다. 하지만 챗봇은 “주니어 고양이 사료”가 “고양이 아기 사료”와 같거나 매우 비슷하다는 것을 이해하고, 고객을 정확한 상품으로 안내할 수 있습니다.

벡터 데이터베이스에 시맨틱 검색이 없다면 챗봇은 단순히 “고양이 아기 사료”가 없다고 답할 것이고, 당신은 소중한 고객을 잃게 될 수도 있습니다. FlowHunt를 사용한다면 이런 일이 일어날 걱정이 없습니다.