쿼리 확장

쿼리 확장은 사용자 쿼리에 용어나 맥락을 추가하여 문서 검색의 정확도를 높입니다. RAG 시스템에서 리콜과 관련성을 높여, 모호하거나 동의어가 포함된 쿼리도 효과적으로 처리함으로써 챗봇과 AI가 더 정밀한 답변을 제공할 수 있도록 돕습니다.

쿼리 확장이란 사용자의 원래 쿼리를 검색 메커니즘에 전달하기 전에 추가 용어나 맥락으로 보강하는 과정을 의미합니다. 이러한 확장은 더 적합한 문서나 정보를 검색하는 데 도움을 주며, 이를 기반으로 더 정확하고 상황에 맞는 응답을 생성할 수 있습니다. 대체 쿼리로 문서를 검색한 후 재정렬하면, RAG 프로세스에서 프롬프트 맥락 창에 훨씬 더 정밀한 문서 결과를 포함시킬 수 있습니다.

검색 증강 생성(RAG)이란?

검색 증강 생성(RAG)은 검색 메커니즘과 생성형 모델을 결합하여 더욱 정확하고 맥락에 맞는 응답을 생성하는 AI 아키텍처입니다. RAG 시스템에서는 검색 컴포넌트가 사용자 쿼리를 바탕으로 지식 베이스에서 관련 문서나 데이터 조각을 가져오고, 이후 생성형 모델(주로 대형 언어 모델 또는 LLM)이 이 정보를 활용해 일관성 있고 정보가 풍부한 답변을 생성합니다.

RAG 시스템에서 쿼리 확장의 역할

검색 성능 향상

RAG 시스템에서 생성되는 답변의 품질은 검색된 문서의 관련성에 크게 좌우됩니다. 검색 컴포넌트가 가장 적합한 정보를 찾지 못하면, 생성형 모델이 부적절하거나 무관한 답변을 내놓을 수 있습니다. 쿼리 확장은 초기 쿼리를 개선해 모든 관련 문서를 검색할 수 있도록 해 이 문제를 해결합니다.

리콜(Recall) 증가

원래 쿼리에 관련 용어나 동의어, 패러프레이즈를 추가함으로써 쿼리 확장은 검색 범위를 넓힙니다. 즉, 검색 시스템의 리콜이 증가하여 지식 베이스에서 더 많은 관련 문서를 포착할 수 있습니다. 높은 리콜은 생성형 모델에 더 풍부한 맥락을 제공해 RAG 시스템의 출력 품질을 높입니다.

RAG 시스템에서 쿼리 확장은 어떻게 사용되나요?

쿼리 확장 프로세스 단계

1. 사용자 쿼리 입력: 사용자의 원래 쿼리로 시작합니다. 이 쿼리는 불완전하거나 모호할 수 있고, 지식 베이스 내 문서와 정확히 일치하지 않을 수도 있습니다.
2. 확장 쿼리 생성: 시스템이 원본 쿼기와 의미적으로 유사한 추가 쿼리를 생성합니다. 이 단계에서는 대형 언어 모델(LLM) 등 여러 기법이 활용될 수 있습니다.
3. 문서 검색: 각 확장 쿼리로 지식 베이스에서 문서를 검색합니다. 그 결과 더 크고 다양한 관련 문서 집합이 만들어집니다.
4. 결과 집계: 검색된 문서를 집계하면서 중복을 제거하고, 관련성에 따라 순위를 매깁니다.
5. 응답 생성: 집계된 문서를 기반으로 생성형 모델이 최종 사용자의 질문에 대한 답변을 생성합니다.

쿼리 확장 기법

1. 대형 언어 모델(LLM) 활용

GPT-4와 같은 LLM은 원래 쿼리의 의미를 파악해, 유사한 쿼리나 패러프레이즈를 생성할 수 있습니다. 맥락과 언어의 뉘앙스를 이해하여, 다양한 방식의 질문을 포괄하는 고품질 확장 쿼리가 만들어집니다.

예시:

• 원본 쿼리: “기후 변화의 영향”
• LLM이 생성한 확장 쿼리:
  • “지구 온난화의 영향”
  • “환경 변화의 결과”
  • “기후 변동성과 그 영향”

2. 가상 답변 생성

이 방식은 LLM을 사용해 사용자의 질문에 대한 가상의 답변을 생성한 후, 검색 시 추가 맥락으로 활용하는 방법입니다.

프로세스:

• 쿼리에 대한 가상 답변 생성
• 원본 쿼리와 가상 답변을 결합
• 결합된 텍스트를 검색 쿼리로 사용

예시:

• 원본 쿼리: “매출 증가에 기여한 요인은?”
• 생성된 가상 답변:
  • “회사의 매출 증가는 성공적인 마케팅 캠페인, 제품 다양화, 신규 시장 진출 덕분입니다.”
• 결합 쿼리:
  • “매출 증가에 기여한 요인은? 회사의 매출 증가는 성공적인 마케팅 캠페인, 제품 다양화, 신규 시장 진출 덕분입니다.”

3. 다중 쿼리(Multi-Query) 방식

원본 쿼리의 다양한 표현이나 측면을 포착하는 여러 쿼리를 생성하여 각각 독립적으로 문서를 검색하는 방법입니다.

프로세스:

• LLM을 활용해 유사 쿼리 여러 개 생성
• 각 쿼리로 별도의 문서 검색 수행
• 검색된 문서를 결합·정렬

예시:

• 원본 쿼리: “기업 성장의 주요 동인”
• 확장 쿼리:
  • “사업 확장의 주요 요인”
  • “기업 실적 향상에 기여한 요소”
  • “조직 성장의 중요한 기여자”

예시 및 활용 사례

사례 연구: 연차보고서 분석을 위한 RAG 개선

시나리오:
AI 시스템이 기업 연차보고서를 기반으로 질문에 답변합니다. 사용자가 “임원진의 이직이 많았나요?”라고 질문합니다.

구현:

1. 가상 답변 생성:
   • 시스템이 “임원진 이직은 거의 없었으며, 전략적 목표의 연속성과 안정성을 제공했습니다.”라는 가상 답변을 생성합니다.
2. 쿼리 확장:
   • 가상 답변을 원본 쿼리와 결합해 확장 쿼리를 만듭니다.
3. 검색:
   • 확장 쿼리로 임원진 변동에 관한 연차보고서의 관련 섹션을 검색합니다.
4. 응답 생성:
   • AI가 검색된 정보를 바탕으로 정밀한 답변을 생성합니다.

효과:
가상 답변으로 추가 맥락을 부여해, 원본 쿼리만으로는 놓칠 수 있는 관련 정보를 효과적으로 검색할 수 있습니다.

사례 연구: 고객지원 챗봇의 검색 강화

시나리오:
고객지원 챗봇이 사용자의 문제 해결을 돕습니다. 사용자가 “인터넷이 느려요.”라고 입력합니다.

구현:

1. LLM 활용 쿼리 확장:
   • 확장 쿼리 생성:
     • “인터넷 속도 저하 경험”
     • “브로드밴드 연결이 느림”
     • “인터넷 지연 문제”
2. 검색:
   • 각 쿼리로 느린 인터넷 속도와 관련된 도움말 및 해결 방법을 검색합니다.
3. 응답 생성:
   • 챗봇이 정보를 통합해 사용자의 문제 해결 단계를 안내합니다.

효과:
챗봇이 다양한 문제 유형과 해결책을 포괄적으로 제공해, 사용자의 문제 해결률을 높입니다.

사례 연구: 학술 연구 보조

시나리오:
학생이 “수면 부족이 인지 기능에 미치는 영향”이라는 주제로 AI 어시스턴트에 자료를 요청합니다.

구현:

1. 다중 쿼리 생성:
   • 유사 쿼리 생성:
     • “수면 부족이 사고력에 미치는 영향”
     • “수면 손실로 인한 인지 장애”
     • “수면 부족과 정신적 수행능력”
2. 검색:
   • 각 쿼리별로 논문과 기사 검색
3. 집계 및 정렬:
   • 결과를 통합해 가장 관련성 높고 최신 연구를 우선순위로 정렬
4. 응답 생성:
   • AI가 주요 연구 결과 요약과 참고 논문 추천

효과:
학생은 다양한 측면을 포괄하는 풍부한 정보를 얻어, 보다 심도 있는 연구가 가능합니다.

RAG 시스템에서 쿼리 확장의 이점

• 리콜(Recall) 향상: 더 많은 관련 문서를 검색해 정확한 응답 생성에 필요한 맥락을 제공합니다.
• 모호한 쿼리 처리: 짧거나 불분명한 쿼리도 맥락을 추가해 효과적으로 처리합니다.
• 동의어 인식: 원본 쿼리에 없는 동의어나 관련 용어가 포함된 문서도 포착합니다.
• 사용자 경험 향상: 사용자가 쿼리를 직접 다듬지 않아도 더 정확하고 풍부한 응답을 받을 수 있습니다.

도전과 고려사항

과도한 확장(Over-Expansion)

확장 쿼리가 지나치게 많으면 무관한 문서가 검색되어 검색 정밀도가 떨어질 수 있습니다.

해결책:

• 통제된 생성: 확장 쿼리 수 제한
• 관련성 필터링: 점수 기반으로 가장 관련성 높은 확장만 활용

모호성 및 다의어(Polysemy)

여러 의미를 가진 단어는 무관한 확장으로 이어질 수 있습니다.

해결책:

• 맥락 기반 확장: 쿼리의 맥락을 고려하는 LLM 활용
• 의미 구분 기법: 쿼리 맥락에 따라 의미를 구분하는 알고리즘 적용

컴퓨팅 자원

여러 확장 쿼리 생성 및 처리는 리소스 소모가 큽니다.

해결책:

• 효율적인 모델: 최적화된 LLM 및 검색 시스템 사용
• 캐싱: 자주 쓰는 쿼리와 확장 결과를 캐싱해 연산 부담 완화

검색 시스템과의 통합

확장 쿼리가 기존 검색 알고리즘과 효과적으로 연동되어야 합니다.

해결책:

• 점수 산정 조정: 확장 쿼리를 고려한 검색 점수 조정
• 하이브리드 방식: 키워드 기반과 의미 기반 검색을 결합

효과적인 쿼리 확장 기법

용어 가중치(Term Weighting)

확장 쿼리 내 용어의 중요도를 달리 부여합니다.

• TF-IDF(단어 빈도-역문서 빈도): 문서 내 용어 중요도 산정
• BM25 점수: 검색 엔진에서 문서 관련성 평가에 활용
• 사용자 정의 가중치: 확장 용어의 중요도에 따라 가중치 조정

검색 문서 재정렬

검색 이후 관련성 기준으로 문서 순위를 재조정합니다.

• 크로스 인코더(Cross-Encoder): 쿼리-문서 쌍의 관련성을 평가하는 모델
• 재정렬 모델(예: ColBERT, FlashRank): 효율적이고 정확한 재정렬을 위한 특화 모델

예시:

검색 후 Cross-Encoder로 쿼리와 문서의 관련성을 점수화해 재정렬

사용자 피드백 활용

사용자 상호작용을 쿼리 확장에 반영

• 암묵적 피드백: 클릭, 체류 시간 등 사용자 행동 분석
• 명시적 피드백: 사용자에게 쿼리 수정 또는 선호 결과 선택 권한 제공

AI, AI 자동화, 챗봇과의 연관성

AI 기반 쿼리 확장

AI와 LLM을 활용한 쿼리 확장은 언어 이해력을 극대화해 검색 품질을 높입니다. 이를 통해 챗봇, 가상 비서 등 AI 시스템이 상황에 맞는 더 정확한 응답을 제공합니다.

정보 검색의 자동화

쿼리 확장 과정을 자동화함으로써 사용자가 정확한 쿼리를 입력하는 부담이 줄어듭니다. AI 자동화가 복잡한 절차를 대신 처리해 정보 검색 시스템의 효율성이 높아집니다.

챗봇 상호작용 강화

챗봇은 쿼리 확장 덕분에 사용자의 의도를 더 잘 파악할 수 있습니다. 특히 구어체나 불완전한 문장도 효과적으로 이해해 만족스러운 대화와 문제 해결이 가능합니다.

예시:

기술 지원 챗봇이 “앱이 안 돼요”라는 모호한 질문을 “애플리케이션 충돌”, “소프트웨어 응답 없음”, “앱 오류 메시지” 등으로 확장해 문제를 신속히 해결할 수 있습니다.

RAG용 쿼리 확장 연구

1. 재무 문서에서 RAG 기반 질문응답의 검색 성능 향상
   이 논문은 대형 언어 모델(LLM)과 검색 증강 생성(RAG)을 결합해 재무 문서 분야에서의 효과를 분석합니다. LLM 출력의 부정확성이 주로 검색된 텍스트 조각의 부적절성에서 비롯됨을 밝히고, 정교한 청킹, 쿼리 확장, 메타데이터 주석, 재정렬 알고리즘을 도입해 RAG 프로세스의 개선 방안을 제안합니다. 이 방법들은 텍스트 검색을 최적화해 LLM의 응답 정확도를 높입니다. 자세히 보기

2. 검색 및 관리 향상: RAG 시스템의 품질과 효율을 위한 4모듈 시너지
   본 논문은 RAG 시스템 개선을 위해 검색 친화적 쿼리를 생성하는 쿼리 리라이터 모듈에 초점을 둔 모듈형 접근법을 소개합니다. 정보 고원(Information Plateaus)과 쿼리의 모호성 문제를 다중 쿼리 생성으로 해결하며, Knowledge Filter와 Memory Knowledge Reservoir를 통해 무관한 지식 관리 및 검색 자원 최적화를 달성합니다. 이 진보는 QA 데이터셋 실험을 통해 검증되었습니다. 코드 및 자세한 내용

3. MultiHop-RAG: 멀티홉 쿼리를 위한 검색 증강 생성 벤치마킹
   이 연구는 여러 증거를 종합적으로 추론해야 하는 멀티홉 쿼리에서 기존 RAG 시스템이 겪는 도전을 조명합니다. 멀티홉 쿼리 벤치마킹을 위한 새로운 데이터셋을 도입해, 현행 RAG의 한계를 극복하고 LLM의 실전 활용도를 높이기 위한 발전 방향을 제시합니다.