Reclassificação de Documentos

A reclassificação de documentos reordena os documentos recuperados com base na relevância para a consulta, refinando os resultados de busca. A expansão de consulta aprimora a busca ao adicionar termos relacionados, melhorando o recall e lidando com ambiguidades. A combinação dessas técnicas em sistemas RAG eleva a precisão da recuperação e a qualidade das respostas.

A reclassificação de documentos é o processo de reordenar os documentos recuperados de acordo com sua relevância para a consulta do usuário. Após uma etapa inicial de recuperação, a reclassificação refina os resultados avaliando a relevância de cada documento de forma mais precisa, garantindo que os documentos mais pertinentes sejam priorizados.

O que é Geração com Recuperação Aumentada (RAG)?

A Geração com Recuperação Aumentada (RAG) é uma estrutura avançada que combina as capacidades de Grandes Modelos de Linguagem (LLMs) com sistemas de recuperação de informações. Em RAG, quando um usuário envia uma consulta, o sistema recupera documentos relevantes de uma vasta base de conhecimento e alimenta essas informações no LLM para gerar respostas informadas e contextualmente precisas. Essa abordagem aumenta a precisão e a relevância do conteúdo gerado por IA ao fundamentá-lo em dados factuais.

Entendendo a Expansão de Consulta

O que é Expansão de Consulta?

Definição

A expansão de consulta é uma técnica utilizada em recuperação de informação para aumentar a eficácia das buscas. Ela consiste em ampliar a consulta original com termos ou frases adicionais semanticamente relacionados. O objetivo principal é reduzir a distância entre a intenção do usuário e a linguagem utilizada nos documentos relevantes, melhorando assim a recuperação de informações pertinentes.

Como Funciona

Na prática, a expansão de consulta pode ser realizada por diversos métodos:

• Expansão por Sinônimos: Incorporação de sinônimos dos termos da consulta para cobrir diferentes expressões do mesmo conceito.
• Termos Relacionados: Adição de termos contextualmente relacionados, mesmo que não sejam sinônimos diretos.
• Expansão baseada em LLM: Utilização de Grandes Modelos de Linguagem para gerar consultas expandidas, prevendo palavras ou frases relevantes para a consulta original.

Ao expandir a consulta, o sistema de recuperação pode lançar uma rede mais ampla, capturando documentos que poderiam ser ignorados devido a variações de terminologia ou linguagem.

Por que a Expansão de Consulta é Importante em Sistemas RAG?

Aprimorando o Recall

Recall refere-se à capacidade do sistema de recuperação de encontrar todos os documentos relevantes. A expansão de consulta melhora o recall ao:

• Recuperar documentos que usam termos diferentes para descrever o mesmo conceito.
• Capturar documentos que abordam subtópicos relacionados ou aspectos mais amplos da consulta.

Lidando com Ambiguidades na Consulta

Usuários frequentemente enviam consultas curtas ou ambíguas. A expansão de consulta auxilia em:

• Esclarecer a intenção do usuário ao considerar múltiplas interpretações.
• Proporcionar uma busca mais abrangente ao incluir diferentes aspectos do tema.

Aprimorando a Correspondência de Documentos

Ao incluir termos adicionais relevantes, o sistema aumenta a probabilidade de corresponder a consulta com documentos que podem utilizar vocabulário diferente, melhorando assim a eficácia geral do processo de recuperação.

Métodos de Expansão de Consulta

1. Feedback de Pseudo-Relevância (PRF)

O que é PRF?

Feedback de Pseudo-Relevância é um método automático de expansão de consulta onde o sistema assume que os documentos mais bem classificados em uma busca inicial são relevantes. Ele extrai termos significativos desses documentos para refinar a consulta original.

Como o PRF Funciona

• Execução da Consulta Inicial: A consulta original do usuário é executada e os principais documentos são recuperados.
• Extração de Termos: Termos-chave desses documentos são identificados com base em frequência ou importância.
• Refinamento da Consulta: A consulta original é expandida com esses termos-chave.
• Nova Recuperação: A consulta expandida é usada para realizar uma nova busca, idealmente recuperando mais documentos relevantes.

Benefícios e Desvantagens

• Benefícios: Melhora o recall sem necessidade de intervenção do usuário.
• Desvantagens: Se os resultados iniciais contiverem documentos irrelevantes, a expansão pode incluir termos enganosos, reduzindo a precisão.

2. Expansão de Consulta baseada em LLM

Aproveitando Grandes Modelos de Linguagem

Com os avanços da IA, LLMs como GPT-3 e GPT-4 podem gerar expansões sofisticadas de consultas ao compreender contexto e semântica.

Como Funciona a Expansão baseada em LLM

• Geração de Resposta Hipotética: O LLM gera uma resposta hipotética para a consulta original.
• Expansão Contextual: A resposta fornece contexto adicional e termos relacionados.
• Consulta Combinada: A consulta original e a saída do LLM são combinadas para formar uma consulta expandida.

Exemplo

Consulta Original:
“Quais foram os fatores mais importantes que contribuíram para o aumento da receita?”

Resposta Gerada pelo LLM:
“No exercício fiscal, vários fatores-chave contribuíram para o aumento significativo da receita da empresa, incluindo campanhas de marketing bem-sucedidas, diversificação de produtos, iniciativas de satisfação do cliente, precificação estratégica e investimentos em tecnologia.”

Consulta Expandida:
“Consulta Original: Quais foram os fatores mais importantes que contribuíram para o aumento da receita?
Resposta Hipotética: [Resposta Gerada pelo LLM]”

Vantagens

• Entendimento Profundo: Captura nuances e relações complexas entre conceitos.
• Personalização: Adapta a expansão ao domínio ou contexto específico.

Desafios

• Recursos Computacionais: Pode exigir grande poder de processamento.
• Expansão Excessiva: Risco de adicionar termos irrelevantes ou em excesso.

Implementando Expansão de Consulta em Sistemas RAG

Processo Passo a Passo

1. Entrada da Consulta do Usuário: O sistema recebe a consulta original do usuário.
2. Expansão baseada em LLM:
   • O sistema solicita ao LLM que gere uma resposta hipotética ou consultas relacionadas.
   • Exemplo de Prompt:
     “Forneça uma resposta detalhada ou consultas relacionadas para: [Consulta do Usuário]”
3. Combinação de Consultas:
   • A consulta original e o conteúdo expandido são combinados.
   • Isso garante que a consulta expandida permaneça relevante para a intenção do usuário.
4. Uso na Recuperação:
   • A consulta expandida é usada para recuperar documentos da base de conhecimento.
   • Isso pode ser feito via busca por palavras-chave, busca semântica ou uma combinação.

Benefícios em Sistemas RAG

• Recuperação Aprimorada: Mais documentos relevantes são recuperados, fornecendo melhor contexto ao LLM.
• Melhor Experiência do Usuário: Usuários recebem respostas mais precisas e informativas.

Entendendo a Reclassificação de Documentos

Por que a Reclassificação é Necessária

• Limitações da Recuperação Inicial: Métodos iniciais podem depender de medidas gerais de similaridade, que nem sempre capturam relevância detalhada.
• Superação de Ruídos: A expansão de consulta pode introduzir documentos menos relevantes; a reclassificação filtra esses casos.
• Otimização do Contexto para LLMs: Fornecer os documentos mais relevantes melhora a qualidade das respostas geradas pelo LLM.

Métodos para Reclassificação de Documentos

1. Modelos Cross-Encoder

Visão Geral

Cross-encoders são modelos de redes neurais que recebem um par de entradas (consulta e documento) e produzem uma pontuação de relevância. Diferente dos bi-encoders, que codificam consulta e documento separadamente, cross-encoders processam ambos juntos, permitindo uma interação mais rica entre eles.

Como Funcionam os Cross-Encoders

• Emparelhamento de Entrada: Cada documento é combinado com a consulta.
• Codificação Conjunta: O modelo codifica o par junto, capturando interações.
• Pontuação: Gera uma pontuação de relevância para cada documento.
• Classificação: Os documentos são ordenados com base nessas pontuações.

Vantagens

• Alta Precisão: Fornece avaliações de relevância mais precisas.
• Compreensão Contextual: Captura relações complexas entre consulta e documento.

Desafios

• Computacionalmente Intensivo: Requer alto poder de processamento, especialmente para grandes volumes de documentos.

2. ColBERT (Modelos de Interação Tardia)

O que é ColBERT?

ColBERT (Interação Tardia Contextualizada sobre BERT) é um modelo de recuperação projetado para equilibrar eficiência e eficácia. Utiliza um mecanismo de interação tardia que permite comparação detalhada entre tokens de consulta e documento sem custos computacionais elevados.

Como o ColBERT Funciona

• Codificação em Nível de Token: Codifica separadamente os tokens da consulta e do documento usando BERT.
• Interação Tardia: Na pontuação, compara tokens de consulta e documento por medidas de similaridade.
• Eficiência: Permite pré-computação dos embeddings dos documentos.

Vantagens

• Pontuação Eficiente: Mais rápido do que cross-encoders completos.
• Recuperação Eficaz: Mantém alta qualidade de recuperação.

Casos de Uso

• Adequado para recuperação em larga escala quando os recursos computacionais são limitados.

3. FlashRank

Visão Geral

FlashRank é uma biblioteca de reclassificação leve e rápida, que utiliza cross-encoders de última geração. É projetada para ser facilmente integrada a pipelines existentes e aprimorar o desempenho da reclassificação com mínimo impacto.

Funcionalidades

• Facilidade de Uso: API simples para integração rápida.
• Velocidade: Otimizado para reclassificação ágil.
• Precisão: Utiliza modelos eficazes para reclassificação de alta qualidade.

Exemplo de Uso

from flashrank import Ranker, RerankRequest

query = 'Quais foram os fatores mais importantes que contribuíram para o aumento da receita?'

ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2")
rerank_request = RerankRequest(query=query, passages=documents)
results = ranker.rerank(rerank_request)

Benefícios

• Simplifica a Reclassificação: Abstrai as complexidades do gerenciamento de modelos.
• Otimiza Desempenho: Equilibra velocidade e precisão de forma eficiente.

Implementando a Reclassificação de Documentos em Sistemas RAG

Processo

1. Recuperação Inicial: Utilize a consulta expandida para recuperar um conjunto de documentos candidatos.
2. Reclassificação: Aplique um modelo de reclassificação (ex: Cross-Encoder, ColBERT) para avaliar a relevância de cada documento.
3. Seleção: Selecione os documentos mais bem classificados para utilizar como contexto para o LLM.

Considerações

• Recursos Computacionais: A reclassificação pode ser intensiva; é necessário equilibrar desempenho e custo.
• Seleção de Modelos: Escolha modelos adequados às necessidades de precisão e eficiência da aplicação.
• Integração: Garanta que a reclassificação se encaixe de forma transparente no pipeline existente.

Ready to grow your business?

Start your free trial today and see results within days.

Request demo Log in

Combinando Expansão de Consulta e Reclassificação de Documentos em RAG

Sinergia entre Expansão de Consulta e Reclassificação

Técnicas Complementares

• Expansão de Consulta amplia o escopo da busca, recuperando mais documentos.
• Reclassificação de Documentos refina esses resultados, focando nos mais relevantes.

Benefícios da Combinação

• Maior Recall e Precisão: Juntas, aprimoram tanto a quantidade quanto a qualidade dos documentos recuperados.
• Recuperação Robusta: Suprem as limitações de cada método quando usados isoladamente.
• Melhor Saída do LLM: Fornecem melhor contexto, resultando em respostas mais precisas e informativas.

Como Funcionam em Conjunto

1. Entrada da Consulta do Usuário: Recebe-se a consulta original.
2. Expansão de Consulta: A consulta é expandida por métodos como expansão baseada em LLM, resultando em uma busca mais abrangente.
3. Recuperação Inicial: A consulta expandida é usada para recuperar um amplo conjunto de documentos.
4. Reclassificação de Documentos: Modelos de reclassificação avaliam e reordenam os documentos com base na relevância à consulta original.
5. Provisão de Contexto: Os documentos mais bem classificados são fornecidos ao LLM como contexto.
6. Geração de Resposta: O LLM gera uma resposta informada pelos documentos mais relevantes.

Etapas Práticas de Implementação

Fluxo de Trabalho Exemplo

• Expansão de Consulta com LLM:

  def expand_query(query):
      prompt = f"Provide additional related queries for: '{query}'"
      expanded_queries = llm.generate(prompt)
      expanded_query = ' '.join([query] + expanded_queries)
      return expanded_query
  

• Recuperação Inicial:

  documents = vector_db.retrieve_documents(expanded_query)
  

• Reclassificação de Documentos:

  from sentence_transformers import CrossEncoder
  cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
  pairs = [[query, doc.text] for doc in documents]
  scores = cross_encoder.predict(pairs)
  ranked_docs = [doc for _, doc in sorted(zip(scores, documents), reverse=True)]
  

• Seleção dos Principais Documentos:

  top_documents = ranked_docs[:top_k]
  

• Geração de Resposta com LLM:

  context = '\n'.join([doc.text for doc in top_documents])
  prompt = f"Answer the following question using the context provided:\n\nQuestion: {query}\n\nContext:\n{context}"
  response = llm.generate(prompt)
  

Monitoramento e Otimização

• Métricas de Desempenho: Meça regularmente a eficácia da recuperação utilizando métricas como precisão, recall e pontuação de relevância.
• Ciclos de Feedback: Incorpore o feedback dos usuários para aprimorar estratégias de expansão de consulta e reclassificação.
• Gestão de Recursos: Otimize recursos computacionais, possivelmente através de cache de resultados ou limitação do número de documentos reclassificados.

Casos de Uso e Exemplos

Exemplo 1: Aprimorando Chatbots de IA para Suporte ao Cliente

Cenário

Uma empresa utiliza um chatbot de IA para responder dúvidas de clientes sobre seus produtos e serviços. Os clientes frequentemente fazem perguntas de diversas formas, usando diferentes terminologias ou expressões.

Desafios

• Linguagem e terminologia variáveis dos clientes.
• Necessidade de respostas precisas e rápidas para manter a satisfação do cliente.

Implementação

• Expansão de Consulta: O chatbot expande as consultas dos clientes para incluir sinônimos e termos relacionados.
  Por exemplo, se o cliente pergunta: “Como posso consertar meu aparelho?”, a consulta é expandida para incluir termos como “reparar dispositivo”, “solucionar problema no aparelho”, etc.
• Reclassificação de Documentos: Artigos de ajuda e FAQs recuperados são reclassificados para priorizar as soluções mais relevantes. Cross-encoders avaliam a relevância de cada documento para o problema específico do cliente.

Benefícios

• Maior precisão e relevância nas respostas.
• Satisfação do cliente aprimorada e redução do tempo de resolução de atendimentos.

Exemplo 2: Otimizando Ferramentas de Pesquisa com IA

Cenário

Pesquisadores utilizam um assistente de IA para encontrar artigos acadêmicos, dados e insights relevantes para seus trabalhos.

Desafios

• Consultas complexas com terminologia especializada.
• Grande volume de literatura acadêmica para filtrar.

Implementação

• Expansão de Consulta: O assistente usa LLMs para expandir consultas com conceitos e sinônimos relacionados.
  Uma consulta como “aplicações de entrelaçamento quântico” é expandida para incluir “usos de entrelaçamento quântico”, “entrelaçamento em computação quântica”, etc.
• Reclassificação de Documentos: Artigos acadêmicos são reclassificados com base na relevância para a consulta refinada.