Metodologia

Testamos 20 diferentes modelos de agentes de IA em cinco tarefas principais, cada uma projetada para explorar diferentes capacidades:

• Geração de Conteúdo: Produção de um artigo detalhado sobre fundamentos de gerenciamento de projetos.
• Resolução de Problemas: Realização de cálculos relacionados a receita e lucro.
• Sumarização: Condensação dos principais achados de um artigo complexo.
• Comparação: Análise do impacto ambiental de veículos elétricos e movidos a hidrogênio.
• Escrita Criativa: Criação de uma história futurista centrada em veículos elétricos.

Nossa análise focou tanto na qualidade do resultado quanto no processo de pensamento do agente, avaliando sua capacidade de planejar, raciocinar, adaptar-se e utilizar de maneira eficaz as ferramentas disponíveis. Classificamos os modelos com base em seu desempenho como agentes de IA, dando maior importância aos seus processos de pensamento e estratégias.

Desempenho dos Modelos de Agentes de IA – Análise Tarefa por Tarefa

Tarefa 1: Geração de Conteúdo

Todos os vinte modelos demonstraram forte capacidade de gerar artigos informativos e de alta qualidade. No entanto, a lista de classificação a seguir leva em consideração os processos internos de pensamento de cada agente e como chegaram ao resultado final:

1. Gemini 1.5 Pro: Forte compreensão do pedido, abordagem estratégica para pesquisa e resultado bem organizado.
2. Claude 3.5 Sonnet: Abordagem sólida de planejamento com uma saída clara, concisa e acessível.
3. Mistral 8x7B: Seleção eficaz de ferramentas e resultado claro e bem estruturado.
4. Mistral 7B: Pesquisa estratégica e saída final bem formatada.
5. GPT-4o AI Agent (Original): Forte na seleção de ferramentas e demonstrou abordagem adaptável à pesquisa.
6. Gemini 1.5 Flash 8B: Saída de alta qualidade, porém com falta de transparência nos processos internos.
7. Claude 3 Haiku: Forte desempenho, com boa compreensão do pedido.
8. GPT-4 Vision Preview AI Agent: Bom desempenho, com resultado de alta qualidade.
9. GPT-o1 Mini AI Agent: Adaptável e iterativo, com bom uso de ferramentas.
10. Llama 3.2 3B: Boa escrita criativa e resultado detalhado, porém o processo interno não foi mostrado.
11. Claude 3: Demonstra abordagem iterativa ao adaptar-se às instruções, mas os pensamentos internos não foram mostrados.
12. Claude 2: Apresentou boas habilidades de escrita e também mostrou compreensão do pedido.
13. GPT-3.5 Turbo AI Agent: Seguiu as instruções e respeitou as diretrizes de formatação, mas faltou processo interno.
14. Gemini 2.0 Flash Experimental: O modelo gerou um resultado bem escrito, mas demonstrou processo repetitivo.
15. Grok Beta AI Agent: Uso estratégico de ferramentas, mas teve dificuldades com laços repetitivos.
16. Gemini 1.5 Flash AI Agent: O agente usou uma abordagem lógica, porém com processo de pensamento repetitivo.
17. Mistral Large AI Agent: O resultado foi bem estruturado, mas os pensamentos internos não foram transparentes.
18. o1 Preview AI Agent: O modelo apresentou bom desempenho, mas faltou transparência em seus processos de pensamento.
19. GPT 4o mini AI Agent: Apesar do bom resultado, os processos internos não foram mostrados.
20. Llama 3.2 1B: O modelo teve bom desempenho, mas faltou percepção sobre seus processos internos e não apresentou uma abordagem única.

Tarefa 2: Resolução de Problemas e Cálculo

Avaliamos as capacidades matemáticas dos modelos e suas estratégias de resolução de problemas:

1. Claude 3.5 Sonnet: Alta precisão, pensamento estratégico e solução bem explicada.
2. Mistral 7B: Soluções claras, precisas e com pensamento estratégico.
3. GPT-4 Vision Preview AI Agent: Correta compreensão e cálculos precisos.
4. Claude 3 Haiku: Cálculo eficiente e explicações claras.
5. o1 Preview AI Agent: Mostrou capacidade de dividir cálculos em várias etapas.
6. Mistral Large AI Agent: Cálculos precisos com resposta final bem apresentada.
7. o1 mini: Pensamento estratégico e boa compreensão da matemática necessária.
8. Gemini 1.5 Pro: Cálculos detalhados e precisos, além de boa formatação.
9. Llama 3.2 1B: Dividiu bem os cálculos, mas teve alguns erros de formatação.
10. GPT-4o AI Agent (Original): Realizou a maioria dos cálculos corretamente, além de apresentar boa decomposição lógica da tarefa.
11. GPT-4o Mini AI Agent: Realizou os cálculos, mas cometeu erros em algumas respostas finais e teve dificuldades com a formatação do resultado.
12. Claude 3: Abordagem clara para cálculos, mas não foi além disso.
13. Gemini 2.0 Flash Experimental: Cálculos básicos precisos, mas com alguns erros no resultado final.
14. GPT-3.5 Turbo AI Agent: Cálculos básicos estavam corretos, mas apresentou problemas de estratégia e precisão nas respostas finais.
15. Gemini 1.5 Flash AI Agent: Teve alguns erros de cálculo referentes às unidades adicionais necessárias.
16. Mistral 8x7B: Cálculos em sua maioria corretos, mas não explorou completamente as diferentes soluções possíveis.
17. Claude 2: Precisão nos cálculos iniciais, mas teve problemas estratégicos e cometeu erros na solução final.
18. Gemini 1.5 Flash 8B: Alguns erros na solução final.
19. Grok Beta AI Agent: Não conseguiu concluir totalmente a tarefa e não forneceu um resultado completo.
20. Llama 3.2 3B: Erros de cálculo e apresentação também incompleta.

Tarefa 3: Sumarização

Avaliamos a capacidade dos modelos de extrair informações principais e produzir resumos concisos:

1. GPT-4o Mini AI Agent: Muito bom em resumir os pontos principais e respeitar o limite de palavras.
2. Gemini 1.5 Pro: Bom ao resumir o texto fornecido, respeitando o limite de palavras exigido.
3. o1 Preview AI Agent: Resumo conciso e bem estruturado.
4. Claude 3 Haiku: Resumiu o texto de forma eficaz e respeitou os parâmetros estabelecidos.
5. Mistral 7B: Resumiu com precisão e também seguiu o limite de palavras.
6. Mistral 8x7B: Condensou as informações de forma eficaz e atendeu aos parâmetros definidos.
7. GPT-4 Vision Preview AI Agent: Resumo muito preciso do texto fornecido.
8. GPT-3.5 Turbo AI Agent: Boa capacidade de resumir o texto, destacando todos os aspectos importantes.
9. Llama 3.2 1B: Resumo conciso e bem estruturado.
10. Claude 3.5 Sonnet: Resumo conciso e mantendo as solicitações de formatação.
11. Claude 2: Resumo conciso e compreensão eficaz do texto fornecido.
12. Claude 3: Condensou as informações em um resultado conciso.
13. Mistral Large AI Agent: Resumiu bem o texto, mas não respeitou totalmente o limite de palavras.