Descifrando los modelos de agentes de IA: El análisis comparativo definitivo

Metodología

Probamos 20 modelos diferentes de agentes de IA en cinco tareas principales, cada una diseñada para explorar diferentes capacidades:

• Generación de contenido: Elaboración de un artículo detallado sobre los fundamentos de la gestión de proyectos.
• Resolución de problemas: Realización de cálculos relacionados con ingresos y beneficios.
• Resumir: Condensar los hallazgos clave de un artículo complejo.
• Comparación: Analizar el impacto ambiental de vehículos eléctricos e impulsados por hidrógeno.
• Escritura creativa: Crear una historia futurista centrada en vehículos eléctricos.

Nuestro análisis se centró tanto en la calidad de la salida como en el proceso de pensamiento del agente, evaluando su capacidad para planificar, razonar, adaptarse y utilizar eficazmente las herramientas disponibles. Hemos clasificado los modelos según su desempeño como agente de IA, dando mayor importancia a sus procesos de pensamiento y estrategias.

Rendimiento de los modelos de agentes de IA – Análisis tarea por tarea

Tarea 1: Generación de contenido

Los veinte modelos demostraron una fuerte capacidad para generar artículos de alta calidad e informativos. Sin embargo, la lista de clasificación siguiente tiene en cuenta los procesos de pensamiento interno de cada agente y cómo llegaron a su resultado final:

1. Gemini 1.5 Pro: Gran comprensión del prompt, enfoque estratégico para la investigación y salida bien organizada.
2. Claude 3.5 Sonnet: Buen enfoque de planificación con un resultado claro, conciso y accesible.
3. Mistral 8x7B: Buena selección de herramientas y un resultado claro y bien estructurado.
4. Mistral 7B: Investigación estratégica y un resultado final bien formateado.
5. GPT-4o AI Agent (Original): Destaca en la selección de herramientas y demuestra un enfoque adaptable para la investigación.
6. Gemini 1.5 Flash 8B: Salida de alta calidad pero falta de transparencia en los procesos internos.
7. Claude 3 Haiku: Buen desempeño, con buena comprensión del prompt.
8. GPT-4 Vision Preview AI Agent: Buen desempeño, con una salida de alta calidad.
9. GPT-o1 Mini AI Agent: Adaptable e iterativo, mostrando buen uso de herramientas.
10. Llama 3.2 3B: Buena escritura creativa y resultado detallado, aunque no mostró el proceso interno.
11. Claude 3: Demuestra un enfoque iterativo mientras se adapta a las instrucciones, pero no mostró los pensamientos internos.
12. Claude 2: Demostró buenas habilidades de escritura y comprensión del prompt.
13. GPT-3.5 Turbo AI Agent: Siguió las instrucciones y cumplió con las pautas de formato, pero carecía de proceso interno.
14. Gemini 2.0 Flash Experimental: Generó un resultado bien escrito, pero demostró un proceso repetitivo.
15. Grok Beta AI Agent: Uso estratégico de herramientas, pero tuvo dificultades con bucles repetitivos.
16. Gemini 1.5 Flash AI Agent: El agente usó un enfoque lógico pero tuvo un proceso de pensamiento repetitivo.
17. Mistral Large AI Agent: El resultado estuvo bien estructurado, pero sus pensamientos internos no fueron transparentes.
18. o1 Preview AI Agent: El modelo tuvo buen desempeño, pero carecía de transparencia en sus procesos de pensamiento.
19. GPT 4o mini AI Agent: Aunque el modelo tuvo un buen resultado, no mostró sus procesos internos.
20. Llama 3.2 1B: El modelo tuvo buen desempeño pero careció de información sobre sus procesos internos, y no demostró un enfoque único.

Tarea 2: Resolución de problemas y cálculo

Evaluamos las capacidades matemáticas de los modelos y sus estrategias de resolución de problemas:

1. Claude 3.5 Sonnet: Alta precisión, pensamiento estratégico y solución bien explicada.
2. Mistral 7B: Soluciones claras y precisas, y demostró pensamiento estratégico.
3. GPT-4 Vision Preview AI Agent: Comprensión correcta y cálculos precisos.
4. Claude 3 Haiku: Cálculo efectivo y explicaciones claras.
5. o1 Preview AI Agent: Demostró capacidad para desglosar cálculos en varios pasos.
6. Mistral Large AI Agent: Cálculos precisos con una respuesta final bien presentada.
7. o1 mini: Pensamiento estratégico y buen entendimiento de las matemáticas requeridas.
8. Gemini 1.5 Pro: Cálculos detallados y precisos y también bien formateados.
9. Llama 3.2 1B: Desglosó los cálculos bien, pero tuvo algunos errores de formato.
10. GPT-4o AI Agent (Original): Realizó la mayoría de los cálculos correctamente, y también hizo un desglose claro y lógico de la tarea.
11. GPT-4o Mini AI Agent: Realizó los cálculos, pero tuvo errores en las respuestas finales y también dificultades para formatear la salida de manera efectiva.
12. Claude 3: Enfoque claro para el cálculo, pero no mucho más allá de eso.
13. Gemini 2.0 Flash Experimental: Cálculos básicos precisos, pero algunos errores en el resultado final.
14. GPT-3.5 Turbo AI Agent: Los cálculos básicos fueron correctos, pero tuvo problemas con la estrategia y la precisión de las respuestas finales.
15. Gemini 1.5 Flash AI Agent: Tuvo algunos errores de cálculo relacionados con las unidades adicionales necesarias.
16. Mistral 8x7B: Cálculos mayormente precisos, pero no exploró completamente las diferentes posibles soluciones.
17. Claude 2: Preciso en los cálculos iniciales, pero tuvo problemas estratégicos y también errores en la solución final.
18. Gemini 1.5 Flash 8B: Algunos errores en la solución final.
19. Grok Beta AI Agent: No pudo completar la tarea completamente y no entregó un resultado completo.
20. Llama 3.2 3B: Errores de cálculo y la presentación también fue incompleta.

Tarea 3: Resumir

Evaluamos la capacidad de los modelos para extraer información clave y producir resúmenes concisos:

1. GPT-4o Mini AI Agent: Muy bueno resumiendo los puntos clave y respetando el límite de palabras.
2. Gemini 1.5 Pro: Bueno resumiendo el texto proporcionado, y también respetando el límite de palabras requerido.
3. o1 Preview AI Agent: Resumen conciso y bien estructurado.
4. Claude 3 Haiku: Resumió eficazmente el texto y también respetó los parámetros establecidos.
5. Mistral 7B: Resumió con precisión y respetó el límite de palabras.
6. Mistral 8x7B: Condensó eficazmente la información y también respetó los parámetros establecidos.
7. GPT-4 Vision Preview AI Agent: Resumen muy preciso del texto proporcionado.
8. GPT-3.5 Turbo AI Agent: Buena capacidad para resumir textos, destacando todos los aspectos importantes.
9. Llama 3.2 1B: Resumen conciso y bien estructurado.
10. Claude 3.5 Sonnet: Resumen conciso manteniendo las solicitudes de formato.
11. Claude 2: Resumen conciso y comprensión efectiva del texto proporcionado.
12. Claude 3: Condensó la información en una salida concisa.
13. Mistral Large AI Agent: Resumió bien el texto, pero no respetó completamente el límite de palabras.