Agentes de IA: Cómo piensa GPT-4o

Una evaluación de modelos LLM

Introducción

Los Agentes de IA representan la vanguardia de la inteligencia artificial, funcionando como sistemas autónomos capaces de razonar, aprender y actuar en función de entradas del usuario y datos contextuales. Al simular procesos de toma de decisiones similares a los humanos, aportan una eficiencia y adaptabilidad sin precedentes a una variedad de tareas.

Este blog se centra en evaluar el desempeño de GPT-4o en una variedad de tareas utilizando indicaciones y métricas detalladas. Nuestro objetivo es comprender cómo “piensa” este Agente de IA y evaluar su rendimiento en base a medidas tanto cuantitativas como cualitativas.

Criterios de evaluación

La comparación se estructura en torno a las siguientes dimensiones:

1. Manejo de entradas: Qué tan bien interpreta y se adapta el modelo a indicaciones diversas.
2. Generación de contenido: Claridad, relevancia y creatividad de las respuestas generadas.
3. Razonamiento y resolución de problemas: Capacidad del modelo para realizar deducciones lógicas y resolver problemas de varios pasos.
4. Métricas cuantitativas: Puntuaciones de legibilidad como ARI y Flesch-Kincaid, junto con tiempos de respuesta.
5. Eficiencia: Tiempo de respuesta y utilización general de recursos computacionales.

Cada criterio refleja un aspecto esencial de cómo funciona este modelo, permitiéndonos obtener información sobre sus “procesos de pensamiento”.

Análisis y comparación

Tarea 1: Generación de contenido sobre impactos ambientales de los vehículos eléctricos

Prompt

“-Generación de contenido: Escribe un artículo completo e informativo sobre los fundamentos de la gestión de proyectos, con un enfoque específico en definir objetivos, alcance y delegación.”

Salida (fragmento)

Para gestionar y delegar tareas de manera efectiva en nuestro nuevo proyecto, es crucial comprender los siguientes aspectos clave:

Alcance del proyecto

Objetivos: El objetivo de la gestión de proyectos es entregar un proyecto completo que cumpla los objetivos del cliente. Estos objetivos deben ser específicos, medibles, alcanzables, relevantes y con un plazo definido (SMART). Los objetivos claramente definidos guiarán todas las decisiones tomadas a lo largo del proyecto y ayudarán a garantizar que el proyecto se alinee con la misión general de la organización….

Métricas

• Tiempo empleado: 53 segundos
• Legibilidad:
  • Nivel Flesch Kincaid: 12
  • Puntuación Flesch Kincaid: 12.08

Proceso de pensamiento del Agente de IA

• (0:09) Búsqueda en Google: “Buscando directrices de gestión de proyectos, objetivos, alcance y delegación en Google…”

  • Pensamiento: Recopilar información sobre la tarea específica para proporcionar una respuesta completa sobre objetivos, alcance y detalles relevantes. Comenzar buscando directrices generales de gestión de proyectos.
  • Herramienta: google_serper

• (0:17) Sistema: “Analizando 1 url… Analizando URL”

• (0:25) Agente:

  • Pensamiento: Se han recopilado enlaces útiles sobre gestión de proyectos, delegación y objetivos. Se rastreará el artículo más relevante para obtener detalles.
  • Herramienta: url_crawl_tool

• (0:27) Búsqueda en Google: “Buscando cómo definir objetivos y alcance en la gestión de proyectos en Google…”

• (0:29) Agente:

  • Pensamiento: Se encontró un error con la herramienta de rastreo de URLs; se intentará otra búsqueda en Google centrada en definir objetivos y delegar tareas.
  • Herramienta: google_serper

• (0:31) Sistema: “Analizando 1 url… Analizando URL”

• (0:38) Agente:

  • Pensamiento: Se encontraron artículos relevantes; se rastreará el enlace más adecuado.
  • Herramienta: url_crawl_tool

• (0:44) Agente:

  • Pensamiento: No se pudo recuperar el contenido de los enlaces anteriores debido a errores. Se recopilará información directamente de Wikipedia sobre gestión de proyectos.
  • Herramienta: wikipedia

• (0:53) Agente:

  • Pensamiento: Como falló la recuperación del contenido, se intentará con Wikipedia para información sobre gestión de proyectos.
  • Herramienta: wikipedia

Análisis

• Comportamiento orientado a objetivos: Mantuvo el objetivo de explicar los principios de gestión de proyectos a pesar de los errores, lo que sugiere una representación interna de la tarea.
• Resolución de problemas adaptativa: Cambió de estrategia (a Wikipedia) cuando fallaron los intentos iniciales.
• Integración de herramientas: Utilizó Búsqueda en Google, rastreo de URL y Wikipedia como herramientas.
• Metacognición: Proporcionó declaraciones de “pensamiento”, mostrando introspección y reconocimiento de errores.

Fortalezas:

• Estructura clara, información relevante, balanceado entre pros/contras, precisión factual.

Debilidades:

• Cierta repetición, lo que reduce la concisión.

Puntuación: 9/10

Tarea 2: Resolución de problemas en cálculos de ingresos

Prompt

“Una empresa vende el Producto A por $50 (costo $30) y el Producto B por $70 (costo $40). Vendieron 120 unidades de A y 80 unidades de B. Calcula ingresos, ganancias y ventas requeridas para un crecimiento del 10% en ingresos.”

Salida (fragmento)

“Para resolver el problema: Los ingresos totales por la venta de ambos productos el mes pasado fueron $11,600…”

Métricas

• Tiempo empleado: 31 segundos
• Legibilidad: Nivel Flesch-Kincaid: 16 (Posgrado)
• Desglose de respuesta:
  • Ingreso Producto A: 120 * $50 = $6,000
  • Ingreso Producto B: 80 * $70 = $5,600
  • Ganancia total: $4,800 (luego de costos de $6,800)
  • Estrategias de crecimiento: Incrementar vendiendo 18 unidades de A y 4 de B, o 9 de A y 10 de B.

Proceso de pensamiento del Agente de IA

• (0:01) Agente:
  • Pensamiento: Extraer datos numéricos relevantes de la indicación y los conjuntos de datos para los cálculos.
• (0:03) Extracción de datos:
  • Pensamiento: Extraídas cantidades y precios de ambos productos.
• (0:05 - 0:19) Cálculos:
  • Cálculo escalonado de ingresos y ganancias por producto y en total.
• (0:20 - 0:24) Cálculo de crecimiento:
  • Calculado el aumento del 10% en ingresos, determinadas las unidades adicionales necesarias.
• (0:26) Formulación de la respuesta:
  • Presentó una respuesta final clara y concisa.

Análisis

• Demuestra descomposición de problemas en pasos manejables.
• Extrae y procesa datos, aplica reglas adecuadas y formula respuestas.
• Va más allá del simple preguntas y respuestas hacia la resolución de problemas de varios pasos.

Tarea 3: Resumen de hallazgos clave

Prompt

“Resume los hallazgos clave del artículo anterior en 100 palabras, enfocándote en las secciones más significativas.”

Salida (fragmento)

“El artículo profundiza en el razonamiento de la IA, destacando su papel para permitir que las máquinas tomen decisiones y resuelvan problemas. Cubre varios tipos, enfatizando el razonamiento formal y en lenguaje natural…”

Desglose del proceso de pensamiento del Agente de IA

• Lectura y comprensión: Identifica el tema principal del artículo y temas clave (tipos de razonamiento de IA, evolución histórica, aplicaciones).
• Enfoque: Destaca el modelo o1 de OpenAI y sus características notables.
• Estrategia de resumen: Planifica un resumen conciso de 100 palabras.
• Redacción: Estructura el resumen por introducción, tipos, hitos, características del modelo, aplicaciones.
• Finalización: Revisa el recuento de palabras y la legibilidad.

Análisis

• Comprensión: Entiende textos y argumentos complejos.
• Información clave: Señala los aspectos críticos (tipos de razonamiento, modelos, aplicaciones).
• Estructura lógica: Ordena la información de forma coherente.
• Priorización: Enfatiza los hallazgos más significativos.
• Restricciones: Cumple con el límite de palabras y revisa la legibilidad.

Métricas

• Tiempo empleado: 12 segundos
• Legibilidad: Nivel Flesch-Kincaid: 16, Puntuación: 16.39
• Longitud del resumen: 100 palabras
• Puntuación: 8/10

Tarea 4: Escritura creativa – Historia futurista

Prompt

“Escribe una historia futurista (500 palabras) ambientada en un mundo donde los vehículos eléctricos han reemplazado completamente a los vehículos tradicionales de combustión. Describe los cambios ambientales y el impacto social.”

Proceso de pensamiento del Agente de IA

• Lluvia de ideas: Impacto ambiental (aire más limpio, biodiversidad), infraestructura (estaciones de carga, renovables), economía (nuevas industrias, reducción de dependencia del petróleo), sociedad (propiedad orientada a servicios, transporte público), narrativa (ciudades pacíficas, armonía tecnología-naturaleza).
• Estructuración: Ordena la historia por cambios ambientales, de infraestructura, económicos y sociales; concluye con la transformación.
• Redacción: Comienza con una escena en 2050, detalla beneficios y cambios, termina con esperanza.
• Revisión: Revisa fluidez, atractivo, gramática y legibilidad.

Fragmento de la respuesta del bot:

“En el año 2050, el mundo se encontraba al borde de una nueva era, habiendo adoptado completamente los vehículos eléctricos (VE) como único modo de transporte. Este cambio monumental no solo transformó la forma en que las personas se desplazaban, sino que también remodeló el tejido mismo de la sociedad y el medio ambiente.

Los cielos estaban más limpios que en más de un siglo. Con la eliminación de los vehículos de combustión, el smog omnipresente que asfixiaba las grandes ciudades había desaparecido. La calidad del aire mejoró tanto que las enfermedades respiratorias ligadas a la contaminación disminuyeron considerablemente. La gente respiraba profundamente el aire limpio, un placer simple que se había convertido en la nueva norma. El impacto ambiental fue profundo; los ecosistemas comenzaron a recuperarse y las áreas urbanas experimentaron un resurgimiento de la biodiversidad. Los parques estaban llenos de vida y los habitantes de las ciudades disfrutaban de la renovada conexión con la naturaleza.”

Tiempo empleado: 39 segundos
Legibilidad: Nivel Flesch-Kincaid: 13, Puntuación: 13.2
Longitud del resumen: 493 palabras

Análisis

• Fortalezas: Imágenes vívidas, narrativa atractiva, enfoque equilibrado en lo ambiental y social.
• Debilidades: Podría incluir más detalles técnicos.
• Puntuación: 9.5/10

Tarea 5: Objetivos de comparación

Prompt

Compara el impacto ambiental de los vehículos eléctricos con el de los autos impulsados por hidrógeno. Incluye factores como producción de energía, ciclo de vida del vehículo y emisiones.

Proceso de pensamiento del Agente de IA

• (0:01) Comprensión de la indicación: Enfoque en la comparación de producción de energía.
• (0:03) Inicio de investigación: Recopilar datos sobre producción de electricidad e hidrógeno.
• (0:06) Creación de marco: Comparar según fuente de energía, método de producción.
• (0:08-0:14) Análisis: Emisiones de carbono, eficiencia, renovables vs. combustibles fósiles, hidrógeno por reformado de metano a vapor vs. electrólisis.
• (0:18) Análisis de ciclo de vida: Fabricación, mantenimiento, disposición de ambos tipos.
• (0:44-0:54) Emisiones: Distinguir emisiones directas (escape) e indirectas (producción) tanto para VE como para autos de hidrógeno.

Análisis

• Orientado a la investigación: Busca información externa.
• Enfoque estructurado: Desglosa por componente (energía, ciclo de vida, emisiones).
• Adaptativo: Se ajusta según hallazgos y solicitudes del usuario.
• Síntesis: Combina fuentes en respuestas integrales.
• Responsivo: Refina el análisis según lo solicitado.

Comparación con LLM tradicionales

El Agente de IA GPT-4o muestra una capacidad única para “pensar” más allá de los LLM tradicionales mediante:

1. Razonamiento adaptativo: Integra contexto de las indicaciones y datos, generando múltiples estrategias en lugar de respuestas fijas.
2. Uso multimodal de recursos: Utiliza herramientas como motores de búsqueda para conocimiento en tiempo real, mejorando las respuestas.
3. Versatilidad de estilo: Cambia entre tonos formales y creativos manteniendo la coherencia.
4. Toma de decisiones: Demuestra razonamiento en cadena similar a la toma de decisiones humana, incluyendo consideraciones éticas y alternativas.

Observaciones clave

• El Agente de IA GPT-4o es versátil, preciso y maneja tareas diversas.
• Las métricas de legibilidad son adecuadas para usuarios avanzados en tareas técnicas.
• Áreas de mejora:
  • Reducir la redundancia en respuestas largas.
  • Hacer el contenido técnico más accesible para audiencias amplias.

Conclusión

Nuestro análisis del Agente de IA GPT-4o revela capacidades sólidas en generación de contenido, resolución de problemas y resumen. El razonamiento adaptativo e integraciones multimodales de GPT-4o marcan un salto significativo respecto a los LLM tradicionales. Comprender sus métricas de rendimiento permite a los usuarios adaptar sus indicaciones y aprovechar sus fortalezas en distintos flujos de trabajo. La integración de GPT-4o en investigación, educación e industria continúa ampliando los límites de lo que los Agentes de IA pueden lograr.

Para más información sobre Agentes de IA y sus aplicaciones, sigue atento a nuestro blog.