Los benchmarks de IA no cuentan toda la historia. Esto es lo que debes evaluar
Entrepreneur en Espanol ·
La infraestructura que rodea a un modelo de inteligencia artificial puede cambiar radicalmente sus resultados. Te explicamos por qué es importante tenerla en cuenta al evaluar las afirmaciones sobre estas tecnologías y elegir la herramientas adecuadas. The post Los benchmarks de IA no cuentan toda la historia. Esto es lo que debes evaluar appeared first on Entrepreneur en Espanol .
La inteligencia artificial general (AGI, por sus siglas en inglés) se refiere a un sistema capaz de igualar o superar el desempeño humano en prácticamente cualquier tarea cognitiva, no solo en aquellas específicas para las que fue entrenado. Esta distinción es importante porque es precisamente lo que está en el centro del debate actual.
Jensen Huang tiene la costumbre de cantar victoria justo cuando su empresa necesita convencer al mercado. Por eso, cuando OpenAI lanzó GPT-6 Astra el 3 de septiembre, Huang publicó en X que “la AGI ya llegó” y añadió que pronto entrarían en operación “400,000 GPU”.
Soy ingeniero especializado en inteligencia artificial (IA) y actualmente desarrollo ChatMakr, una plataforma impulsada por IA que crea chatbots con múltiples agentes en cuestión de segundos. Durante el último año, he visto cómo cada lanzamiento de un nuevo modelo se presenta como el avance que finalmente lo cambiará todo. Esta es la realidad.
Relacionado: La oportunidad de América Latina en la nueva economía global de la IA
Astra no es una simple actualización de un chatbot. OpenAI lo presenta como un agente capaz de navegar por internet, programar, ejecutar flujos de trabajo de varios pasos, crear modelos en Blender y realizar tareas de ciberseguridad con una supervisión mínima.
Los resultados en los benchmarks son sorprendentes: 97.6% en FrontierMath Tier 4, 99.9% en ARC-AGI-3 y una puntuación perfecta de 100% en ExploitBench, frente al 78.5% de su predecesor, GPT-5.6 Sol. No se trata de mejoras marginales.
Sin embargo, OpenAI, de manera significativa, evitó calificar a Astra como AGI . En su lugar, optó por destacar su “velocidad y versatilidad”. Esa cautela por parte de la propia empresa que desarrolló el modelo es reveladora.
Relacionado: ¿La IA ya es peligrosa? OpenAI frena su próximo modelo por riesgos críticos de ciberataques
Las críticas no giran tanto en torno a si Astra es impresionante. Sin duda lo es. El debate se centra en el significado mismo del término AGI. Ethan Mollick, profesor de Wharton, lleva meses argumentando que lo que estamos viendo es una especie de “ AGI desigual ”: sistemas que superan las capacidades humanas en ciertos ámbitos específicos, pero que siguen siendo poco fiables en otros. Esto es muy distinto de contar con una inteligencia verdaderamente general.
Todavía no existe una prueba aceptada por todos para determinar si un sistema ha alcanzado la AGI. Por eso, declarar que “ya llegó” se parece más a emitir un juicio subjetivo que a presentar una medición objetiva. Augmented Mind y Manolo Remiddi lo expresaron con claridad: “La AGI llegará cuando podamos confiar en los resultados sin tener que verificarlos. Todavía no estamos ahí”.
Relacionado: Antes los bots eran una amenaza. Ahora son tus clientes
Aquí es donde el tema se pone interesante para quienes realmente desarrollan productos con estos modelos. Sobre el papel, Astra y Claude Fable 5.1 , de Anthropic, obtienen resultados muy similares en varias pruebas de programación y razonamiento. En la práctica, los ingenieros reportan diferencias importantes en la calidad de sus resultados.
Fable suele generar código que requiere menos ajustes antes de utilizarse en un entorno de producción y necesita menos tokens para hacerlo, mientras que Astra destaca más en el uso de computadoras y la automatización de tareas de varios pasos. Las pruebas de Snorkel AI revelaron que los fallos de Fable siguen un patrón fundamentalmente distinto al de sus aciertos: el modelo puede perder trabajo válido en medio de una secuencia de ejecución, en lugar de simplemente quedarse sin presupuesto de recursos. Para un equipo que necesita lanzar un producto, esta diferencia importa mucho más que el porcentaje que aparece en una tabla de clasificación.
La razón por la que resultados similares pueden ocultar desempeños tan distintos tiene que ver con algo que la mayoría de las personas ajenas a la ingeniería de IA nunca ha escuchado mencionar: el harness , es decir, la infraestructura que rodea al modelo y permite que funcione en la práctica.
Relacionado: Integración tecnológica: la oportunidad de la IA para empresas que no desarrollan modelos
Un harness es la infraestructura que rodea a un modelo de IA: la configuración de los prompts , el acceso a herramientas, la gestión de la memoria y los mecanismos de recuperación ante errores. Todos estos elementos determinan cómo se utiliza realmente el modelo. Como lo explica MindStudio : “El modelo es el motor. El harness es el automóvil. La mayoría de las pruebas de referencia evalúan el automóvil”.
Si se cambia el harness , un mismo modelo puede producir resultados radicalmente distintos. Una investigación de Cursor indica que un modelo alcanzaba una precisión del 46% con un harness y del 80% con otro, sin modificar el modelo en absoluto.
El historial de resultados de Astra en las pruebas de referencia ilustra este punto mejor que cualquier explicación. En ARC-AGI-3, Astra obtuvo una puntuación del 62.7% con un harness estándar, prácticamente a la par de su predecesor. Sin embargo, alcanzó el 99.9% con un harness denominado Provider Adapter , que le permitía conservar y reutilizar razonamientos previos, en lugar de empezar desde cero en cada paso, según Augmented Mind y Manolo Remiddi .
Mismos pesos. Mismo modelo. Una diferencia de más de 37 puntos porcentuales atribuible únicamente a la infraestructura.
No es un detalle menor. Significa que una parte considerable de lo que se presenta como una mejora del modelo es, en realidad, una mejora del harness . Por eso, las tablas de clasificación que no controlan esta variable cuentan una historia, pero no necesariamente reflejan un hecho objetivo.
Relacionado: Los agentes de IA ya pueden actuar por sí mismos y las empresas comienzan a adoptarlos
Esto explica por qué la adquisición de Cursor por parte de SpaceX por $60,000 millones de dólares es más importante de lo que parece. Cursor no es una empresa que desarrolle modelos de IA. Es una de las compañías líderes en el desarrollo de harnesses : la infraestructura que determina cómo se utilizan realmente los modelos de programación.
Integrarla en la infraestructura de GPU de SpaceX supone apostar a que controlar esa capa puede ser tan valioso como poseer el modelo, o incluso más. OpenAI ya restringió el acceso de Cursor a sus modelos por motivos de confianza relacionados con las empresas de Musk. Esto deja claro que los proveedores de modelos también entienden lo que está en juego: quien controla el harness controla la experiencia del producto, independientemente del modelo que funcione en segundo plano.
Nadie que conozca el sector pone seriamente en duda que GPT-6 Astra sea un modelo importante. Lo que se cuestiona es que, por tratarse de un modelo avanzado, pueda afirmarse que “la AGI ya llegó”.
Si estás evaluando estos sistemas para tu empresa, deja de lado por completo el discurso sobre la AGI. Examina la infraestructura que cada proveedor construye alrededor de su modelo, averigua cómo falla y ponla a prueba con tus propios flujos de trabajo. Las diferencias entre Astra y Fable 5.1 en las pruebas de referencia ya demostraron que una tabla de clasificación, por sí sola, no te dará todas las respuestas.
The post Los benchmarks de IA no cuentan toda la historia. Esto es lo que debes evaluar appeared first on Entrepreneur en Espanol .