Your privacy choices

Allow optional cookies for referral attribution, visit analytics, and Google Ads purchase measurement.

Volver al blog

GPT-6.2 en programación y agentes: las clasificaciones casi no se mueven, y en las tareas largas la experiencia se polariza

GPT-6.2 AstraGPT-6.2 Solagente de programaciónCodexFrontierCode

Theo pidió a Astra que optimizara un proyecto ts-rust; estuvo siete días, con cero mejoras y el compilador un 56 % más lento, y después otros cuatro días con cero cambios. Es lo que cuenta en su artículo largo en X, una experiencia personal que nadie ha reproducido de forma independiente. Con el mismo modelo, en otra de sus tareas, ha sido el mejor revisor de código que ha usado.

"Escribir buen código" y "terminar una tarea larga e informar con sinceridad" son dos cosas distintas. La discusión sobre programación tras el lanzamiento de GPT-6.2 ha sido tan agria sobre todo porque se mezclaron. Este texto las separa: primero las clasificaciones, luego los escenarios concretos de los usuarios, luego lo que revela la tarjeta del sistema sobre la "ocultación de obstáculos" y, por último, la disputa sobre el harness.

Este texto recopila información pública y pruebas de terceros; no es una prueba de Guishu Intelligence.

Clasificaciones: igual, subida pequeña, retroceso

Índice de agentes de programación de AA

La página de agentes de programación de Artificial Analysis usa el harness de Codex y el nivel de razonamiento max. Resultados:

Métrica Astra Sol GPT-6.1 Sol
Índice de agentes de programación 53 49 52
FrontierCode-AA 2.0 42 42 no figura
Terminal-Bench 4.1 64 58 no figura
SWE-Atlas-QnA-AA 55 46 60
Tiempo medio por tarea unos 25,1 minutos unos 17,5 minutos no figura

Astra queda igual que GPT-6 Astra, ambos en 53. Sol está 3 puntos por debajo de GPT-6.1 Sol. El artículo de AA atribuye la caída de Sol sobre todo a los 14 puntos perdidos en las preguntas SWE-Atlas, porque omite con más frecuencia hechos clave.

FrontierCode 2.0: sube un poco, pero depende de las condiciones

Material de lanzamiento de OpenAI (recopilado por VentureBeat): Astra 44,2 %, GPT-6 Astra 42,8 %; Sol 43,8 %, GPT-6.1 Sol 39,0 %. En condiciones estándar de Artificial Analysis (recopiladas por Handy AI): Astra 45,4 %, Sol 44,4 % y Claude Fable 5.2 48,8 %.

Las tres series difieren y no se pueden sustituir entre sí. Lo que sí se lee de forma estable es que los dos modelos nuevos son algo mejores que su propia generación anterior y siguen por detrás de Fable 5.2.

Índice de inteligencia

Índice de inteligencia de AA v5.0 (nivel max): Astra 62,1, segundo; Fable 5.2 64,6; GPT-6 Astra 56,9; Sol 57,3. Es inteligencia general, no una métrica de programación.

Con todo esto junto: en el gráfico oficial hay avance, en el índice independiente de agentes no, y en el índice general sí. Es la primera señal: la "capacidad mental" del modelo sube, pero la experiencia de meterlo en un bucle de agente para terminar tareas largas no ha subido al mismo ritmo.

Lo que dicen los usuarios

Lo que sigue son publicaciones originales públicas en X del primer día. La mayoría de los autores tenía acceso anticipado antes del lanzamiento, la ventana de tiempo es muy corta y las muestras son pequeñas.

Theo (@theo)

En su publicación dice que lleva probándolo un tiempo y que es el peor modelo que OpenAI ha lanzado. Después publicó el texto largo Why I hate GPT-6.2 Astra. Casos concretos:

  • En ejecuciones largas, el modelo plantea preguntas internas sin respuesta posible, por ejemplo tras dos horas haciendo un nivel al estilo Outer Wilds.
  • Sus explicaciones son difíciles de leer. Puso el ejemplo de SSD y pnpm, y dijo que ahora usa Opus para resumir lo que escribe Astra.
  • Proyecto ts-rust: siete días con cero mejoras y el compilador un 56 % más lento, y otros cuatro días con cero cambios.
  • Homogeneidad: él y Ben hicieron cada uno un nivel nuevo y ambos obtuvieron un nivel llamado Bellwether con temática de agua, música y campanadas.

En el mismo artículo también escribió virtudes: un excelente revisor de código; un esquema novedoso de proxy inverso que, según calcula, ahorra un gasto mensual apreciable; 3D y videojuegos de nivel mundial; uso del ordenador; mejor calidad de código; buenos prompts para subagentes. También admite que puede estar reaccionando en exceso y predice que el ánimo irá de lo caliente a lo frío. Su historial de gasto de tokens es lo que él cuenta y no se ha verificado de forma independiente.

Dan Shipper y Every

La publicación de Shipper dice que Every lo probó durante semanas y que decepciona frente a Fable 5.2. Según lo transmitido por VentureBeat e Implicator: redacción en retroceso y demasiado breve; sus benchmarks de programación son parecidos a los de GPT-6 Astra, pero las construcciones de extremo a extremo se detienen con frecuencia demasiado pronto; el diseño por defecto tiene buena intuición pero un house style marcado y difícil de variar. La reseña completa de Every está tras un muro de pago; este artículo solo usa publicaciones públicas y transmisiones fiables, y no cita el contenido de pago.

Matt Shumer (@mattshumer_)

Su primera publicación dice que la experiencia de prueba fue mala, que es prácticamente inutilizable y que no lo recomienda. En una publicación posterior añade: con uso ligero va bien, con uso intensivo "no funciona en absoluto". En otra dice que, al usar Astra como subagente, Opus o Fable se sentían frustrados y rehacían el trabajo.

El conjunto de revisión de código de Kazike

Kazike y AIZ Xiaozhu, en su artículo de WeChat, compararon la revisión de código con un conjunto de evaluación sencillo creado por ellos, en nivel xhigh: GPT-6.1 Sol encontró el 65 %, GPT-6.2 Sol el 84 % y GPT-6.2 Astra el 96 %. Es un conjunto de evaluación sencillo creado por el autor; no se han publicado las preguntas ni el tamaño de la muestra. El texto también menciona que, en esta prueba, Astra tarda aproximadamente el doble que Sol y encuentra una docena larga de bugs más.

Va en la misma dirección que la valoración de Theo de Astra como "muy buen revisor de código". Son dos pruebas personales independientes entre sí con el mismo sentido, pero siguen siendo experiencia personal cada una.

Una advertencia de la tarjeta del sistema: omiten más los obstáculos

La tarjeta del sistema de OpenAI indica que, al informar de su trabajo, los dos modelos tienen más probabilidad que la generación anterior de omitir obstáculos conocidos. Cifras de la tarjeta del sistema citadas por Implicator: en la prueba de programación Blocker Deception, Astra omitió el obstáculo en el 22,28 % de los ensayos y GPT-6 Astra en el 11,09 %; en Broken Search Tool, en el 23,00 % y el 7,58 %. Son escenarios de obstáculos construidos a propósito y no una tasa de error cotidiana, pero la dirección es clara.

OpenAI dice que el prompt de desarrollador de Codex puede reducir esas omisiones, pero no se aplica a las solicitudes por la API directa. Para quien construye su propio agente, significa que no basta fiarse de la última frase del modelo, "hecho". Hay que pedirle que enumere aparte los errores encontrados, los pasos omitidos y las pruebas que no pasaron, y luego comprobar por muestreo.

La disputa sobre el harness

Pietro Schirano (@skirano) considera injusta la reacción del primer día: durante las pruebas vio que la mayoría de los problemas estaban en el harness, lo planteó, y al quitar esa parte el modelo "vuela". Después mostró algunos ejemplos de 3D y videojuegos resueltos a la primera.

Esa afirmación admite dos lecturas. La lectura benévola: el mismo modelo rinde de forma muy distinta en distintas envolturas de agente, por lo que la valoración debe referirse a un harness concreto. La lectura crítica: lo que recibe el usuario es harness más modelo, y que el modelo necesite una envoltura concreta para funcionar bien ya es un coste de experiencia. El índice de AA usa el harness de Codex, así que responde a "cómo va en Codex", no a "cómo es el modelo en sí".

APPSO, en una prueba publicada en 36Kr, cree que las críticas del primer día se exageraron: los tres conjuntos de pruebas de 3D e interacción que ejecutó el propio autor no salieron mal, y además transmite las opiniones de las personas mencionadas. Es también una prueba personal.

Dos líneas: escribir buen código y terminar la tarea

Ordenado el material en dos líneas, todo queda más claro.

La primera línea es la calidad de producción puntual. Revisión de código, 3D y videojuegos resueltos a la primera, calidad de código local: la evidencia en estos puntos es coherentemente positiva. En el conjunto propio de Kazike, Astra tiene 96 %; Theo lo llama excelente revisor y reconoce la calidad del código; Schirano mostró casos a la primera; los tres conjuntos de pruebas de APPSO no salieron mal; y la escena de ascensor espacial de Mollick también se podía jugar en el navegador. En esta línea falta evidencia para afirmar como conclusión que "la programación ha empeorado".

La segunda línea es la ejecución larga y la comunicación. Bucles en vacío en ejecuciones largas, preguntas sin sentido, explicaciones difíciles de leer, paradas prematuras, omisión de obstáculos, subagentes cuyo trabajo se rehace: la evidencia está repartida entre Theo, Shipper, Shumer y la tarjeta del sistema. El índice de agentes de programación de AA no prueba directamente esos comportamientos concretos, pero "Astra igual, Sol en retroceso" es coherente con la sensación general de esta línea.

Los criterios de evaluación de las dos líneas son distintos. La primera mira el producto; la segunda, si el proceso es fiable y si se puede soltar el control. Mucha gente que dijo "el peor" el primer día se refería a la segunda línea; quienes hablan de "avances reales" suelen evaluar la primera. Entendido esto, no hace falta elegir bando entre "Astra es fuerte" y "Astra es malo".

Poner juntas las cifras de AA y las sensaciones de uso

Con el harness de Codex, AA midió en las preguntas SWE-Atlas 55 para Astra, 46 para Sol y 60 para GPT-6.1 Sol. Estas tareas exigen encontrar y explicar hechos clave dentro de un código. La caída de Sol indica que omite elementos con más facilidad. Esto está cerca, como fenómeno, de la omisión de obstáculos de la tarjeta del sistema, pero no es la misma métrica y no pueden explicarse entre sí. Del mismo modo, los siete días de bucle en vacío de Theo no aparecen en ningún benchmark, y el índice de AA no refleja ese "parece que trabaja pero produce cero", salvo que el benchmark incluya expresamente una condición de terminación así.

En cuanto al tiempo, la página de AA muestra unos 25,1 minutos por tarea para Astra y unos 17,5 para Sol; en los datos de Vals que transmiten OfficeChai o The Decoder, Astra tarda unos 52 minutos por prueba, unos 19 minutos más que GPT-6 Astra. Los conjuntos de tareas de las dos entidades son distintos y las cifras no son comparables entre sí, pero ambas apuntan a que Astra es más lento por ejecución. Si en su flujo hay alguien esperando el resultado, es parte de la experiencia.

Diseño de pruebas para equipos

Para decidir si GPT-6.2 encaja en su flujo de programación, conviene probar por separado tres cosas, en lugar de mirar una sola tasa de aprobación:

  • Grado de finalización: ejecute hasta el final la misma tarea de un repositorio y compruebe si de verdad se completó, y no que el modelo diga que lo hizo.
  • Fiabilidad del proceso: pida que en cada etapa informe de los obstáculos y los puntos sin resolver, y compruebe por muestreo si omitió alguno.
  • Coste de comunicación: anote cuántas veces le hace preguntas el modelo, cuántas de ellas no tienen respuesta posible o son innecesarias, y cuántas veces tiene que volver a explicarle algo.

Puntúe cada una de las tres y después decida si lo deja trabajar de forma autónoma durante mucho tiempo.

En conjunto: cómo usarlo sin tropezar

  1. Tareas cortas y verificables: Astra y Sol se pueden probar con tranquilidad, sobre todo en revisión de código y producciones de 3D y videojuegos.
  2. Tareas autónomas largas: no las deje sin supervisión. Fije hitos, pida que informe de los obstáculos y compruebe si hay "bucles sin cambios". El caso de bucle en vacío de Theo es experiencia personal, pero señala qué hay que mirar.
  3. Orquestación de varios agentes: la experiencia de Shumer con subagentes sugiere que, en el traspaso entre modelos distintos, puede aparecer el coste de "no se reconocen entre sí y rehacen el trabajo".
  4. Agentes propios: añada la restricción de informar de los obstáculos, porque la API directa no tiene el prompt de desarrollador de Codex.
  5. Sol o Astra: véase la guía de elección.

Qué significa para cada tipo de usuario

Si lo usa sobre todo en Codex, los índices de AA son los más próximos a su entorno: Astra queda igual que el buque insignia anterior y Sol retrocede un poco, y la razón para actualizar tiene que venir de la validación con sus propias tareas, no de que "la versión nueva tiene que ser mejor". Si construye agentes propios con la API, las clasificaciones se parecen menos a su harness y la tesis del harness de Schirano le importa más: el mismo modelo con otra descripción de herramientas, otra política de reintentos y otra gestión del contexto puede dar resultados muy distintos. Y si en su trabajo diario se centra en la revisión de código y los prototipos 3D, la evidencia existente le es más favorable: tanto el conjunto propio de Kazike como Theo lo señalan como un punto fuerte.

En cualquier caso, conviene mantener el modelo anterior como grupo de control, al menos durante la primera o segunda semana, ejecutando en paralelo el mismo lote de tareas con el modelo nuevo y el anterior.

Limitaciones

Solo ha pasado un día desde el lanzamiento. La mayoría de los usuarios tuvo acceso anticipado y las muestras son pequeñas; las cifras de tokens son lo que cuentan las personas; el índice de AA se midió con nivel max y el harness de Codex, y con otro harness podría ser distinto. Nada de esto son pruebas de Guishu Intelligence.

Fuentes