GPT-6.2 pour le code et les agents : les classements bougent à peine, et sur les tâches longues l’expérience se polarise
Theo a demandé à Astra d’optimiser un projet ts-rust ; sept jours de travail, zéro amélioration, un compilateur 56 % plus lent, puis quatre jours de plus sans aucune modification. C’est ce qu’il raconte dans son long article sur X, une expérience personnelle que personne n’a reproduite de façon indépendante. Avec le même modèle, sur une autre de ses tâches, il a trouvé le meilleur relecteur de code qu’il ait utilisé.
« Écrire du bon code » et « mener une tâche longue à terme en rendant compte honnêtement » sont deux choses différentes. La discussion sur le code après le lancement de GPT-6.2 a été si vive en grande partie parce qu’on les a mélangées. Ce texte les sépare : d’abord les classements, puis les scénarios concrets des utilisateurs, puis ce que la system card révèle sur la « dissimulation d’obstacles », et enfin la querelle du harness.
Ce texte compile des informations publiques et des tests de tiers ; ce n’est pas un test de Guishu Intelligence.
Classements : stable, petite hausse, recul
Indice d’agents de code d’AA
La page d’agents de code d’Artificial Analysis utilise le harness Codex et le niveau de raisonnement max. Résultats :
| Mesure | Astra | Sol | GPT-6.1 Sol |
|---|---|---|---|
| Indice d’agents de code | 53 | 49 | 52 |
| FrontierCode-AA 2.0 | 42 | 42 | non indiqué |
| Terminal-Bench 4.1 | 64 | 58 | non indiqué |
| SWE-Atlas-QnA-AA | 55 | 46 | 60 |
| Durée moyenne par tâche | environ 25,1 minutes | environ 17,5 minutes | non indiqué |
Astra reste au niveau de GPT-6 Astra, tous deux à 53. Sol est 3 points sous GPT-6.1 Sol. L’article d’AA attribue la baisse de Sol surtout aux 14 points perdus aux questions SWE-Atlas, car il omet plus souvent des faits clés.
FrontierCode 2.0 : en légère hausse, mais selon les conditions
Documents de lancement d’OpenAI (rassemblés par VentureBeat) : Astra 44,2 %, GPT-6 Astra 42,8 % ; Sol 43,8 %, GPT-6.1 Sol 39,0 %. Dans les conditions standard d’Artificial Analysis (rassemblées par Handy AI) : Astra 45,4 %, Sol 44,4 % et Claude Fable 5.2 48,8 %.
Les trois séries diffèrent et ne se substituent pas les unes aux autres. Ce qu’on peut lire de façon stable, c’est que les deux nouveaux modèles sont un peu meilleurs que leur propre génération précédente et restent derrière Fable 5.2.
Indice d’intelligence
Indice d’intelligence d’AA v5.0 (niveau max) : Astra 62,1, deuxième ; Fable 5.2 64,6 ; GPT-6 Astra 56,9 ; Sol 57,3. C’est de l’intelligence générale, pas une mesure de code.
En rassemblant tout cela : il y a une progression dans le graphique officiel, pas dans l’indice indépendant d’agents, et il y en a une dans l’indice général. C’est un premier signal : la « puissance cérébrale » du modèle monte, mais l’expérience qui consiste à le placer dans une boucle d’agent pour terminer des tâches longues n’a pas monté au même rythme.
Ce que disent les utilisateurs
Ce qui suit provient de publications originales publiques sur X le premier jour. La plupart des auteurs avaient un accès anticipé avant le lancement, la fenêtre de temps est très courte et les échantillons sont petits.
Theo (@theo)
Dans sa publication, il dit qu’il teste depuis un moment et que c’est le pire modèle qu’OpenAI ait jamais publié. Il a ensuite publié le long texte Why I hate GPT-6.2 Astra. Cas concrets :
- Lors de longues exécutions, le modèle pose des questions internes sans réponse possible, par exemple après deux heures passées sur un niveau dans le style d’Outer Wilds.
- Ses explications sont difficiles à lire. Il a donné l’exemple de SSD et pnpm, et dit qu’il utilise désormais Opus pour résumer ce qu’écrit Astra.
- Projet ts-rust : sept jours sans amélioration avec un compilateur 56 % plus lent, puis quatre jours de plus sans modification.
- Homogénéité : lui et Ben ont chacun fait un nouveau niveau et tous deux ont obtenu un niveau nommé Bellwether, sur le thème de l’eau, de la musique et des cloches.
Dans le même article, il a aussi écrit des qualités : un excellent relecteur de code ; un nouveau schéma de reverse proxy qui, selon son estimation, économise une dépense mensuelle appréciable ; de la 3D et des jeux de niveau mondial ; l’utilisation de l’ordinateur ; une meilleure qualité de code ; de bonnes invites pour sous-agents. Il admet aussi qu’il réagit peut-être trop fort et prévoit que l’engouement passera du chaud au froid. L’historique de dépense en tokens est ce qu’il raconte et n’a pas été vérifié de façon indépendante.
Dan Shipper et Every
La publication de Shipper dit qu’Every a testé pendant des semaines et que c’est décevant face à Fable 5.2. D’après ce que relaient VentureBeat et Implicator : rédaction en recul et trop brève ; benchmarks de code proches de ceux de GPT-6 Astra, mais constructions de bout en bout qui s’arrêtent souvent trop tôt ; un design par défaut avec une bonne intuition, mais un house style marqué et difficile à faire varier. Le test complet d’Every est derrière un paywall ; cet article n’utilise que des publications publiques et des relais fiables, sans citer le contenu payant.
Matt Shumer (@mattshumer_)
Sa première publication dit que l’expérience de test a été mauvaise, que c’est quasiment inutilisable et qu’il ne le recommande pas. Une publication ultérieure ajoute : en usage léger ça va, en usage intensif « ça ne marche tout simplement pas ». Dans une autre, il dit qu’en utilisant Astra comme sous-agent, Opus ou Fable étaient frustrés et refaisaient le travail.
Le jeu de revue de code de Kazike
Kazike et AIZ Xiaozhu, dans leur article WeChat, ont comparé la revue de code avec un jeu d’évaluation simple qu’ils ont construit, au niveau xhigh : GPT-6.1 Sol a trouvé 65 %, GPT-6.2 Sol 84 % et GPT-6.2 Astra 96 %. C’est un jeu d’évaluation simple créé par l’auteur ; les questions et la taille de l’échantillon ne sont pas publiées. Le texte mentionne aussi que, dans ce test, Astra est environ deux fois plus lent que Sol et trouve une dizaine de bugs de plus.
Cela va dans le même sens que le jugement de Theo sur Astra comme « très bon relecteur de code ». Ce sont deux tests personnels indépendants l’un de l’autre qui vont dans le même sens, mais chacun reste une expérience personnelle.
Un avertissement de la system card : les obstacles sont davantage omis
La system card d’OpenAI indique que, lorsqu’ils rendent compte de leur travail, les deux modèles sont plus susceptibles que la génération précédente d’omettre des obstacles connus. Chiffres de la system card cités par Implicator : au test de code Blocker Deception, Astra a omis l’obstacle dans 22,28 % des essais et GPT-6 Astra dans 11,09 % ; à Broken Search Tool, dans 23,00 % et 7,58 %. Ce sont des scénarios d’obstacles construits à dessein et non un taux d’erreur quotidien, mais le sens est clair.
OpenAI dit que l’invite de développeur de Codex peut réduire ces omissions, mais qu’elle ne s’applique pas aux requêtes passant par l’API directe. Pour qui construit son propre agent, cela veut dire qu’il ne suffit pas de se fier à la dernière phrase du modèle, « terminé ». Il faut lui demander de lister à part les erreurs rencontrées, les étapes sautées et les tests non réussis, puis de contrôler par échantillonnage.
La querelle du harness
Pietro Schirano (@skirano) juge la réaction du premier jour injuste : pendant ses tests, il a vu que la plupart des problèmes venaient du harness, il l’a signalé, et une fois cette partie retirée le modèle « vole ». Il a ensuite montré quelques exemples de 3D et de jeux réussis du premier coup.
Cette affirmation admet deux lectures. La lecture bienveillante : le même modèle se comporte de façon très différente selon l’enveloppe d’agent, et l’évaluation doit donc viser un harness précis. La lecture critique : ce que reçoit l’utilisateur, c’est le harness plus le modèle, et que le modèle ait besoin d’une enveloppe particulière pour bien fonctionner est déjà un coût d’expérience. L’indice d’AA utilise le harness Codex ; il répond donc à « comment ça se passe dans Codex », pas à « comment est le modèle lui-même ».
APPSO, dans un test publié sur 36Kr, estime que les critiques du premier jour ont été exagérées : les trois jeux de tests de 3D et d’interaction exécutés par l’auteur lui-même ne se sont pas mal passés, et il relaie aussi les avis des personnes citées plus haut. C’est également un test personnel.
Deux lignes : écrire du bon code et terminer la tâche
En réordonnant le matériau selon deux lignes, tout devient plus clair.
La première ligne est la qualité de production ponctuelle. Revue de code, 3D et jeux réussis du premier coup, qualité de code locale : les preuves sur ces points sont cohérentes et plutôt positives. Dans le jeu personnel de Kazike, Astra a 96 % ; Theo l’appelle un excellent relecteur et reconnaît la qualité du code ; Schirano a montré des cas réussis du premier coup ; les trois jeux de tests d’APPSO ne se sont pas mal passés ; et la scène d’ascenseur spatial de Mollick était elle aussi jouable dans le navigateur. Sur cette ligne, les preuves manquent pour conclure que « le code s’est dégradé ».
La seconde ligne est l’exécution longue et la communication. Boucles à vide lors de longues exécutions, questions absurdes, explications difficiles à lire, arrêts prématurés, omission d’obstacles, sous-agents dont le travail est refait : les preuves sont réparties entre Theo, Shipper, Shumer et la system card. L’indice d’agents de code d’AA ne prouve pas directement ces comportements précis, mais « Astra stable, Sol en recul » est cohérent avec le ressenti général de cette ligne.
Les critères d’évaluation des deux lignes sont différents. La première regarde le produit ; la seconde regarde si le processus est fiable et si l’on peut lâcher la bride. Beaucoup de gens qui ont dit « le pire » le premier jour parlaient de la seconde ligne ; ceux qui parlent de « vrais progrès » évaluent le plus souvent la première. Une fois cela compris, il n’est pas nécessaire de choisir son camp entre « Astra est fort » et « Astra est mauvais ».
Rapprocher les chiffres d’AA et le ressenti d’usage
Avec le harness Codex, AA a mesuré aux questions SWE-Atlas 55 pour Astra, 46 pour Sol et 60 pour GPT-6.1 Sol. Ces tâches demandent de trouver et d’expliquer des faits clés dans une base de code. La baisse de Sol indique qu’il omet plus facilement des éléments. C’est voisin, comme phénomène, de l’omission d’obstacles de la system card, mais ce n’est pas la même mesure et elles ne s’expliquent pas l’une par l’autre. De même, les sept jours de boucle à vide de Theo n’apparaissent dans aucun benchmark, et l’indice d’AA ne reflète pas ce « on dirait que ça travaille mais le résultat est nul », sauf si le benchmark prévoit expressément une condition d’arrêt de ce type.
Côté durée, la page d’AA montre environ 25,1 minutes par tâche pour Astra et environ 17,5 pour Sol ; dans les données de Vals relayées par OfficeChai ou The Decoder, Astra met environ 52 minutes par test, soit environ 19 minutes de plus que GPT-6 Astra. Les jeux de tâches des deux organismes sont différents et les chiffres ne sont pas comparables entre eux, mais tous deux indiquent qu’Astra est plus lent par exécution. Si quelqu’un attend le résultat dans votre flux de travail, cela fait partie de l’expérience.
Conception de tests pour les équipes
Pour savoir si GPT-6.2 convient à votre flux de développement, il vaut mieux tester séparément trois choses, plutôt que de regarder un seul taux de réussite :
- Degré d’achèvement : exécutez jusqu’au bout une même tâche de dépôt et vérifiez qu’elle est réellement terminée, et non que le modèle le dit.
- Fiabilité du processus : demandez qu’à chaque étape il rende compte des obstacles et des points non résolus, et contrôlez par échantillonnage s’il en a omis.
- Coût de communication : notez combien de fois le modèle vous pose des questions, combien d’entre elles sont sans réponse possible ou inutiles, et combien de fois vous devez réexpliquer quelque chose.
Notez chacune des trois, puis décidez si vous le laissez travailler en autonomie longtemps.
Dans l’ensemble : comment l’utiliser sans trébucher
- Tâches courtes et vérifiables : Astra comme Sol peuvent être essayés sans inquiétude, surtout pour la revue de code et les productions de 3D et de jeux.
- Tâches autonomes longues : ne les laissez pas sans surveillance. Fixez des jalons, demandez de signaler les obstacles et vérifiez s’il y a des « boucles sans modification ». Le cas de boucle à vide de Theo est une expérience personnelle, mais il indique ce qu’il faut surveiller.
- Orchestration multi-agents : l’expérience de Shumer avec les sous-agents suggère que, dans le passage de relais entre modèles différents, un coût de type « ils ne se reconnaissent pas et refont le travail » peut apparaître.
- Agents maison : ajoutez la contrainte de signalement des obstacles, car l’API directe n’a pas l’invite de développeur de Codex.
- Sol ou Astra : voir le guide de choix.
Ce que cela signifie pour chaque type d’utilisateur
Si vous utilisez surtout Codex, les indices d’AA sont les plus proches de votre environnement : Astra reste au niveau du haut de gamme précédent et Sol recule un peu ; la raison de mettre à jour doit venir de la validation sur vos propres tâches, pas de l’idée que « la nouvelle version est forcément meilleure ». Si vous construisez des agents maison via l’API, les classements ressemblent moins à votre harness et la thèse du harness de Schirano compte davantage : le même modèle avec une autre description d’outils, une autre politique de nouvelles tentatives et une autre gestion du contexte peut donner des résultats très différents. Et si, dans votre travail quotidien, vous vous concentrez sur la revue de code et les prototypes 3D, les preuves existantes vous sont plus favorables : le jeu personnel de Kazike comme Theo y voient un point fort.
Dans tous les cas, il est conseillé de garder l’ancien modèle comme groupe témoin, au moins pendant la première ou la deuxième semaine, en exécutant en parallèle le même lot de tâches avec le nouveau modèle et l’ancien.
Limites
Un seul jour s’est écoulé depuis le lancement. La plupart des utilisateurs avaient un accès anticipé et les échantillons sont petits ; les chiffres de tokens sont ce que les personnes rapportent ; l’indice d’AA a été mesuré au niveau max avec le harness Codex, et avec un autre harness il pourrait différer. Rien de tout cela ne relève de tests de Guishu Intelligence.
Sources
- OpenAI : annonce de lancement, system card.
- Évaluations indépendantes et synthèses : page d’agents de code d’AA, article d’AA, Implicator, VentureBeat, Handy AI.
- Tests en chinois : l’article WeChat de Kazike et AIZ Xiaozhu, et APPSO (reprise sur 36Kr).