Your privacy choices

Allow optional cookies for referral attribution, visit analytics, and Google Ads purchase measurement.

Retour au blog

Test de GPT-6.2 Sol : le modèle du quotidien rattrape presque le haut de gamme, mais ce n’est pas une amélioration partout

GPT-6.2 SolOpenAItest de modèleFrontierCodeLifeVal

Sur le graphique FrontierCode 2.0 publié par OpenAI, Sol affiche 43,8 % et Astra 44,2 %, soit 0,4 point d’écart. Le même jour, à l’indice d’agents de code d’Artificial Analysis (AA), Sol se place 3 points sous sa génération précédente, GPT-6.1 Sol.

Les deux phrases sont vraies. GPT-6.2 Sol est le modèle qu’OpenAI destine au « travail quotidien et aux agents à grande échelle » ; sur de nombreuses tâches il se rapproche d’Astra, et dans quelques directions précises il recule. Le décrire comme un « haut de gamme en format réduit » ou comme une « version réduite » est inexact dans les deux cas.

Ce texte compile des informations publiques et n’est pas un test réalisé par Guishu Intelligence. Les chiffres sont présentés séparément par source et par conditions, sans mélange.

Positionnement officiel et caractéristiques

Selon l’annonce de lancement d’OpenAI, Sol vise le travail quotidien et le déploiement d’agents à grande échelle, et OpenAI affirme que beaucoup de personnes en interne l’utilisent comme modèle par défaut. La documentation du modèle Sol indique les caractéristiques suivantes :

  • ID d’API : gpt-6.2-sol.
  • Entrée texte et image, sortie texte ; ni audio ni vidéo.
  • Fenêtre de contexte de 1 050 000 tokens, entrée maximale de 922 000 et sortie maximale de 128 000.
  • Prend en charge le raisonnement ; l’API refuse reasoning effort = none.
  • Prend en charge Chat Completions, Responses et Batch ; ne prend pas en charge Realtime, Assistants, le fine-tuning ni la génération d’images et de vidéos. Les appels d’outils doivent passer par l’API Responses.
  • Date limite de connaissances : 1er juin 2026, postérieure à celle d’Astra (18 mai).

Le contexte et les modalités sont exactement ceux d’Astra. La différence tient au positionnement, à la date limite et à la répartition des capacités.

La disponibilité suit ChatGPT Learn : ChatGPT Work, Codex et API. Dans ChatGPT, il faut d’abord activer Work. Pour Enterprise et Edu, un administrateur doit l’activer. Ultrafast est le nom d’un niveau de vitesse ; certains abonnements Pro de niveau supérieur, ainsi que les espaces entreprise ou éducation où un administrateur l’a activé, peuvent l’utiliser.

Là où il se rapproche d’Astra

Les chiffres suivants proviennent des documents de lancement d’OpenAI (rassemblés par VentureBeat). Les graphiques officiels peuvent retenir le meilleur point, et les niveaux de raisonnement correspondants peuvent différer.

Benchmark (graphique officiel d’OpenAI) Sol contre GPT-6.1 Sol
FrontierCode 2.0 43,8 % contre 39,0 %
LifeVal 83,8 % contre 79,5 %
BenchCAD 2.1 Core 73,1 % contre 52,6 %
Terminal-Bench-Science 68,0 % contre 57,0 %
AutomationBench (graphique officiel) 41,2 % contre 36,1 %
Harvey LAB-AA 11,1 % contre 6,9 %
Agents’ Last Exam 73,0 % contre 72,5 %

Deux d’entre eux méritent une mention à part :

  • FrontierCode 2.0. Sol 43,8 %, Astra 44,2 %. OpenAI précise en outre qu’au niveau max, Sol reste environ 0,5 point derrière Astra.
  • LifeVal. Avec 83,8 %, Sol ne dépasse pas seulement sa génération précédente, mais aussi les 79,8 % de GPT-6 Astra.

Parmi les évaluations indépendantes, il existe aussi des preuves de ce rapprochement. À FrontierCode 2.0 dans les conditions standard d’AA, d’après Handy AI, Sol obtient 44,4 %, Astra 45,4 % et Claude Fable 5.2 48,8 %. À l’indice d’intelligence d’AA v5.0 (niveau max), Sol a 57,3, à peu près au niveau des 56,9 de GPT-6 Astra, tandis qu’Astra a 62,1. Autrement dit, Sol équivaut en gros au haut de gamme de la génération précédente, et non à celui de cette génération.

Dans l’indice général de Vals (OfficeChai ou The Decoder relaient des données de Vals ; cet article n’a pas vérifié directement le classement général de Vals), Sol est neuvième avec 66,06 %, à 1,6 point d’Astra (67,66 %), septième.

Là où il recule

Agents de code

La page d’agents de code d’AA utilise le harness Codex et le niveau max :

  • Indice d’agents de code : Sol 49, GPT-6.1 Sol 52, soit une baisse de 3 points ; Astra a 53.
  • SWE-Atlas-QnA-AA : Sol 46, GPT-6.1 Sol 60. L’article d’AA attribue à cette baisse de 14 points la cause principale : Sol omet plus souvent des faits clés.
  • Terminal-Bench 4.1 : Sol 58, Astra 64.
  • Durée moyenne par tâche : Sol environ 17,5 minutes, Astra environ 25,1 minutes.

Ici, le FrontierCode-AA 2.0 de Sol est de 42, identique à celui d’Astra. Le même test donne 42 avec le harness Codex, 44,4 % dans les conditions standard d’AA et 43,8 % dans le graphique officiel. Ce sont trois chiffres issus de trois conditions, et ils ne se substituent pas les uns aux autres.

Science

Au Vals Science Index (mis à jour le 16 novembre), GPT-6.2 Sol est septième avec 57,76 %, sous les 59,63 % de GPT-6.1 Sol. Les documents d’OpenAI indiquent 58,5 % contre 59,6 %, légèrement différent de la page de Vals ; cet article suit la page de Vals. La conclusion est la même : une légère baisse.

Tâches professionnelles

Le jeu de tâches professionnelles de Surge (11 tâches conçues par des médecins, des comptables, des juristes et des ingénieurs seniors) donne un résultat contrasté :

  • En hausse : code, graphiques et suivi des instructions d’agent. Sur Chartography, Sol obtient 87,7 %, au-dessus des 71,0 % de GPT-6 Astra et un peu sous les 90,7 % d’Astra.
  • En baisse : médecine, PDF et finance. À DAYJOB Healthcare, Sol obtient 17,2 % et GPT-6.1 Sol 25,2 %, soit 8 points de moins, la plus forte régression mesurée par Surge ce jour-là. Astra a 34,4 % sur la même épreuve.
  • Sur sudo L7, Sol obtient 36,1 % et Astra 38,3 %, tous deux sous les 52,2 % de Fable.

Hallucinations et obstacles

À AA-Omniscience, niveau max, le taux d’hallucination de Sol est de 55 % et celui d’Astra de 59 % (plus bas, c’est mieux). C’est un jeu de questions très difficile ; il ne représente pas le taux d’hallucination au quotidien et ne prouve pas que Sol soit plus fiable.

La system card indique que les deux modèles omettent plus facilement les obstacles connus quand ils rendent compte de leur travail. Pour Sol, la baisse à SWE-Atlas observée par AA (omission plus fréquente de faits clés) est une autre mesure, mais le lecteur peut les rapprocher comme un rappel qu’une vérification humaine est utile avant de livrer.

Test personnel : la revue de code de Kazike

Kazike et AIZ Xiaozhu, dans leur test sur WeChat, ont comparé trois modèles au niveau xhigh avec un jeu de revue de code qu’ils ont construit : GPT-6.1 Sol trouve 65 % des problèmes, GPT-6.2 Sol 84 % et GPT-6.2 Astra 96 %. C’est un jeu d’évaluation simple créé par l’auteur ; les questions et la taille de l’échantillon ne sont pas publiées. Le texte ajoute qu’Astra est environ deux fois plus lent que Sol et trouve une dizaine de bugs de plus. L’auteur compte en conséquence utiliser Sol xhigh comme modèle de revue par défaut. C’est une décision d’usage de l’auteur, pas une recommandation générale.

Cela ne contredit pas AA : la revue de code consiste à lire du code et à signaler des problèmes, alors que l’indice d’agents de code mesure l’achèvement de tâches longues dans Codex. Ce sont deux types de travail différents.

Décomposer le « se rapproche » : où se situe l’écart

« Sol se rapproche d’Astra » veut dire des choses très différentes selon le benchmark. D’après les graphiques officiels cités ici, l’écart se répartit en trois niveaux.

Premier niveau, presque aucun écart : FrontierCode 2.0 (43,8 % contre 44,2 %) et LifeVal (83,8 % contre 86,1 %, soit 2,3 points). Ce sont des tâches assez générales, où, même avec un modèle plus fort, le budget de raisonnement supplémentaire rapporte peu.

Deuxième niveau, écart net : à BenchCAD 2.1 Core, Sol a 73,1 % et Astra 82,5 % ; à Terminal-Bench-Science, 68,0 % contre 77,1 % ; à AutomationBench (graphique officiel), 41,2 % contre 52,4 % ; à Harvey LAB-AA, 11,1 % contre 15,0 %. En science, CAO et automatisation complexe, les « projets les plus difficiles », l’avantage d’Astra tourne autour de 9 points, ce qui est précisément la base sur laquelle OpenAI répartit les rôles des deux modèles.

Troisième niveau, où Sol ne progresse pas : il reste sous la génération précédente au Vals Science Index, perd 14 points aux questions SWE-Atlas d’AA et recule de 8 points en médecine chez Surge.

Pris ensemble, les trois niveaux conduisent à ceci : l’avantage de Sol est d’être « rapide et suffisant », pas d’être meilleur que l’ancien modèle dans toutes les directions. La page du Vals Science Index donne des chiffres qui appuient le « rapide » : sur cet indice, Sol met en moyenne environ 19 minutes et Astra environ 22 minutes 15 secondes ; Sol utilise environ 3,21 millions de tokens et Astra environ 3,48 millions. C’est la moyenne de Vals sur ses trois tâches scientifiques, qui ne s’applique pas à toutes les tâches.

Pourquoi la comparaison avec la génération précédente compte

Beaucoup se demandent s’il vaut la peine de passer de GPT-6.1 Sol à 6.2 Sol. La réponse des graphiques officiels est plutôt positive : sur les sept comparaisons officielles, Sol dépasse la génération précédente dans chacune, et GDPval v2 ajoute +5,3 points. La réponse des évaluations indépendantes est mitigée : à l’indice d’intelligence d’AA, Sol est proche de GPT-6 Astra, mais l’indice d’agents de code baisse, le Vals Science Index baisse un peu et Surge relève des reculs dans plusieurs directions.

Les deux lectures peuvent être vraies en même temps, parce que les benchmarks choisis par OpenAI, les niveaux de raisonnement échantillonnés et les règles de notation diffèrent de ceux des organismes indépendants. Savoir s’il faut mettre à jour dépend du côté dont votre charge de travail se rapproche : si vos tâches ressemblent à FrontierCode, LifeVal ou BenchCAD, les preuves en faveur de la mise à jour sont plus solides ; si elles ressemblent à des documents médicaux, à l’extraction de PDF ou à des questions-réponses avec recherche, comparez d’abord les deux générations sur vos propres échantillons avant de décider.

Liste minimale de validation avant mise en production

  1. Prenez une trentaine de tâches réelles et exécutez-les sur le nouveau Sol et sur l’ancien, avec le même niveau de raisonnement.
  2. Notez pour chaque tâche si des faits clés sont omis, car AA a observé un recul de Sol sur ce point.
  3. Comptabilisez à part les tâches médicales, financières et PDF ; ne les moyennez pas avec les tâches générales.
  4. Demandez au modèle de lister, à la livraison, les obstacles rencontrés, et vérifiez par échantillonnage ; la system card avertit que les deux modèles ont tendance à les omettre.
  5. Si vous passez par l’API, faites les appels d’outils avec l’interface Responses et fixez le niveau de raisonnement selon la documentation ; n’utilisez pas none.

À qui Sol convient comme modèle par défaut

D’après les preuves ci-dessus, Sol convient pour :

  • Les questions-réponses courantes, l’organisation de documents et les tâches de vie quotidienne et de bureau (la direction de LifeVal).
  • La revue de code, la génération de graphiques et les agents par lots qui demandent une faible latence.
  • Les équipes qui veulent réserver Astra aux problèmes difficiles et confier le reste à un modèle plus rapide.

Prudence pour :

  • Les flux de travail médicaux, financiers ou riches en PDF, où Surge montre un recul de Sol par rapport à la génération précédente.
  • Les questions-réponses avec recherche où aucun fait ne doit manquer ; la baisse à SWE-Atlas d’AA est un avertissement.
  • Les benchmarks scientifiques. Au Vals Science Index, Sol est un peu sous la génération précédente.

Deux lectures erronées à éviter

Première : ne transposez pas les conclusions du niveau xhigh à un autre niveau. La comparaison de revue de code de Kazike est en xhigh, l’agent de code d’AA est en max et les graphiques officiels montrent le « meilleur point ». Le niveau que vous utilisez dans Work ou Codex peut être plus bas. Plus le niveau est bas, plus l’écart entre Sol et Astra se révèle en général sur les problèmes difficiles, ce qu’il faut mesurer vous-même.

Deuxième : ne résumez pas tout le modèle à un seul classement. Que Sol se rapproche d’Astra à FrontierCode ne change rien à ses 17,2 % sur les tâches médicales de Surge ; qu’il soit un peu sous la génération précédente au Vals Science Index ne change rien au fait qu’il dépasse GPT-6 Astra à LifeVal. Chaque chiffre ne répond qu’à une seule question.

Ce qui a été dit de Sol dans les retours du premier jour

La discussion publique du premier jour a surtout porté sur Astra. Les évaluations directes de Sol sont peu nombreuses : Kazike en fait un candidat pour la revue quotidienne ; OpenAI affirme que beaucoup de personnes en interne l’utilisent par défaut ; la conclusion de Surge est « du bon et du moins bon ». Il faut souligner que ces affirmations sont de nature différente : la déclaration officielle est la position du fabricant, celle de Kazike est un jeu personnel et celle de Surge est un jeu indépendant. Nous n’avons pas vu assez de retours d’usage prolongé de Sol dans des scénarios concrets ; cet article ne rend donc pas de verdict sur le fait que « Sol soit agréable à utiliser » et répond seulement sur ce en quoi il est fort et faible d’après les preuves publiques.

Une répartition du travail envisageable

Si une équipe peut utiliser les deux modèles, les preuves publiques appuient une répartition prudente : demandes courantes, revues par lots, graphiques et tâches de bureau générales pour Sol ; lorsque la tâche relève du calcul scientifique, de la CAO ou de l’automatisation complexe, ou que les résultats de Sol omettent fréquemment des éléments lors des contrôles par échantillonnage, passer à Astra. Il y a trois raisons : le positionnement officiel des deux modèles est déjà réparti ainsi ; à FrontierCode et LifeVal, l’écart entre eux est faible ; et à BenchCAD et Terminal-Bench-Science, l’écart se concentre autour de 9 points.

À l’inverse, il n’est pas recommandé de confier par défaut à Sol les tâches médicales, financières ou de questions-réponses avec recherche simplement parce qu’il « a rattrapé le haut de gamme » sur un benchmark. Ce sont justement les domaines où Surge et AA ont observé des reculs, et ils doivent d’abord être validés sur vos propres échantillons. Cette répartition est une lecture des données publiques existantes, pas une conclusion validée par Guishu Intelligence.

Limites

Un seul jour s’est écoulé depuis le lancement. Certaines tâches de Surge étaient encore en cours d’exécution ce jour-là, et Epoch et Vals mettront à jour d’autres classements. Tout ce qui précède relève de données de tiers et de tests personnels, et non de tests de Guishu Intelligence. Pour arbitrer entre Sol et Astra, voir aussi le guide de choix.

En une phrase

Sol est le modèle efficace qu’OpenAI prépare pour le travail quotidien et les agents à grande échelle. À FrontierCode et LifeVal, il se rapproche, voire dépasse, le haut de gamme précédent ; en agents de code, en science chez Vals et en médecine chez Surge, il recule. Mieux vaut le considérer comme un « modèle par défaut suffisant pour la plupart des tâches » que comme un « nouveau modèle meilleur dans toutes les directions ».

Sources