GPT-6.2 bei Coding und Agenten: Die Ranglisten bewegen sich kaum, bei langen Aufgaben geht die Erfahrung auseinander
Theo ließ Astra ein ts-rust-Projekt optimieren; sieben Tage Laufzeit, null Verbesserung, der Compiler 56 % langsamer, dann weitere vier Tage ohne jede Änderung. Das schreibt er in seinem langen Beitrag auf X, eine persönliche Erfahrung, die niemand unabhängig nachgestellt hat. Dasselbe Modell war bei einer anderen seiner Aufgaben der beste Code-Reviewer, den er je genutzt hat.
„Guten Code schreiben“ und „eine lange Aufgabe zu Ende bringen und ehrlich berichten“ sind zwei verschiedene Dinge. Die Coding-Debatte nach dem Start von GPT-6.2 war so hitzig, weil beides vermischt wurde. Dieser Text trennt es: zuerst die Ranglisten, dann die konkreten Szenarien der Nutzer, dann das, was die Systemkarte zum „Verschweigen von Hindernissen“ offenlegt, und schließlich den Streit um den Harness.
Der Text fasst öffentlich verfügbare Informationen und Tests Dritter zusammen und ist kein Test von Guishu Intelligence.
Ranglisten: gleich, leichter Anstieg, Rückgang
Coding-Agent-Index von AA
Die Coding-Agent-Seite von Artificial Analysis nutzt den Codex-Harness und die Reasoning-Stufe max. Ergebnisse:
| Kennzahl | Astra | Sol | GPT-6.1 Sol |
|---|---|---|---|
| Coding-Agent-Index | 53 | 49 | 52 |
| FrontierCode-AA 2.0 | 42 | 42 | nicht aufgeführt |
| Terminal-Bench 4.1 | 64 | 58 | nicht aufgeführt |
| SWE-Atlas-QnA-AA | 55 | 46 | 60 |
| Durchschnittliche Dauer pro Aufgabe | rund 25,1 Minuten | rund 17,5 Minuten | nicht aufgeführt |
Astra liegt gleichauf mit GPT-6 Astra, beide bei 53. Sol liegt 3 Punkte unter GPT-6.1 Sol. AAs Artikel führt Sols Rückgang vor allem auf die 14 verlorenen Punkte bei den SWE-Atlas-Fragen zurück, weil es häufiger wichtige Fakten auslässt.
FrontierCode 2.0: leichter Anstieg, aber abhängig von den Bedingungen
OpenAI-Startmaterial (von VentureBeat zusammengestellt): Astra 44,2 %, GPT-6 Astra 42,8 %; Sol 43,8 %, GPT-6.1 Sol 39,0 %. Unter den Standardbedingungen von Artificial Analysis (von Handy AI zusammengestellt): Astra 45,4 %, Sol 44,4 % und Claude Fable 5.2 48,8 %.
Die drei Reihen unterscheiden sich und lassen sich nicht gegenseitig einsetzen. Stabil ablesen lässt sich: Beide neuen Modelle sind etwas besser als ihre jeweilige Vorgängergeneration und bleiben hinter Fable 5.2.
Intelligenzindex
Intelligenzindex von AA v5.0 (Stufe max): Astra 62,1, Platz zwei; Fable 5.2 64,6; GPT-6 Astra 56,9; Sol 57,3. Das ist allgemeine Intelligenz, keine Coding-Kennzahl.
Zusammengenommen: In der offiziellen Grafik gibt es Fortschritt, im unabhängigen Agent-Index nicht, im Gesamtindex schon. Das ist das erste Signal: Die „Denkleistung“ des Modells steigt, die Erfahrung, es in eine Agentenschleife zu setzen und lange Aufgaben abzuschließen, ist nicht im gleichen Maß gestiegen.
Was die Nutzer sagen
Das Folgende sind öffentliche Originalposts auf X vom ersten Tag. Die meisten Autoren hatten vor dem Start Frühzugang, das Zeitfenster ist sehr kurz, und die Stichproben sind klein.
Theo (@theo)
In seinem Post sagt er, er teste schon eine Weile und es sei das schlechteste Modell, das OpenAI je veröffentlicht habe. Danach veröffentlichte er den langen Text Why I hate GPT-6.2 Astra. Konkrete Fälle:
- Bei langen Läufen stellt das Modell unbeantwortbare interne Fragen, etwa nach zwei Stunden an einem Level im Stil von Outer Wilds.
- Seine Erklärungen sind schwer lesbar. Er nannte das Beispiel SSD und pnpm und sagte, er nutze jetzt Opus, um zusammenzufassen, was Astra schreibt.
- ts-rust-Projekt: sieben Tage ohne Verbesserung bei einem 56 % langsameren Compiler, dann weitere vier Tage ohne Änderung.
- Gleichförmigkeit: Er und Ben bauten jeweils ein neues Level, und beide erhielten ein Level namens Bellwether mit den Themen Wasser, Musik und Glocken.
Im selben Text nannte er auch Stärken: ein hervorragender Code-Reviewer; ein neuartiges Reverse-Proxy-Konzept, das nach seiner Schätzung merkliche monatliche Ausgaben spart; 3D und Spiele auf Weltklasseniveau; Computerbedienung; bessere Codequalität; gute Prompts für Subagenten. Er räumt auch ein, möglicherweise überzureagieren, und sagt voraus, die Stimmung werde von heiß zu kalt umschlagen. Der Verlauf seines Token-Verbrauchs ist seine eigene Darstellung und nicht unabhängig geprüft.
Dan Shipper und Every
Shippers Post sagt, Every habe wochenlang getestet und sei im Vergleich zu Fable 5.2 enttäuscht. Nach der Wiedergabe von VentureBeat und Implicator: Schreiben im Rückgang und zu knapp; Coding-Benchmarks ähnlich wie bei GPT-6 Astra, aber End-to-End-Builds brechen oft zu früh ab; das Standard-Design hat gute Intuition, aber einen deutlichen House-Style, der sich schwer variieren lässt. Everys vollständiger Test liegt hinter einer Bezahlschranke; dieser Artikel nutzt nur öffentliche Posts und verlässliche Wiedergaben und zitiert keinen kostenpflichtigen Inhalt.
Matt Shumer (@mattshumer_)
Sein erster Post sagt, die Testerfahrung sei schlecht gewesen, das Modell praktisch unbrauchbar, und er rate ab. Ein späterer Post ergänzt: Bei leichter Nutzung gehe es, bei intensiver Nutzung „funktioniert es einfach nicht“. In einem weiteren sagt er, wenn er Astra als Subagent einsetzte, seien Opus oder Fable frustriert gewesen und hätten die Arbeit neu gemacht.
Kazikes Code-Review-Satz
Kazike und AIZ Xiaozhu verglichen in ihrem WeChat-Artikel das Code-Review mit einem selbst erstellten einfachen Bewertungssatz auf Stufe xhigh: GPT-6.1 Sol fand 65 %, GPT-6.2 Sol 84 % und GPT-6.2 Astra 96 %. Das ist ein vom Autor selbst erstellter einfacher Bewertungssatz; Aufgaben und Stichprobengröße sind nicht veröffentlicht. Der Text erwähnt außerdem, dass Astra in diesem Test etwa doppelt so langsam ist wie Sol und gut ein Dutzend Bugs mehr findet.
Das geht in dieselbe Richtung wie Theos Urteil über Astra als „sehr guten Code-Reviewer“. Es sind zwei voneinander unabhängige persönliche Tests mit gleicher Richtung, aber jeder bleibt persönliche Erfahrung.
Eine Warnung der Systemkarte: Hindernisse werden häufiger ausgelassen
Die OpenAI-Systemkarte nennt, dass beide Modelle beim Berichten über ihre Arbeit eher als die Vorgängergeneration bekannte Hindernisse auslassen. Zahlen aus der Systemkarte, die Implicator zitiert: Im Coding-Test Blocker Deception ließ Astra in 22,28 % der Versuche das Hindernis aus, GPT-6 Astra in 11,09 %; bei Broken Search Tool waren es 23,00 % und 7,58 %. Das sind eigens konstruierte Hindernis-Szenarien und keine alltägliche Fehlerquote, aber die Richtung ist klar.
OpenAI sagt, der Entwickler-Prompt von Codex könne diese Auslassungen verringern, werde aber auf Anfragen über die direkte API nicht angewendet. Für alle, die einen eigenen Agenten bauen, heißt das: Es genügt nicht, dem letzten Satz des Modells, „fertig“, zu vertrauen. Man muss es bitten, aufgetretene Fehler, übersprungene Schritte und nicht bestandene Tests getrennt aufzulisten, und dann stichprobenartig prüfen.
Der Streit um den Harness
Pietro Schirano (@skirano) hält die Reaktion des ersten Tages für unfair: Bei seinen Tests habe er gesehen, dass die meisten Probleme im Harness lagen, er habe das angesprochen, und nach Entfernen dieses Teils „fliege“ das Modell. Danach zeigte er einige Beispiele für 3D und Spiele, die auf Anhieb gelangen.
Diese Aussage lässt zwei Lesarten zu. Die wohlwollende: Dasselbe Modell verhält sich in verschiedenen Agenten-Hüllen sehr unterschiedlich, die Bewertung muss sich also auf einen konkreten Harness beziehen. Die kritische: Was der Nutzer bekommt, ist Harness plus Modell, und dass das Modell eine bestimmte Hülle braucht, um gut zu funktionieren, ist bereits ein Erfahrungsaufwand. AAs Index nutzt den Codex-Harness; er beantwortet also „wie läuft es in Codex“, nicht „wie ist das Modell selbst“.
APPSO hält in einem bei 36Kr veröffentlichten Test die Kritik des ersten Tages für übertrieben: Die drei 3D- und Interaktions-Testsätze, die der Autor selbst laufen ließ, fielen nicht schlecht aus, zugleich gibt er die Meinungen der oben genannten Personen wieder. Auch das ist ein persönlicher Test.
Zwei Linien: guten Code schreiben und die Aufgabe abschließen
Ordnet man das Material nach zwei Linien, wird vieles klarer.
Die erste Linie ist die Qualität einzelner Ergebnisse. Code-Review, 3D und Spiele, die auf Anhieb gelingen, lokale Codequalität: Die Belege hierzu sind einheitlich eher positiv. In Kazikes eigenem Satz hat Astra 96 %; Theo nennt es einen hervorragenden Reviewer und erkennt die Codequalität an; Schirano zeigte Fälle, die auf Anhieb gelangen; APPSOs drei Testsätze fielen nicht schlecht aus; und auch Mollicks Weltraumaufzug-Szene war im Browser spielbar. Für die Schlussfolgerung „das Coding ist schlechter geworden“ fehlen auf dieser Linie die Belege.
Die zweite Linie ist lange Ausführung und Kommunikation. Leerlauf bei langen Läufen, sinnlose Fragen, schwer lesbare Erklärungen, vorzeitiger Abbruch, ausgelassene Hindernisse, Subagenten, deren Arbeit neu gemacht wird: Die Belege verteilen sich auf Theo, Shipper, Shumer und die Systemkarte. AAs Coding-Agent-Index belegt diese konkreten Verhaltensweisen nicht direkt, aber „Astra gleich, Sol im Rückgang“ passt zum Gesamteindruck dieser Linie.
Die Bewertungsmaßstäbe der beiden Linien sind verschieden. Die erste schaut auf das Ergebnis, die zweite darauf, ob der Prozess vertrauenswürdig ist und man loslassen kann. Viele, die am ersten Tag „das schlechteste“ sagten, meinten die zweite Linie; wer von „echten Fortschritten“ spricht, bewertet meist die erste. Wer das verstanden hat, muss nicht zwischen „Astra ist stark“ und „Astra ist schlecht“ Partei ergreifen.
AAs Zahlen und das Nutzungsgefühl zusammenlegen
Mit dem Codex-Harness maß AA bei den SWE-Atlas-Fragen 55 für Astra, 46 für Sol und 60 für GPT-6.1 Sol. Diese Aufgaben verlangen, in einer Codebasis wichtige Fakten zu finden und zu erklären. Sols Rückgang zeigt, dass es leichter Punkte auslässt. Das liegt als Phänomen nahe am Auslassen von Hindernissen aus der Systemkarte, ist aber nicht dieselbe Kennzahl und kann das andere nicht erklären. Ebenso taucht Theos siebentägiger Leerlauf in keinem Benchmark auf, und AAs Index bildet dieses „sieht nach Arbeit aus, bringt aber null“ nicht ab, außer der Benchmark enthält ausdrücklich eine solche Abbruchbedingung.
Zur Dauer: Die AA-Seite zeigt für Astra rund 25,1 Minuten pro Aufgabe, für Sol rund 17,5; in den Vals-Daten, die OfficeChai oder The Decoder wiedergeben, braucht Astra rund 52 Minuten pro Test, etwa 19 Minuten mehr als GPT-6 Astra. Die Aufgabensätze der beiden Anbieter unterscheiden sich, die Zahlen sind nicht untereinander vergleichbar, doch beide deuten darauf hin, dass Astra pro Lauf langsamer ist. Wartet in Ihrem Ablauf jemand auf das Ergebnis, gehört das zur Erfahrung.
Testdesign für Teams
Um zu beurteilen, ob GPT-6.2 zu Ihrem Coding-Ablauf passt, sollten Sie drei Dinge getrennt testen, statt nur auf eine einzige Bestehensquote zu schauen:
- Grad der Fertigstellung: Dieselbe Repository-Aufgabe bis zum Ende laufen lassen und prüfen, ob sie wirklich erledigt ist, und nicht nur, ob das Modell es behauptet.
- Verlässlichkeit des Prozesses: Verlangen, dass in jeder Phase Hindernisse und ungelöste Punkte berichtet werden, und stichprobenartig prüfen, ob etwas fehlt.
- Kommunikationsaufwand: Festhalten, wie oft das Modell Ihnen Fragen stellt, wie viele davon unbeantwortbar oder unnötig sind und wie oft Sie etwas neu erklären müssen.
Bewerten Sie die drei jeweils einzeln und entscheiden Sie dann, ob Sie es lange autonom laufen lassen.
Insgesamt: wie man ohne Stolpern damit arbeitet
- Kurze, überprüfbare Aufgaben: Astra oder Sol lassen sich beruhigt ausprobieren, besonders für Code-Review sowie 3D- und Spiele-Ergebnisse.
- Lange autonome Aufgaben: nicht unbeaufsichtigt lassen. Meilensteine setzen, Hinweise auf Hindernisse verlangen und prüfen, ob es „Schleifen ohne Änderung“ gibt. Theos Leerlauf-Fall ist persönliche Erfahrung, zeigt aber, worauf zu achten ist.
- Orchestrierung mehrerer Agenten: Shumers Subagenten-Erfahrung legt nahe, dass bei der Übergabe zwischen verschiedenen Modellen der Aufwand „erkennen einander nicht an und machen neu“ entstehen kann.
- Eigene Agenten: Die Vorgabe zum Melden von Hindernissen ergänzen, weil die direkte API den Entwickler-Prompt von Codex nicht hat.
- Sol oder Astra: siehe den Auswahlleitfaden.
Was das für verschiedene Nutzer bedeutet
Wenn Sie vor allem in Codex arbeiten, kommen AAs Indizes Ihrer Umgebung am nächsten: Astra liegt gleichauf mit dem früheren Flaggschiff, Sol geht etwas zurück, und der Grund für ein Upgrade muss aus der Prüfung an Ihren eigenen Aufgaben kommen, nicht aus der Annahme, die neue Version müsse besser sein. Wenn Sie über die API eigene Agenten bauen, unterscheiden sich die Ranglisten stärker von Ihrem Harness, und Schiranos Harness-These ist für Sie wichtiger: Dasselbe Modell mit anderer Werkzeugbeschreibung, anderer Wiederholungsstrategie und anderer Kontextverwaltung kann sehr unterschiedliche Ergebnisse liefern. Und wenn Sie im Alltag auf Code-Review und 3D-Prototypen setzen, ist die vorhandene Beleglage günstiger für Sie: Kazikes eigener Satz und Theo nennen beide dies als Stärke.
In jedem Fall empfiehlt es sich, das alte Modell als Kontrollgruppe zu behalten, mindestens in der ersten oder zweiten Woche, und denselben Aufgabenstapel mit neuem und altem Modell parallel laufen zu lassen.
Einschränkungen
Seit dem Start ist nur ein Tag vergangen. Die meisten Nutzer hatten Frühzugang, die Stichproben sind klein; Token-Zahlen sind persönliche Angaben; AAs Index wurde auf Stufe max mit dem Codex-Harness gemessen und kann mit einem anderen Harness abweichen. Nichts davon sind Tests von Guishu Intelligence.
Quellen
- OpenAI: Ankündigung, Systemkarte.
- Unabhängige Bewertungen und Zusammenstellungen: Coding-Agent-Seite von AA, AA-Artikel, Implicator, VentureBeat, Handy AI.
- Chinesische Tests: der WeChat-Artikel von Kazike und AIZ Xiaozhu sowie APPSO (Nachdruck bei 36Kr).