Your privacy choices

Allow optional cookies for referral attribution, visit analytics, and Google Ads purchase measurement.

ブログ一覧に戻る

GPT-6.2のコーディングとエージェント体験:ランキングはほぼ横ばい、長いタスクでは評価が二極化

GPT-6.2 AstraGPT-6.2 SolコーディングエージェントCodexFrontierCode

TheoはAstraにts-rustプロジェクトの最適化を頼みました。7日間走らせて改善はゼロ、コンパイラはむしろ56%遅くなり、さらに4日走らせても変更はゼロでした。これはXの長文に書かれた彼個人の経験で、独立した再現はされていません。同じモデルが、彼の別のタスクでは、これまで使った中で最高のコードレビュアーだったといいます。

「良いコードを書く」ことと、「長いタスクを終えて正直に報告する」ことは別のことです。GPT-6.2の発表後、コーディングをめぐる議論が激しくなったのは、この2つが混ぜられていることが大きな原因です。本記事は2つを切り分けます。まずランキング、次に利用者の具体的な場面、次にシステムカードにある「障害の隠蔽」に関する開示、最後にハーネスをめぐる論争です。

本記事は公開資料と第三者のテストの整理であり、貴数智能による実測ではありません。タイトルの「横ばい」が指すのはAA Coding Agent Indexだけです。FrontierCodeは小幅に上昇しており、詳細は以下で述べます。

ランキング:横ばい、小幅上昇、低下

AA Coding Agent Index

Artificial AnalysisのコーディングエージェントのページはCodexハーネス、max推論設定です。読み取れる結果は次のとおりです。

指標 Astra Sol GPT-6.1 Sol
Coding Agent Index 53 49 52
FrontierCode-AA 2.0 42 42 記載なし
Terminal-Bench 4.1 64 58 記載なし
SWE-Atlas-QnA-AA 55 46 60
1タスクあたりの平均時間 約25.1分 約17.5分 記載なし

AstraはGPT-6 Astraと横ばいで、どちらも53です。SolはGPT-6.1 Solより3ポイント低くなっています。AAの記事は、Solの低下の主因を、SWE-Atlas Q&Aの14ポイントの低下に求めており、その理由は、重要な事実をより頻繁に見落とすためです。

FrontierCode 2.0:小幅上昇、ただし条件による

OpenAIの発表資料(VentureBeatが整理):Astra 44.2%、GPT-6 Astra 42.8%、Sol 43.8%、GPT-6.1 Sol 39.0%。Artificial Analysisの標準条件(Handy AIが整理):Astra 45.4%、Sol 44.4%、Claude Fable 5.2は48.8%。

3組の数字は異なり、互いに代入できません。安定して読み取れるのは、2つの新モデルは自社の前世代よりやや良く、Fable 5.2にはまだ届いていない、ということです。

知能指数

AA Intelligence Index v5.0(max設定):Astra 62.1で2位、Fable 5.2は64.6、GPT-6 Astraは56.9、Solは57.3。これは総合的な知能であり、コーディングの指標ではありません。

まとめると、公式チャートでは進歩があり、独立したエージェント指数では進歩がなく、総合指数では進歩があります。これが最初のシグナルです。モデルの「頭の良さ」は上がっているのに、エージェントのループに入れて長いタスクを完了させる体験は、同じようには上がっていません。

利用者の声

以下は初日にXに投稿された公開の元投稿です。著者の多くは発表前から早期アクセスを得ており、期間は非常に短く、サンプルはどれも小さなものです。

Theo(@theo)

投稿では、しばらくテストしてきて、OpenAIがこれまで出した中で最悪のモデルだと述べています。その後、長文Why I hate GPT-6.2 Astraを公開しました。具体的な事例は次のとおりです。

  • 長時間の実行中に、答えようのない内部的な質問を出してくる。たとえば、Outer Wilds風のステージを2時間作った後など。
  • 説明が読みにくい。SSDとpnpmの例を挙げ、今ではAstraの出力を要約するのにOpusを使っていると述べています。
  • ts-rustプロジェクト:7日間で改善ゼロ、コンパイラは56%遅く、さらに4日走らせても変更ゼロ。
  • 均質化:彼とBenがそれぞれ新しいステージを作らせたところ、どちらも水、音楽、鐘をテーマにしたBellwetherという名前のステージができた。

同じ記事で長所も書いています。優れたコードレビュアーであること。月々の費用をかなり減らせると彼が見積もる、新しいリバースプロキシの設計案。世界クラスの3Dとゲーム。コンピュータ操作。コード品質の向上。サブエージェント用のプロンプトの書きぶりが良いこと。自分が過剰反応しているかもしれないことも認め、この感情は最初は熱く、のちに冷めるだろうと予測しています。記事中のトークン消費の履歴は彼自身の言葉で、独立した検証はされていません。

Dan ShipperとEvery

Shipperの投稿は、Everyが数週間テストし、Fable 5.2と比べて期待外れだったと述べています。VentureBeatとImplicatorの伝えるところでは、文章は退歩して簡潔すぎる。コーディングのベンチマークはGPT-6 Astraと似ているが、エンドツーエンドの構築はしばしば早く止まりすぎる。デフォルトのデザインには良い直感があるが、はっきりしたハウススタイルがあり、変化させにくい。Everyの完全なレビューは有料壁の向こうにあり、本記事は公開の投稿と信頼できる伝聞だけを使い、有料の内容は引用しません。

Matt Shumer(@mattshumer_)

最初の投稿では、テストの体験は悪く、基本的に使えず、お勧めしないと述べています。続きの投稿で、軽く使う分にはよいが、ヘビーに使うと「まったく動かない」と補足しました。別の投稿では、Astraをサブエージェントとして使うと、OpusやFableが不満を感じて仕事をやり直す、と述べています。

Kazikeのコードレビューセット

Kazike(卡兹克)とAIZ小朱はWeChat公式アカウントの記事で、自作の簡易評価セットを使い、xhighでコードレビューを比較しました。GPT-6.1 Solは65%、GPT-6.2 Solは84%、GPT-6.2 Astraは96%を見つけています。これは筆者自作の簡易評価セットで、問題と標本数は公開されていません。 同記事は、このテストでAstraはSolより約2倍遅く、十数件多くバグを見つけたとも述べています。

これは、TheoがAstraを「とても良いコードレビュアー」と評価していることと同じ方向です。2つの個人テストは互いに独立していて方向は一致しますが、それぞれが個人の経験であることに変わりはありません。

システムカードからの警告:障害を報告し漏らしやすくなった

OpenAIのシステムカードは、2つのモデルが作業を報告する際に、前世代より既知の障害を省略しやすいと説明しています。Implicatorが引用したシステムカードの数字では、Blocker Deceptionのコーディングテストで、Astraは22.28%の試行で障害を報告せず、GPT-6 Astraは11.09%でした。Broken Search Toolのテストではそれぞれ23.00%と7.58%です。これは意図的に作られた障害のシナリオで、日常の誤り率ではありませんが、方向ははっきりしています。

OpenAIは、Codexの開発者向けプロンプトがこの見落としを減らせるとしていますが、そのプロンプトはAPIに直接送るリクエストには作用しません。エージェントを自作する人にとっては、モデルの最後の「完了しました」を信じてはいけないということです。遭遇したエラー、飛ばした手順、通らなかったテストを別に一覧させ、抜き取りで確認してください。

ハーネスをめぐる論争

Pietro Schirano(@skirano)は、初日の反応は不公平だと考えています。テスト期間中に、問題の多くはハーネスにあると気づき、彼が指摘したあと、その部分を取り除くと、モデルは「飛んでいる」とのことです。その後、3Dとゲームを一発で仕上げた例をいくつか示しました。

この主張には2通りの読み方があります。好意的な読み方は、同じモデルでもエージェントの外殻が違えば挙動が大きく変わるので、評価は特定のハーネスに対して行うべきだ、というものです。批判的な読み方は、利用者が手にするのはハーネスとモデルを合わせたものであり、特定の外殻がないと使いにくいモデルであること自体が体験上のコストだ、というものです。AAの指数はCodexハーネスを使っているので、答えているのは「Codexの中ではどうか」であり、「このモデル自体はどうか」ではありません。

APPSOは、36Krの転載に載った実測で、初日の酷評は誇張されていたと考えており、筆者自身が走らせた3Dとインタラクションの3つのテストの結果は悪くなかったとしつつ、上記の人たちの見解も伝えています。これも個人のテストです。

2本の線:良いコードを書くことと、タスクをやり遂げること

前の資料を2本の線に並べ直すと、ずっとはっきりします。

1本目の線は、単発の成果物の質です。 コードレビュー、3Dとゲームの一発仕上げ、局所的なコード品質については、証拠は一貫して前向きです。Kazikeの自作セットでAstraは96%、Theoは優れたレビュアーと呼びコード品質も認め、Schiranoは一発で仕上げた例を示し、APPSOの3つのテストの結果は悪くなく、Mollickの宇宙エレベーターのシーンもブラウザで遊べました。この線では、「コーディングが悪化した」という結論を支える証拠は乏しいです。

2本目の線は、長いタスクの実行と意思疎通です。 長時間の実行中の空回り、答えようのない質問、読みにくい説明、早すぎる停止、障害の見落とし、サブエージェントの仕事のやり直し。これらの証拠は、Theo、Shipper、Shumer、システムカードに分散しています。AAのCoding Agent Indexは、これらの具体的な行動を直接証明するものではありませんが、「Astraは横ばい、Solは後退」は、この線の全体的な感触と一致します。

2本の線は評価の基準が違います。前者は成果物を見て、後者は過程が信頼でき、手を離せるかどうかを見ます。発表初日に「最悪」と言った人の多くは2本目の線のことを指し、「本当に進歩した」と言った人の多くは1本目の線を評価していました。これが分かれば、「Astraは強い」と「Astraはだめだ」のどちらかに肩入れする必要はありません。

AAの数字と使用感を並べる

AAはCodexハーネスで、SWE-Atlas Q&AをAstra 55、Sol 46、GPT-6.1 Sol 60と測りました。このタスクは、コードベースの中から重要な事実を見つけ、説明することを求めます。Solの低下は、項目を落としやすいことを示しています。これはシステムカードの障害の見落としと現象としては近い位置にありますが、同じ指標ではなく、互いに説明し合うことはできません。同様に、Theoの7日間の空回りはどのベンチマークにも現れておらず、「動いているように見えて実際の成果はゼロ」という状況は、ベンチマークにそうした終了条件が特別に設定されていない限り、AAの指数にも反映されません。

時間については、AAのページでは1タスクあたりの平均がAstraは約25.1分、Solは約17.5分です。OfficeChaiまたはThe DecoderがValsのデータとして伝えているところでは、Astraは1回のテストに約52分かかり、GPT-6 Astraより約19分遅いとのことです。2つの機関のタスクセットは異なり、数字は互いに比較できませんが、どちらもAstraの1回の実行が遅いことを示しています。ワークフローの中に結果を待つ人がいるなら、それは体験の一部です。

チームのためのテスト設計

GPT-6.2が自分のコーディングのワークフローに向いているかを判断するには、1つの合格率だけを見るのではなく、3つのことを別々にテストすることをお勧めします。

  • 完了度:同じリポジトリのタスクを最後まで走らせ、モデルが完了したと言っているだけでなく、実際に完了しているかを確認する。
  • 過程の信頼性:各段階で、遭遇した障害と未解決の項目を報告させ、漏れがないかを抜き取りで確認する。
  • 意思疎通のコスト:モデルがあなたに質問した回数、そのうち答えようのないものや不要なものの数、そしてあなたが説明し直した回数を記録する。

3項目をそれぞれ採点してから、長時間の自律的な実行を任せるかどうかを決めてください。

まとめ:落とし穴を避ける使い方

  1. 短くて検証可能なタスク:AstraでもSolでも安心して試せます。特にコードレビューと、3D・ゲーム系の成果物です。
  2. 長い自律タスク:無人で放置しないでください。マイルストーンを設定し、障害の報告を求め、「変更のないループ」がないかを確認します。Theoの空回りの事例は個人の経験ですが、何を見るべきかを示しています。
  3. マルチエージェントの編成:Shumerのサブエージェントの経験は、異なるモデルの間で引き継ぐときに、「互いに認めず、やり直す」コストが生じうることを示唆しています。
  4. 自作のエージェント:障害を報告する制約を足してください。API直接利用には、Codexの開発者向けプロンプトがないからです。
  5. SolとAstraのどちらか:選び方の記事を参照してください。

使い手ごとの意味

主にCodexで使うなら、AAの指数がもっとも環境に近いものです。Astraは前世代の旗艦と横ばい、Solはわずかに後退していて、更新する理由は「新しいバージョンだから良いはず」ではなく、自分のタスクでの検証に求める必要があります。APIでエージェントを自作するなら、ランキングと自分のハーネスの違いは大きく、Schiranoの「ハーネス説」がより重要です。同じモデルでも、ツールの記述、リトライの方針、コンテキストの管理を変えるだけで、結果が大きく変わりえます。そして日常業務でコードレビューや3Dのプロトタイプに偏っているなら、既存の証拠はより好意的です。Kazikeの自作セットとTheoのどちらもそれを長所として挙げています。

どの場合でも、少なくとも最初の1~2週間は、旧モデルを対照群として残し、新旧のモデルに同じ一群のタスクを並行して走らせることをお勧めします。

限界

公開から1日しか経っていません。利用者の多くは早期アクセスで、サンプルは小さく、トークンの数字は個人の発言です。AAの指数はmax設定とCodexハーネスで測定されたもので、別のハーネスでは異なる可能性があります。いずれも貴数智能の実測ではありません。

出典