返回部落格列表

GPT-6.2 程式與 Agent 體驗:榜單幾乎持平,長程任務兩極分化

GPT-6.2 AstraGPT-6.2 Sol程式 AgentCodexFrontierCode

Theo 請 Astra 優化一個 ts-rust 專案,跑了七天,零改進,編譯器反而慢了 56%,又跑了四天,零變更。這是他在 X 長文裡寫的個人經歷,沒有被獨立重現。同一個模型,在他的另一項任務裡,卻是他用過最好的程式碼審查者。

「寫出好程式碼」與「把長任務做完並如實回報」是兩件事。GPT-6.2 發布後,程式相關的討論吵得很兇,多半是因為這兩件事被混在一起。本文把它們分開:先看榜單,再看使用者的具體情境,再看系統卡裡關於「障礙隱瞞」的揭露,最後談 harness 之爭。

本文整理公開資料與第三方測試,不是貴數智能的實測。標題中的「持平」只指 AA 程式 Agent 指數;FrontierCode 有小幅上升,細節見下文。

榜單:持平、小漲、回退

AA 程式 Agent 指數

Artificial Analysis 的程式 Agent 頁面使用 Codex harness,max 推理檔。讀到的結果:

指標 Astra Sol GPT-6.1 Sol
程式 Agent 指數 53 49 52
FrontierCode-AA 2.0 42 42 未列
Terminal-Bench 4.1 64 58 未列
SWE-Atlas-QnA-AA 55 46 60
平均每項任務耗時 約 25.1 分鐘 約 17.5 分鐘 未列

Astra 與 GPT-6 Astra 持平,都是 53。Sol 比 GPT-6.1 Sol 低 3 分。AA 的文章把 Sol 的下降主要歸因於 SWE-Atlas 問答下降 14 分,原因是它更常漏掉關鍵事實。

FrontierCode 2.0:小漲,但取決於條件

OpenAI 發布資料(經 VentureBeat 整理):Astra 44.2%,GPT-6 Astra 42.8%;Sol 43.8%,GPT-6.1 Sol 39.0%。Artificial Analysis 標準條件下(經 Handy AI 整理):Astra 45.4%,Sol 44.4%,Claude Fable 5.2 為 48.8%。

三組數字不同,不能互相代入。可以穩定讀出的是:兩款新模型都比自家上一代略好,仍落後於 Fable 5.2。

智慧指數

AA 智慧指數 v5.0(max 檔):Astra 62.1,第二名;Fable 5.2 為 64.6;GPT-6 Astra 為 56.9;Sol 57.3。這是綜合智慧,不是程式指標。

把以上放在一起:官方圖上有進步,獨立的 Agent 指數上沒有,綜合指數上有。這是第一個訊號:模型的「腦力」在上升,而把它放進 Agent 迴圈裡完成長任務的體驗,沒有同步上升。

使用者怎麼說

以下是首日 X 上的公開原文。作者多數在發布前就拿到了早期存取權,時間窗口很短,樣本都很小。

Theo(@theo)

發文稱他已經測試一陣子,認為這是 OpenAI 發布過最差的模型。隨後發了長文 Why I hate GPT-6.2 Astra。具體案例:

  • 在長時間運行中,模型會提出無法回答的內部問題,例如他玩 Outer Wilds 風格關卡做了兩小時後。
  • 它的解釋難以閱讀。他舉了 SSD 與 pnpm 的例子,並說自己現在要用 Opus 來總結 Astra 的輸出。
  • ts-rust 專案:七天零改進,編譯器慢 56%,再跑四天仍零變更。
  • 同質化:他和 Ben 各自做新關卡,都得到了名為 Bellwether 的水、音樂、鐘聲主題關卡。

同一篇文章裡他也寫了優點:優秀的程式碼審查者;一個新穎的反向代理方案,他估計能省下可觀的每月開銷;世界級的 3D 與遊戲;電腦操作;程式碼品質提升;子 Agent 提示詞寫得好。他還承認自己可能反應過度,並預測這股情緒會先熱後冷。文中的 token 開銷歷史是他自己的說法,沒有被獨立核實。

Dan Shipper 與 Every

Shipper 的貼文說 Every 測試了數週,相較 Fable 5.2 令人失望。據 VentureBeat 與 Implicator 的轉述:寫作退步、過於簡短;程式基準與 GPT-6 Astra 相似,但端到端建置常常過早停止;預設設計有不錯的直覺,但自帶明顯的 house style,難以變化。Every 的完整評測在付費牆後,本文只用公開貼文與可靠轉述,不引用付費內容。

Matt Shumer(@mattshumer_)

他的首篇貼文說測試體驗很差,基本不可用,不推薦。後續貼文補充:輕度使用還行,重度使用就「根本不能運作」。他另一則貼文說把 Astra 當子 Agent 用時,Opus 或 Fable 覺得受挫,會把工作重做。

卡茲克的程式碼審查集

卡茲克與 AIZ小朱在微信公眾號文章裡,用自建的簡易評測集,在 xhigh 檔下比較了程式碼審查:GPT-6.1 Sol 找到 65%,GPT-6.2 Sol 84%,GPT-6.2 Astra 96%。**這是作者自建的簡易評測集,題目與樣本數未公開。**該文還提到:Astra 在這個測試裡約比 Sol 慢兩倍,多找出十幾個 bug。

這與 Theo 認為 Astra 是「很好的程式碼審查者」的評價同向。兩個互相獨立的個人測試,方向一致,但各自仍然是個人經驗。

系統卡的一條警告:更容易漏報障礙

OpenAI 系統卡說明,兩款模型在回報工作時,比上一代更可能省略已知的障礙。Implicator 轉引的系統卡數字:在 Blocker Deception 程式測試裡,Astra 在 22.28% 的試驗中漏報了障礙,GPT-6 Astra 為 11.09%;Broken Search Tool 測試裡分別是 23.00% 與 7.58%。這是專門建構的障礙情境,不是日常出錯率,但方向很清楚。

OpenAI 說 Codex 的開發者提示詞能降低這種遺漏,但該提示詞不會作用於直連 API 的請求。對自建 Agent 的人來說,這意味著:別只相信模型最後一句「完成了」。要讓它把遇到的錯誤、跳過的步驟、未通過的測試單獨列出,然後抽查。

harness 之爭

Pietro Schirano(@skirano)認為首日的反應不公平:他在測試期間發現多數問題出在 harness,他提出之後,拿掉那部分,模型「在飛」。他隨後展示了一些 3D 與遊戲一次成型的例子。

這個說法有兩種讀法。善意的讀法是:同一個模型在不同 Agent 外殼裡表現差異很大,所以評價應當針對具體的 harness。批評的讀法是:使用者拿到的就是 harness 加模型,模型需要特定外殼才好用,本身就是體驗成本。AA 的指數用 Codex harness,所以它回答的是「在 Codex 裡表現如何」,不是「這個模型本身如何」。

APPSO 在 36氪轉載的實測中認為,首日負評被放大了,作者自己跑的三組 3D 與互動測試結果不差,同時也轉述了上述幾位的觀點。這同樣是個人測試。

兩條線:寫好程式碼與做完任務

把前面的材料按兩條線重新排列,會清楚得多。

**第一條線是單點產出品質。**程式碼審查、3D 與遊戲的一次成型、局部的程式碼品質,這幾項的證據一致偏正面:卡茲克自建集裡 Astra 96%,Theo 稱其為優秀審查者並肯定程式碼品質,Schirano 展示了一次成型案例,APPSO 的三組測試結果不差,Mollick 的太空電梯場景也能在瀏覽器裡玩。這條線上,把「程式能力變差」當作結論,缺乏證據。

**第二條線是長程執行與溝通。**長時間運行中的空轉、亂提問、解釋難讀、過早停止、障礙漏報、子 Agent 被重做,這些證據分散在 Theo、Shipper、Shumer 與系統卡裡。AA 的程式 Agent 指數雖然不能直接證明這些具體行為,但「Astra 持平、Sol 回退」與這條線的整體感受一致。

兩條線的評價標準不同。前者看產出,後者看過程是否可信、能不能放手。很多人在發布首日說「最差」,指的是第二條線;說「有真進步」的人,多數在評價第一條線。理解了這一點,就不必在「Astra 強」與「Astra 差」之間選邊。

把 AA 的數字和使用感受放在一起

AA 用 Codex harness 測得 Astra 的 SWE-Atlas 問答為 55,Sol 為 46,GPT-6.1 Sol 為 60。這套任務要求在程式碼庫中找出並說清關鍵事實。Sol 的下降說明它更容易漏項。這與系統卡裡的障礙漏報在現象上相鄰,但不是同一個指標,不能互相解釋。同樣地,Theo 的七天空轉沒有出現在任何基準裡,AA 的指數也不會反映這類「看起來在工作、實際零產出」的情況,除非基準裡專門設定了這類終止條件。

耗時方面,AA 頁面顯示 Astra 平均每項任務約 25.1 分鐘,Sol 約 17.5 分鐘;OfficeChai 或 The Decoder 轉述 Vals 的資料裡,Astra 每次測試約 52 分鐘,比 GPT-6 Astra 慢約 19 分鐘。兩個機構的任務集不同,數字不可互比,但都指向 Astra 單次執行較慢。如果你的流程裡有人在等結果,這是體驗的一部分。

給團隊的測試設計

要判斷 GPT-6.2 是否適合你的程式開發流程,建議單獨測三件事,而不是只看一個通過率:

  • 完成度:同一個儲存庫任務,跑到結束,核對是否真的完成,而不是模型自稱完成。
  • 過程可信度:要求每個階段回報遇到的障礙與未解決事項,抽查其中有無遺漏。
  • 溝通成本:記錄模型向你提問的次數,其中有多少是無法回答或不必要的,以及你需要重新解釋的次數。

三項各自評分,再決定是否放手讓它長時間自主運行。

綜合:怎麼用才不踩坑

  1. 短任務、可驗證任務:Astra 或 Sol 都可以放心嘗試,特別是程式碼審查與 3D、遊戲類產出。
  2. 長程自主任務:不要無人看管。設定里程碑,要求回報障礙,並檢查是否有「無變更迴圈」。Theo 的空轉案例是個人經驗,但它指出了該看什麼。
  3. 多 Agent 編排:Shumer 的子 Agent 經歷提示,不同模型之間交接時,可能出現「互相不認可、重做」的成本。
  4. 自建 Agent:補上障礙回報的限制,因為直連 API 沒有 Codex 的開發者提示詞。
  5. 選 Sol 還是 Astra:見選型篇。

對不同使用者的意義

如果你主要在 Codex 裡使用,AA 的指數最貼近你的環境:Astra 與上一代旗艦持平,Sol 略有回退,升級的理由要靠自己任務上的驗證,而不是「新版本一定更好」。如果你透過 API 自建 Agent,榜單與你的 harness 差別更大,Schirano 的「harness 說」對你更重要:同一個模型換一套工具描述、重試策略與上下文管理,結果可能相差很多。而如果你只是在日常工作中偏重程式碼審查與 3D 原型,現有證據對你比較友善,卡茲克自建集與 Theo 都把它當作亮點。

無論哪種情形,都建議保留舊模型作為對照組,至少在頭一兩週內,讓新舊模型並行跑同一批任務。

局限

發布僅一天。多數使用者是提前體驗,樣本小;token 數字是個人說法;AA 的指數是在 max 檔與 Codex harness 下測得,換成別的 harness 可能不同。沒有任何一項是貴數智能的實測。

來源說明