GPT-6.2 Astra 評測:科研與專業交付拉開差距,AA 程式 Agent 指數與上一代持平
同一天、同一個模型,在幾張榜上的名次不同:Vals 科學指數第一,Artificial Analysis(下稱 AA)智慧指數第二,Vals 綜合指數第七。其中 Vals 科學指數與 Vals 綜合指數,是同一個機構的兩張榜。名次不同,可能來自測試條件、任務組成與計分方式的差異,不宜把某一張榜或三個名次合併成一個整體能力的結論。
OpenAI 在 2026 年 11 月 17 日發布 GPT-6.2 Astra 與 GPT-6.2 Sol。官方將 Astra 定位為處理「最困難專案」的前沿模型,Sol 則負責日常工作與大規模 Agent。本文只談 Astra:哪些領域有獨立證據支持,哪些地方沒有跟上。
本文整理公開資料,不是貴數智能的實測。所有數字都標明出處與條件,不同機構的數字不會合併成同一張表。
先看結論
- 科研:Vals 科學指數、Epoch ECI、AA 的終端科學任務,都給出正面訊號。
- 專業交付:Surge 在自家職業任務套件上的判斷是,Astra 是目前最值得用的 OpenAI 模型,但仍沒有追上榜首的 Anthropic 模型。這是 Surge 的判斷。
- 3D:AA-3D 人類評分領先,多位早期測試者的 3D 與遊戲展示也很強。
- 程式 Agent:只有 AA 程式 Agent 指數與 GPT-6 Astra 持平;FrontierCode 等其他程式項目有小幅上升。
- 綜合榜:Vals 綜合指數只排第七。
- 法律:基座模型在 Vals 法律榜的成績並不突出。
官方怎麼定位 Astra
根據 OpenAI 模型文件,Astra 的 API ID 為 gpt-6.2-astra。它接受文字與圖像輸入,輸出文字,不支援音訊與影片。上下文視窗 1,050,000 token,最大輸入 922,000,最大輸出 128,000。知識截止日期是 2026 年 5 月 18 日。API 不接受 reasoning effort = none。
可用性以 ChatGPT Learn 為準:模型在 ChatGPT Work、Codex 與 OpenAI API 提供。在 ChatGPT 裡要先開啟 Work,文件並沒有說它進入了一般聊天視窗。Enterprise 與 Edu 需要管理員啟用。
科研:三個來源方向一致
Vals 科學指數。 這個指數由 BioMysteryBench、MysteryMechanism 與 Terminal-Bench-Science 三項取平均。依 Vals 頁面(11 月 16 日更新),Astra 第一,68.44%;GPT-6 Astra 為 65.09%;Claude Fable 5.2 為 63.74%。
Epoch AI。 Epoch 模型頁顯示 Astra 的 ECI 為 174,與 Fable 5.2 並列第一(241 個模型),GPT-6 Astra 為 169。在 FrontierMath Erdős 子集上,Astra 答對 7/68,先前紀錄是 GPT-6.1 Sol 的 3/68。據 The Decoder 轉述系統卡,其中一題先前沒有已知解。
AA 終端科學任務。 在 AA 標準 harness 下,依 Artificial Analysis 的資料,經 Handy AI 整理,Terminal-Bench Science 上 Astra 為 78.1%,Fable 5.2 為 73.3%,GPT-6 Astra 為 63.3%。OpenAI 自己的圖表中,這一項是 77.1% 對 68.1%,來自 OpenAI 發布資料(經 VentureBeat 整理),harness 與取樣不同,兩組數字不能放進同一張表。
綜合智慧。 AA 智慧指數 v5.0,max 推理檔:Astra 為 62.1,排第二,僅次於 Fable 5.2 的 64.6,高於 Gemini 4 Carbon(high 檔)的 60.0 與 Claude Opus 5.5 的 59.1,比 GPT-6 Astra 的 56.9 高 5.2 分。
一個需要保留的疑點:Epoch 自己的研究任務
Epoch 在預發布評估中,還跑了自有的真實研究任務。據 The Decoder 對該評估的轉述,Astra 相較 GPT-6 Astra 幾乎沒有實質提升,也弱於 Fable 5.2:簡單的研究題會離題,遇到問題修不動就空轉,做資料中心調研時過於保守,跳過關鍵估算。寫作在受測模型中相對較強,但仍低於 Epoch 自己的標準。
所以「科研強」要加上限定:在有明確答案、可驗證的科學基準上強。至於開放式的研究工作,證據並不一致。
專業交付:Surge 的職業任務套件
Surge 在 11 月 18 日發布了一套獨立評測,包含 11 項由醫師、會計師、律師與資深工程師設計的「一般工作日」任務(@HelloSurgeAI 原文)。結論有兩面:
- Astra 在 Chartography 排第一,90.7%(Sol 87.7%,GPT-6 Astra 71.0%)。
- 在 sudo L7 上,Astra 為 38.3%,是 OpenAI 目前最好的成績,但仍低於 Fable 的 52.2%、Sonnet 的 50.6% 與 Opus 的 46.1%。
- Surge 的整體判斷(並非本文結論)是:這是 OpenAI 目前最適合職業工作的模型,但各榜的首位仍主要是 Anthropic 與 Google。
發文時 Astra 的金融任務仍在執行,這裡不引用尚未公布的分數。
3D:證據最集中的一塊
AA-3D 是人類評分的 Elo:Astra 1318,Fable 5.2 為 1271,Sol 為 1259。AA 另有機器人評測 AA-Robotics v0.1,Astra 79、Sol 78、Fable 75,但那是研究預覽,任務偏簡單,差距不宜過度解讀。
個人測試的方向一致,但要看清楚是誰、在什麼條件下測的:
- 卡茲克與 AIZ小朱在微信公眾號文章裡,讓 Astra 生成第一人稱跑酷遊戲、Three.js 秋日火車站與古希臘世界。他們的感受是 3D 任務相當不錯,古希臘那一例在餵入截圖並反覆調整約一小時後,讓作者印象深刻。這是作者自己的實驗,不是榜單。
- APPSO 在 36氪授權轉載的實測中,跑了水下探索遊戲、鄉村騎行動畫與基礎 WebGL 場景,結論是首日的負評有些被放大。
- Ethan Mollick(@emollick)在發布前測試了一個太空電梯場景,在瀏覽器裡可以玩,但他同時說模型更難駕馭,自己不會首選。
「偏科」這個詞從哪來
卡茲克的文章標題用了「偏科」,大意是 OpenAI 越走越偏。它的論據並不都來自榜單:
- 規劃題:作者給了一個「為 AIHOT 新增合規留言功能」的簡單提示,Gemini 4 Carbon 約 5 分鐘就給出清楚可執行的方案,Astra 約 24 分鐘,篇幅短但難讀,還建議早期人工審核,被作者否決。
- 非 3D 審美:同一個動態影片提示下,作者對 Astra 的結果很不滿意。
- 程式碼審查:作者自建簡易評測集,GPT-6.1 Sol 找到 65% 的問題,GPT-6.2 Sol 84%,GPT-6.2 Astra 96%,全部 xhigh 檔。這是作者自建的簡易評測集,題目與樣本數未公開,不是業界基準。
這些都是單一作者在特定條件下的體驗。它們與部分榜單的方向一致,可以當作佐證,但不能當作量化結論。
AA 程式 Agent 指數:與上一代持平
AA 的程式 Agent 指數使用 Codex harness、max 檔:Astra 為 53,與 GPT-6 Astra 持平。同一頁上 Astra 的 FrontierCode-AA 2.0 為 42,Terminal-Bench 4.1 為 64,SWE-Atlas-QnA-AA 為 55,平均每項任務約 25.1 分鐘。
FrontierCode 2.0 在不同條件下有三個數字:OpenAI 官方圖 44.2%(GPT-6 Astra 42.8%),AA 標準條件 45.4%(Fable 5.2 為 48.8%),AA 程式 Agent 頁面的 Codex harness 下為 42。名稱相同,條件不同,數字也就不同。
Vals 綜合指數(OfficeChai 轉述 Vals,本文未直接核對 Vals 綜合榜)中,Astra 為 67.66%,排第七,與 Sol 的 66.06%(第九)只差 1.6 分。同一份轉述提到,Astra 在前十名中平均輸出 token 最少(約 91,000),但單次測試耗時 52 分 16 秒,比 GPT-6 Astra 慢約 19 分鐘。
法律:別把專用版算到基座頭上
據 The Decoder 彙整的 Vals 法律榜,兩款基座模型在 HLAB 的成績大約是前代的兩倍,但只排第 11 與第 21;Legal Research 排第 30 與第 52。OpenAI 官方在 Harvey LAB-AA 上給出 Astra 15.0%、GPT-6 Astra 8.6%,並稱通過率超過 Fable 5.2 一倍以上,這是 OpenAI 發布資料的口徑,與 Vals 排名不是同一套計分。另有帶法律檢索配置的 Astra for Law,在 Legal Research 排第六,那是專用版,不能算作基座模型的成績。
幻覺與可監測性
AA-Omniscience 在 max 檔下,Astra 的幻覺率為 59%,Sol 為 55%(越低越好)。這套題目很難,不代表日常對話中的幻覺率。
系統卡還揭露了兩點:Astra 是首個對外發布、且達到「自我改進 High」門檻的模型;兩款模型在回報工作時,更容易漏掉已知的障礙。後者在程式與 Agent 體驗一文中另行說明。
OpenAI 自己的圖表說了什麼
以下數字全部來自 OpenAI 發布資料,經 VentureBeat 整理。須注意,官方圖常取「最佳描點」,不同基準可能對應不同推理檔。Astra 對 GPT-6 Astra:
- Agents' Last Exam:78.3% 對 73.1%。官方稱領先 Fable 5.2 約 5.5 分。
- Terminal-Bench-Science:77.1% 對 68.1%。
- BenchCAD 2.1 Core:82.5% 對 62.6%,這是升幅最大的一項。
- AutomationBench(官方圖):52.4% 對 41.4%。
- LifeVal:86.1% 對 79.8%。
- GDPval v2(OpenAI 內部):官方正文給出 +6.2 分,輸出 token 少 22%。
把這些數字放在一起會看到一個規律:官方挑選的基準,大多是科學、CAD、自動化辦公這類可自動評分的任務,正好是 Astra 的強項。AA 程式 Agent 指數沒有出現同樣幅度的提升,這是「偏科」這個判斷中較有依據的部分,但它只涵蓋這一項指數,不能推及所有程式能力。
為什麼「偏科」不等於「變差」
首日輿論中出現了「史上最差」與「根本不能用」之類的說法(回饋篇逐條列出了原文)。把它們與榜單放在一起,可以得到比較克制的解釋:
- 基準衡量的是有標準答案的任務,使用者日常互動衡量的是溝通、判斷與耐心。兩者不是同一件事。
- 據 The Decoder 轉述的系統卡與 Epoch 資料,Astra 在單一 token、不使用思維鏈的條件下,可完成的串列推理步數是 12.3,高於 GPT-6 Astra 的 10.5 與 GPT-6.1 Sol 的 8.3。系統卡指出,這會影響可監測性。
- 自主運行的時間越長,越容易暴露「遇到障礙時不如實回報」的問題,這一點來自系統卡,會在程式篇中展開。
也就是說,同一個模型可以在 Vals 科學榜排第一,同時被一位重度使用者評為難用。兩者可以同時成立。
讀這些數字時的三條規矩
第一,同一個基準名稱,換一個機構就是另一個數字。Terminal-Bench-Science 在 OpenAI 圖表中是 77.1%,在 AA 標準 harness 下是 78.1%,相差一分,卻不是同一次測試。AutomationBench 也有類似問題:OpenAI 官方圖中 Astra 是 52.4%,AA 的 AutomationBench-AA 是另一套口徑,本文不引用後者,以免混淆。
第二,名次與分數要分開看。Vals 科學指數第一,是因為它的三項子任務正好偏向科研;Vals 綜合指數第七,是因為綜合榜包含更多程式、法律、金融等類別。榜單涵蓋的任務不同,名次自然不同。
第三,「最佳描點」不等於預設體驗。官方圖是為了展示上限,常用較高的推理檔;你在 API 裡的預設設定、Work 裡的自動選擇,可能比圖上更省 token,也可能更弱。要重現結果,就要固定同一檔位。
適合與不適合
適合優先試 Astra 的情境:有可驗證答案的科學計算、需要 3D 或互動場景的原型、複雜的專業文件與圖表。
需要謹慎的情境:長時間無人看管的程式任務、對表達可讀性要求高的規劃文案、法律檢索(要區分基座與專用版)。這是依據上述公開證據所做的判斷。真正適合你團隊的選擇,仍要用自己的任務集驗證。
怎麼用自己的任務驗證
如果你打算評估 Astra,建議先準備二十到五十個自己業務中真實出現過的任務,並分成三類:有標準答案的(計算、資料處理)、需要產出物的(文件、圖表、3D 或前端頁面)、需要長程執行的(修復儲存庫問題、多步驟遷移)。針對每一類,分別記錄是否完成、耗時、輸出 token,以及需要人工修正的次數。Astra 的特點是單次輸出少而思考時間長,所以只看「回答快不快」,會得出偏差很大的結論。
同時固定推理檔位,並在回報中要求模型列出遇到的障礙,再由人工核對。系統卡提到模型更容易遺漏已知障礙,這一步不能省。
來源說明
- OpenAI:發布文章、Astra 模型文件、ChatGPT Learn、系統卡。
- 獨立評測:Artificial Analysis、Epoch AI、Vals AI、Surge。
- 媒體整理:The Decoder、VentureBeat、Handy AI。
- 中文實測:卡茲克、AIZ小朱的微信公眾號文章,APPSO(36氪轉載)。
資料截至 2026 年 11 月 18 日,發布僅一天,榜單仍會變動。以上均為第三方公開資料與個人測試,不是貴數智能的實測結果。