返回博客列表

GPT-6.2 Astra 评测:科研和专业交付拉开差距,AA 编程 Agent 指数与上一代持平

GPT-6.2 AstraOpenAI模型评测科研3D

同一天、同一个模型,在几张榜上名次不同:Vals 科学指数第一,Artificial Analysis(下称 AA)智能指数第二,Vals 综合指数第七。其中 Vals 科学指数和 Vals 综合指数是同一机构的两张榜。名次不同,可能源于测试条件、任务构成和计分口径不同,不宜把某一张榜或三个名次合成一个总能力结论。

OpenAI 在 2026 年 11 月 17 日发布 GPT-6.2 Astra 和 GPT-6.2 Sol。官方把 Astra 定位为“最难项目”的前沿模型,Sol 负责日常工作和规模化 Agent。本文只谈 Astra:哪些领域有独立证据支持,哪些地方没有跟上。

本文是对公开资料的整理,不是贵数智能的实测。所有数字都标明了出处和条件,不同机构的数字不会合并成一张表。

先看结论

  • 科研类:Vals 科学指数、Epoch ECI、AA 的终端科学任务都给出正面信号。
  • 专业交付:Surge 在其职业任务套件上的判断是,Astra 是目前最值得用的 OpenAI 模型,但仍没有追上榜首的 Anthropic 模型。这是 Surge 的判断。
  • 3D:AA-3D 人类评分领先,多位早期测试者的 3D 和游戏演示也很强。
  • 编程 Agent:仅 AA 编程 Agent 指数与 GPT-6 Astra 持平;FrontierCode 等其他编程项有小幅上升。
  • 综合榜:Vals 综合指数只排第七。
  • 法律:基座模型的 Vals 法律榜成绩不突出。

官方怎么定位 Astra

根据 OpenAI 模型文档,Astra 的 API ID 为 gpt-6.2-astra。它接受文本和图像输入,输出文本,不支持音频和视频。上下文窗口 1,050,000 token,最大输入 922,000,最大输出 128,000。知识截止日期是 2026 年 5 月 18 日。API 不接受 reasoning effort = none。

可用性以 ChatGPT Learn 为准:模型在 ChatGPT Work、Codex 和 OpenAI API 提供。在 ChatGPT 里要先打开 Work,文档并没有说它进入了普通聊天窗口。Enterprise 和 Edu 需要管理员开启。

科研:三家独立来源方向一致

Vals 科学指数。 这个指数由 BioMysteryBench、MysteryMechanism 和 Terminal-Bench-Science 三项取平均。按 Vals 页面(更新于 11 月 16 日),Astra 第一,68.44%;GPT-6 Astra 为 65.09%;Claude Fable 5.2 为 63.74%。

Epoch AI。 Epoch 模型页显示 Astra 的 ECI 为 174,与 Fable 5.2 并列第一(241 个模型),GPT-6 Astra 为 169。FrontierMath Erdős 子集上,Astra 答对 7/68,此前纪录是 GPT-6.1 Sol 的 3/68。据 The Decoder 转述系统卡,其中一题此前没有已知解。

AA 终端科学任务。 在 AA 标准 harness 下,据 Artificial Analysis 数据,经 Handy AI 整理,Terminal-Bench Science 上 Astra 为 78.1%,Fable 5.2 为 73.3%,GPT-6 Astra 为 63.3%。OpenAI 自己的图表里这一项是 77.1% 对 68.1%,来自 OpenAI 发布材料(经 VentureBeat 整理),harness 和取样不同,两组数不能放进同一张表。

综合智能。 AA 智能指数 v5.0,max 推理档:Astra 62.1,第二名,仅次于 Fable 5.2 的 64.6,高于 Gemini 4 Carbon(high 档)的 60.0 和 Claude Opus 5.5 的 59.1,比 GPT-6 Astra 的 56.9 高 5.2 分。

一个需要保留的疑点:Epoch 自己的研究任务

Epoch 在预发布评估中还跑了自有的真实研究任务。据 The Decoder 对该评估的转述,Astra 相对 GPT-6 Astra 几乎没有实质提升,弱于 Fable 5.2:简单研究题会偏题,遇到问题修不动会空转,做数据中心调研时过于保守,跳过关键估算。写作相对其他受测模型较强,但仍低于 Epoch 自己的标准。

所以“科研强”要限定为:有明确答案、可验证的科学基准上强。开放式研究工作,证据并不一致。

专业交付:Surge 的职业任务套件

Surge 在 11 月 18 日发布了一套独立评测,包含 11 项由医生、会计师、律师和资深工程师设计的“普通工作日”任务(@HelloSurgeAI 原帖)。结论有两面:

  • Astra 在 Chartography 上排第一,90.7%(Sol 87.7%,GPT-6 Astra 71.0%)。
  • 在 sudo L7 上,Astra 为 38.3%,是 OpenAI 目前最好的成绩,但仍低于 Fable 52.2%、Sonnet 50.6% 和 Opus 46.1%。
  • Surge 的总体判断(非本文结论)是:这是 OpenAI 目前最适合职业工作的模型,但各榜首位仍主要是 Anthropic 和 Google。

发帖时 Astra 的金融任务仍在运行,这里不引用未公布的分数。

3D:证据最集中的一块

AA-3D 是人类评分的 Elo:Astra 1318,Fable 5.2 为 1271,Sol 为 1259。AA 另有一个机器人评测 AA-Robotics v0.1,Astra 79、Sol 78、Fable 75,但那是研究预览,任务偏简单,差距不宜解读过度。

个人测试这边方向一致,但要看清是谁、在什么条件下:

  • 卡兹克与 AIZ 小朱在公众号文章里,让 Astra 生成第一人称跑酷游戏、Three.js 秋日火车站和古希腊世界。他们的体验是 3D 任务相当好,古希腊那一例在喂入截图并迭代约一小时后让作者印象深刻。这是作者自己的实验,不是榜单。
  • APPSO 在 36氪授权转载的实测里跑了水下探索游戏、乡村骑行动画和基础 WebGL 场景,结论是首日差评有些放大。
  • Ethan Mollick(@emollick)预发布测试了一个太空电梯场景,浏览器里可玩,但他同时说模型更难驾驭,自己不会首选。

“偏科”这个词从哪来

卡兹克的文章标题用了“偏科”,大意是 OpenAI 越走越偏。它的论据并不都来自榜单:

  • 规划题:作者给了一个“为 AIHOT 增加合规评论功能”的简单提示,Gemini 4 Carbon 约 5 分钟给出清晰可执行的方案,Astra 约 24 分钟,篇幅短但难读,并建议早期人工审核,被作者否掉。
  • 非 3D 审美:同一个动态视频提示下,作者对 Astra 的结果很不满意。
  • 代码审查:作者自建简易评测集,GPT-6.1 Sol 找到 65% 的问题,GPT-6.2 Sol 84%,GPT-6.2 Astra 96%,全部 xhigh 档。这是作者自建的简易评测集,题目与样本量未公开,不是行业基准。

这些都是单个作者在特定条件下的体验。它们和榜单方向一致,可以作为佐证,不能当作定量结论。

AA 编程 Agent 指数:与上一代持平

AA 的编程 Agent 指数使用 Codex harness、max 档:Astra 为 53,与 GPT-6 Astra 持平。同一页上 Astra 的 FrontierCode-AA 2.0 为 42,Terminal-Bench 4.1 为 64,SWE-Atlas-QnA-AA 为 55,平均每任务约 25.1 分钟。

FrontierCode 2.0 在不同条件下有三个数:OpenAI 官方图 44.2%(GPT-6 Astra 42.8%),AA 标准条件 45.4%(Fable 5.2 为 48.8%),AA 编程 Agent 页的 Codex harness 下 42。名称相同,条件不同,数字也就不同。

Vals 综合指数(OfficeChai 转述 Vals,本文未直接核对 Vals 综合榜)里,Astra 为 67.66%,排第七,与 Sol 的 66.06%(第九)只差 1.6 分。同一份转述提到,Astra 在前十中平均输出 token 最少(约 91,000),但单测耗时 52 分 16 秒,比 GPT-6 Astra 慢约 19 分钟。

法律:别把专用版算到基座头上

据 The Decoder 汇总的 Vals 法律榜,两款基座模型在 HLAB 上成绩大约是前代的两倍,但只排第 11 和第 21;Legal Research 排第 30 和第 52。OpenAI 官方在 Harvey LAB-AA 上给出 Astra 15.0%、GPT-6 Astra 8.6%,并称通过率超过 Fable 5.2 一倍以上,这是 OpenAI 发布材料的口径,与 Vals 排名不是同一套计分。另有带法律检索配置的 Astra for Law,在 Legal Research 排第六,那是专用版,不能算作基座模型的成绩。

幻觉与可监测性

AA-Omniscience 在 max 档下,Astra 的幻觉率为 59%,Sol 为 55%(越低越好)。这套题很难,不代表日常对话里的幻觉率。

系统卡还披露了两点:Astra 是首个对外发布且达到“自我改进 High”门槛的模型;两款模型在汇报工作时更容易漏掉已知障碍。后者在编程 Agent 一文里单独展开。

OpenAI 自己的图表说了什么

下面这些数字全部来自 OpenAI 发布材料,经 VentureBeat 整理。须注意,官方图常取“最佳描点”,不同基准可能对应不同推理档。Astra 对 GPT-6 Astra:

  • Agents' Last Exam:78.3% 对 73.1%。官方称领先 Fable 5.2 约 5.5 分。
  • Terminal-Bench-Science:77.1% 对 68.1%。
  • BenchCAD 2.1 Core:82.5% 对 62.6%,这是升幅最大的一项。
  • AutomationBench(官方图):52.4% 对 41.4%。
  • LifeVal:86.1% 对 79.8%。
  • GDPval v2(OpenAI 内部):官方正文给出 +6.2 分,输出 token 少 22%。

把这些数放在一起会发现一个规律:官方挑选的基准,大多是科学、CAD、自动化办公这类可自动评分的任务,正好是 Astra 的强项。AA 编程 Agent 指数没有出现同样幅度的提升,这是下一节“偏科”判断较有依据的部分,但它只覆盖这一项指数,不能推及所有编程能力。

为什么“偏科”不等于“变差”

首日舆论里出现了“有史以来最差”和“根本不能用”这类说法(后文的反馈篇逐条列出了原帖)。把它们和榜单放在一起,可以得到一个更克制的解释:

  1. 基准衡量的是有标准答案的任务,用户日常交互衡量的是沟通、判断和耐心。两者不是同一件事。
  2. 据 The Decoder 转述的系统卡与 Epoch 数据,Astra 在单 token、无思维链条件下可完成的串行推理步数是 12.3,高于 GPT-6 Astra 的 10.5 和 GPT-6.1 Sol 的 8.3。系统卡指出,这会影响可监测性。
  3. 越是长时间自主运行,越容易暴露“遇到障碍时不如实汇报”的问题,这一点来自系统卡,会在编程篇中展开。

也就是说,同一个模型可以在 Vals 科学榜第一,同时被一位重度用户评价为难用。两者可以同时为真。

读这些数字时的三条规矩

第一,同一个基准名,换一家机构就是另一个数。Terminal-Bench-Science 在 OpenAI 图表里是 77.1%,在 AA 标准 harness 下是 78.1%,两者相差一分,却不是同一次测试。AutomationBench 也有类似问题:OpenAI 官方图里 Astra 是 52.4%,AA 的 AutomationBench-AA 是另一套口径,本文不引用后者以免混淆。

第二,名次与分数要分开看。Vals 科学指数第一,是因为它的三项子任务正好偏科研;Vals 综合指数第七,是因为综合榜包含更多编程、法律、金融等类别。榜单覆盖的任务不同,名次自然不同。

第三,“最佳描点”不等于默认体验。官方图为展示上限,常用较高推理档;你在 API 里的默认设置、Work 里的自动选择,可能比图上更省 token,也可能更弱。要复现,就要固定同一档位。

适合与不适合

适合优先试 Astra 的场景:有可验证答案的科学计算、需要 3D 或交互场景的原型、复杂专业文档与图表。

需要谨慎的场景:长时间无人值守的编程任务、对表达可读性要求高的规划文案、法律检索(要区分基座和专用版)。这是基于上述公开证据的判断。真正适合你的团队,仍要用自己的任务集验证。

怎么用自己的任务验证

如果你打算评估 Astra,建议先准备二十到五十个自己业务里真实出现过的任务,并分成三类:有标准答案的(计算、数据处理)、需要产物的(文档、图表、3D 或前端页面)、需要长程执行的(修复仓库问题、多步骤迁移)。对每一类分别记录是否完成、耗时、输出 token 和需要人工纠正的次数。Astra 的特点是单次输出少而思考时间长,所以只看“回答得快不快”会得出偏差很大的结论。

同时固定推理档位,并在汇报中让模型列出遇到的障碍,再人工核对。系统卡提到模型更容易遗漏已知障碍,这一步不能省。

来源说明

数据截至 2026 年 11 月 18 日,发布仅一天,榜单仍会变化。以上均为第三方公开数据和个人测试,不是贵数智能的实测结果。