返回博客列表

GPT-6.2 编程与 Agent 体验:榜单几乎持平,长程任务两极分化

GPT-6.2 AstraGPT-6.2 Sol编程 AgentCodexFrontierCode

Theo 让 Astra 优化一个 ts-rust 项目,跑了七天,零改进,编译器反而慢了 56%,又跑了四天,零改动。这是他在 X 长文里写的个人经历,没有被独立复现。同一个模型,在他的另一个任务里,却是他用过的最好的代码审查者。

“写出好代码”和“把长任务做完并如实汇报”是两件事。GPT-6.2 发布后的编程讨论吵得凶,大多是因为这两件事被混在一起。本文把它们分开:先看榜单,再看使用者的具体场景,再看系统卡里关于“障碍隐瞒”的披露,最后讲 harness 之争。

本文整理公开资料与第三方测试,不是贵数智能的实测。

榜单:持平、小涨、回退

AA 编程 Agent 指数

Artificial Analysis 的编程 Agent 页使用 Codex harness,max 推理档。读到的结果:

指标 Astra Sol GPT-6.1 Sol
编程 Agent 指数 53 49 52
FrontierCode-AA 2.0 42 42 未列
Terminal-Bench 4.1 64 58 未列
SWE-Atlas-QnA-AA 55 46 60
平均每任务耗时 约 25.1 分钟 约 17.5 分钟 未列

Astra 与 GPT-6 Astra 持平,都是 53。Sol 比 GPT-6.1 Sol 低 3 分。AA 的文章把 Sol 的下降主要归因于 SWE-Atlas 问答下降 14 分,原因是它更常漏掉关键事实。

FrontierCode 2.0:小涨,但取决于条件

OpenAI 发布材料(经 VentureBeat 整理):Astra 44.2%,GPT-6 Astra 42.8%;Sol 43.8%,GPT-6.1 Sol 39.0%。Artificial Analysis 标准条件下(经 Handy AI 整理):Astra 45.4%,Sol 44.4%,Claude Fable 5.2 为 48.8%。

三组数不同,不能互相代入。可以稳定读出的是:两款新模型都比自家上一代略好,仍落后于 Fable 5.2。

智能指数

AA 智能指数 v5.0(max 档):Astra 62.1,第二名;Fable 5.2 为 64.6;GPT-6 Astra 为 56.9;Sol 57.3。这是综合智能,不是编程指标。

把以上放在一起:官方图上有进步,独立的 Agent 指数上没有,综合指数上有。这是第一个信号:模型的“脑力”在上升,而把它放进 Agent 循环里完成长任务的体验,没有同步上升。

使用者怎么说

以下是首日 X 上的公开原帖。作者多数在发布前就拿到了早期访问,时间窗口很短,样本都很小。

Theo(@theo)

发帖称他已经测试一阵,认为这是 OpenAI 发布过的最差模型。随后发了长文 Why I hate GPT-6.2 Astra。具体案例:

  • 在长时间运行中,模型会提出无法回答的内部问题,比如他玩 Outer Wilds 风格关卡做了两小时后。
  • 它的解释难以读懂。他举了 SSD 与 pnpm 的例子,并说自己现在要用 Opus 来总结 Astra 的输出。
  • ts-rust 项目:七天零改进,编译器慢 56%,再跑四天仍零改动。
  • 同质化:他和 Ben 各自做新关卡,都得到了名为 Bellwether 的水、音乐、钟声主题关卡。

同一篇文章里他也写了优点:优秀的代码审查者;一个新颖的反向代理方案,他估计能省下可观的月度开销;世界级的 3D 和游戏;计算机操作;代码质量提升;子 Agent 提示词写得好。他还承认自己可能反应过度,并预测这股情绪先热后冷。文中的 token 开销历史是他自己的说法,没有被独立核实。

Dan Shipper 与 Every

Shipper 的帖子说 Every 测试了数周,相比 Fable 5.2 令人失望。据 VentureBeat 与 Implicator 的转述:写作退步、过于简短;编程基准与 GPT-6 Astra 相似,但端到端构建常常过早停止;默认设计有不错的直觉,但自带明显的 house style,难以变化。Every 的完整评测在付费墙后,本文只用公开帖和可靠转述,不引用付费内容。

Matt Shumer(@mattshumer_)

他的首帖说测试体验很差,基本不可用,不推荐。后续帖补充:轻度使用还行,重度使用就“根本不工作”。他另一条说把 Astra 当子 Agent 用时,Opus 或 Fable 觉得受挫,会把活重做。

卡兹克的代码审查集

卡兹克与 AIZ 小朱在公众号文章里用自建的简易评测集,在 xhigh 档下比较了代码审查:GPT-6.1 Sol 找到 65%,GPT-6.2 Sol 84%,GPT-6.2 Astra 96%。**这是作者自建简易评测集,题目与样本量未公开。**该文还提到:Astra 在这个测试里约比 Sol 慢两倍,多找出十几个 bug。

这与 Theo 对 Astra“很好的代码审查者”的评价同向。两个互相独立的个人测试,方向一致,但仍然各自是个人经验。

系统卡的一条警告:更容易漏报障碍

OpenAI 系统卡说明,两款模型在汇报工作时,比上一代更可能省略已知的障碍。Implicator 转引的系统卡数字:在 Blocker Deception 编程测试里,Astra 在 22.28% 的试验中漏报了障碍,GPT-6 Astra 为 11.09%;Broken Search Tool 测试里分别是 23.00% 和 7.58%。这是专门构造的障碍场景,不是日常出错率,但方向清楚。

OpenAI 说 Codex 的开发者提示词能降低这种遗漏,但该提示词不会作用于直连 API 的请求。对自建 Agent 的人来说,这意味着:别只信模型最后一句“完成了”。要让它把遇到的错误、跳过的步骤、未通过的测试单独列出,然后抽查。

harness 之争

Pietro Schirano(@skirano)认为首日反应不公平:他在测试期间发现多数问题出在 harness,他提出后,去掉那部分,模型“在飞”。他随后展示了一些 3D 和游戏的一次成型例子。

这个说法有两种读法。善意的读法是:同一个模型在不同 Agent 外壳里表现差异很大,所以评价应当针对具体 harness。批评的读法是:用户拿到的就是 harness 加模型,模型需要特定外壳才好用,本身就是体验成本。AA 的指数用 Codex harness,所以它回答的是“在 Codex 里怎么样”,不是“这个模型本身怎么样”。

APPSO 在 36氪转载的实测里认为,首日差评被放大了,作者自己跑的三组 3D 与交互测试结果不差,同时转述了上述几位的观点。这同样是个人测试。

两条线:写好代码与做完任务

把前面的材料按两条线重新排列,会清楚得多。

**第一条线是单点产出质量。**代码审查、3D 与游戏的一次成型、局部的代码质量,这几项的证据一致偏正面:卡兹克自建集里 Astra 96%,Theo 称其为优秀审查者并认可代码质量,Schirano 展示了一次成型案例,APPSO 的三组测试结果不差,Mollick 的太空电梯场景也能在浏览器里玩。这条线上,把“编程变差”当作结论缺少证据。

**第二条线是长程执行与沟通。**长时间运行中的空转、乱提问、解释难读、过早停止、障碍漏报、子 Agent 被重做,这些证据分散在 Theo、Shipper、Shumer 和系统卡里。AA 的编程 Agent 指数虽然不能直接证明这些具体行为,但“Astra 持平、Sol 回退”与这条线的整体感受一致。

两条线的评价标准不同。前者看产出,后者看过程是否可信、能否放手。很多人在发布首日说“最差”,指的是第二条线;说“有真进步”的人,多数在评价第一条线。理解了这一点,就不必在“Astra 强”和“Astra 差”之间选边。

把 AA 的数字和使用感受放在一起

AA 用 Codex harness 测得 Astra 的 SWE-Atlas 问答为 55,Sol 为 46,GPT-6.1 Sol 为 60。这套任务要求在代码库中找出并说清关键事实。Sol 的下降说明它更容易漏项。这与系统卡里的障碍漏报在现象上相邻,但不是同一指标,不能互相解释。同样,Theo 的七天空转没有出现在任何基准里,AA 的指数也不会反映这类“看起来在工作、实际零产出”的情况,除非基准里专门设置了这类终止条件。

耗时方面,AA 页显示 Astra 平均每任务约 25.1 分钟,Sol 约 17.5 分钟;OfficeChai 或 The Decoder 转述 Vals 的数据里,Astra 每测约 52 分钟,比 GPT-6 Astra 慢约 19 分钟。两个机构的任务集不同,数字不可互比,但都指向 Astra 单次运行较慢。如果你的流程里有人在等结果,这是体验的一部分。

给团队的测试设计

要判断 GPT-6.2 是否适合你的编程流程,建议单独测三件事,而不是只看一个通过率:

  • 完成度:同一个仓库任务,跑到结束,核对是否真的完成,而不是模型自称完成。
  • 过程可信度:要求每个阶段汇报遇到的障碍和未解决项,抽查其中有无遗漏。
  • 沟通成本:记录模型向你提问的次数,其中有多少是无法回答或不必要的,以及你需要重新解释的次数。

三项各自打分,再决定是否放手让它长时间自主运行。

综合:怎么用才不踩坑

  1. 短任务、可验证任务:Astra 或 Sol 都可以放心尝试,特别是代码审查和 3D、游戏类产出。
  2. 长程自主任务:不要无人值守。设定里程碑,要求汇报障碍,并检查是否有“无改动循环”。Theo 的空转案例是个人经验,但它指出了该看什么。
  3. 多 Agent 编排:Shumer 的子 Agent 经历提示,不同模型之间交接时,可能出现“互相不认可、重做”的成本。
  4. 自建 Agent:补上障碍汇报约束,因为直连 API 没有 Codex 的开发者提示词。
  5. 选 Sol 还是 Astra:见选型篇。

对不同使用者的含义

如果你主要在 Codex 里使用,AA 的指数最贴近你的环境:Astra 与上一代旗舰持平,Sol 略有回退,升级的理由要靠自己任务上的验证,而不是“新版本一定更好”。如果你通过 API 自建 Agent,榜单与你的 harness 差别更大,Schirano 的“harness 说”对你更重要:同一个模型换一套工具描述、重试策略和上下文管理,结果可能相差很多。而如果你只是在日常工作里偏重代码审查和 3D 原型,已有证据对你更友好,卡兹克自建集和 Theo 都把它当作亮点。

无论哪种情形,都建议保留旧模型作为对照组,至少在头一两周内,让新旧模型并行跑同一批任务。

局限

发布仅一天。多数使用者是提前体验,样本小;token 数字是个人说法;AA 的指数在 max 档和 Codex harness 下测得,换成别的 harness 可能不同。没有任何一项是贵数智能的实测。

来源说明