GPT-6.2 Sol 评测:日常款几乎追上旗舰,但不是全面升级
在 OpenAI 公布的 FrontierCode 2.0 图表上,Sol 是 43.8%,Astra 是 44.2%,只差 0.4 分。同一天,Artificial Analysis(AA)的编程 Agent 指数里,Sol 却比上一代 GPT-6.1 Sol 低了 3 分。
两句话都是真的。GPT-6.2 Sol 是 OpenAI 定位给“日常工作和规模化 Agent”的模型,它在不少任务上逼近 Astra,也在几个具体方向上退步。把它写成“平价旗舰”和写成“缩水版”都不准确。
本文整理公开资料,不是贵数智能的实测。数字按来源和条件分开列出,不混用。
官方定位与规格
据 OpenAI 发布博文,Sol 面向日常工作与大规模 Agent 部署,OpenAI 称内部不少人把 Sol 当作默认模型。Sol 模型文档列出的规格:
- API ID:
gpt-6.2-sol。 - 输入文本和图像,输出文本;不支持音频、视频。
- 上下文窗口 1,050,000 token,最大输入 922,000,最大输出 128,000。
- 支持推理,API 拒绝
reasoning effort = none。 - 支持 Chat Completions、Responses、Batch;不支持 Realtime、Assistants、微调、图像与视频生成。工具调用要走 Responses API。
- 知识截止日期 2026 年 6 月 1 日,比 Astra 的 5 月 18 日晚。
上下文和模态与 Astra 完全相同。差别在定位、截止日期和能力分布。
可用性按 ChatGPT Learn:ChatGPT Work、Codex 和 API。在 ChatGPT 里要先打开 Work。Enterprise 与 Edu 需管理员开启。Ultrafast 是速度档名称,部分较高档的 Pro 订阅,以及经管理员开启的企业或教育空间可以使用。
接近 Astra 的部分
以下数字来自 OpenAI 发布材料(经 VentureBeat 整理),官方图可能取最佳描点,对应的推理档可能不同。
| 基准(OpenAI 官方图) | Sol 对 GPT-6.1 Sol |
|---|---|
| FrontierCode 2.0 | 43.8% 对 39.0% |
| LifeVal | 83.8% 对 79.5% |
| BenchCAD 2.1 Core | 73.1% 对 52.6% |
| Terminal-Bench-Science | 68.0% 对 57.0% |
| AutomationBench(官方图) | 41.2% 对 36.1% |
| Harvey LAB-AA | 11.1% 对 6.9% |
| Agents' Last Exam | 73.0% 对 72.5% |
其中两条值得单独说:
- FrontierCode 2.0。 Sol 43.8%,Astra 44.2%。官方还称 Sol 在 max 档落后 Astra 约 0.5 分。
- LifeVal。 Sol 83.8%,不仅高于自己的上一代,也高于 GPT-6 Astra 的 79.8%。
独立评测里,也有支持“接近”的证据。AA 的 FrontierCode 2.0 标准条件下,据 Handy AI 整理,Sol 为 44.4%,Astra 为 45.4%,Claude Fable 5.2 为 48.8%。AA 智能指数 v5.0(max 档)里,Sol 为 57.3,与 GPT-6 Astra 的 56.9 大致持平,Astra 为 62.1。也就是说,Sol 大约相当于上一代旗舰,而不是本代旗舰。
Vals 综合指数(OfficeChai 或 The Decoder 转述 Vals,本文未直接核对 Vals 综合榜)里,Sol 第九,66.06%,与排第七的 Astra(67.66%)相差 1.6 分。
退步的部分
编程 Agent
AA 编程 Agent 页面使用 Codex harness、max 档:
- 编程 Agent 指数:Sol 49,GPT-6.1 Sol 52,下降 3 分;Astra 为 53。
- SWE-Atlas-QnA-AA:Sol 46,GPT-6.1 Sol 60。AA 的文章把这 14 分的下降归为主因:Sol 更常漏掉关键事实。
- Terminal-Bench 4.1:Sol 58,Astra 64。
- 平均每任务耗时:Sol 约 17.5 分钟,Astra 约 25.1 分钟。
这里 Sol 的 FrontierCode-AA 2.0 为 42,与 Astra 相同。同名基准在 Codex harness 下是 42,在 AA 标准条件下是 44.4%,在官方图上是 43.8%。三个数来自三种条件,不可互相替换。
科学
Vals 科学指数(更新于 11 月 16 日)里,GPT-6.2 Sol 排第七,57.76%,低于 GPT-6.1 Sol 的 59.63%。OpenAI 发布材料写的是 58.5% 对 59.6%,与 Vals 页面略有出入,本文以 Vals 页面为准。结论一致:略降。
职业任务
Surge 的职业任务套件(11 项,由医生、会计师、律师、资深工程师设计)给出的是“有喜有忧”:
- 变好:编程、图表和 Agent 指令跟随。Chartography 上 Sol 为 87.7%,高于 GPT-6 Astra 的 71.0%,略低于 Astra 的 90.7%。
- 变差:医疗、PDF、金融。DAYJOB Healthcare:Sol 17.2%,GPT-6.1 Sol 25.2%,下降 8 分,是 Surge 当天测到的最大退步。同项 Astra 为 34.4%。
- 在 sudo L7 上,Sol 36.1%,Astra 38.3%,两者都低于 Fable 52.2%。
幻觉与障碍
AA-Omniscience 在 max 档下,Sol 的幻觉率为 55%,Astra 为 59%(越低越好)。这套题很难,不代表日常幻觉率,也不能说明 Sol 更可靠。
系统卡指出两款模型在汇报工作时都更容易漏报已知障碍。对 Sol 来说,AA 观察到的 SWE-Atlas 下降(更常漏关键事实)与此是两个不同的指标,但读者可以把它们放在一起,作为“交付前需要人工核查”的提示。
个人测试:卡兹克的代码审查
卡兹克与 AIZ 小朱在公众号实测里,用自建的代码审查集,在 xhigh 档比较了三个模型:GPT-6.1 Sol 找到 65% 的问题,GPT-6.2 Sol 84%,GPT-6.2 Astra 96%。**这是作者自建的简易评测集,题目与样本量未公开。**文中还提到 Astra 比 Sol 慢约两倍,多找出十几个 bug。作者据此打算把 Sol xhigh 当作默认审查模型。这是作者的使用决定,不是通用建议。
它与 AA 的结论并不冲突:代码审查是“读代码并指出问题”,编程 Agent 指数衡量的是在 Codex 里长程完成任务,这是两类不同的工作。
把“接近”拆开看:差距落在哪里
“Sol 接近 Astra”在不同基准上含义差别很大。按本文引用的官方图对照,差距可以分成三档。
第一档,几乎没有差距:FrontierCode 2.0(43.8% 对 44.2%)和 LifeVal(83.8% 对 86.1%,差 2.3 分)。这类任务偏通用,模型再强,额外的推理预算带来的收益有限。
第二档,有明显差距:BenchCAD 2.1 Core 上 Sol 为 73.1%,Astra 为 82.5%;Terminal-Bench-Science 上 68.0% 对 77.1%;AutomationBench(官方图)41.2% 对 52.4%;Harvey LAB-AA 11.1% 对 15.0%。凡是科学、CAD、复杂自动化这类“最难项目”,Astra 的优势都在 9 分上下,这也正是官方给两款模型分工的依据。
第三档,Sol 反而没有进步:Vals 科学指数低于上一代,AA 的 SWE-Atlas 问答下降 14 分,Surge 医疗退步 8 分。
三档放在一起,结论是:Sol 的优势在“快、够用”,并不在“每个方向都比旧模型强”。Vals 科学指数的页面给出了一组可以佐证“快”的数字:该指数下 Sol 平均耗时约 19 分,Astra 约 22 分 15 秒,Sol 用 token 约 321 万,Astra 约 348 万。这是 Vals 在其三项科学任务上的平均,不适用于所有任务。
上一代的对比为何重要
不少读者会问“从 GPT-6.1 Sol 升级到 6.2 Sol 值不值”。官方图表对此的答复偏正面:七项官方对照里,Sol 在每一项上都高于上一代,GDPval v2 还有 +5.3 分。独立评测的答复偏混合:AA 智能指数上 Sol 与 GPT-6 Astra 接近,但编程 Agent 指数下降,Vals 科学指数略降,Surge 在多个方向有退步。
这两种说法可以同时成立,因为官方图挑选的基准、取样的推理档位、评分口径,都和独立机构不同。是否升级,应当看你的工作负载更靠近哪一边:如果你的任务像 FrontierCode、LifeVal、BenchCAD,升级的证据更充分;如果像医疗文档、PDF 抽取或检索问答,应当先在自己的样本上对比新旧两代,再做决定。
上线前最小验证清单
- 取 30 条左右真实任务,新旧 Sol 各跑一遍,固定同一推理档位。
- 对每条任务记录“是否漏掉关键事实”,因为 AA 观察到 Sol 在这一点上退步。
- 医疗、金融、PDF 类任务单独统计,不与通用任务平均。
- 要求模型在交付时列出遇到的障碍,并抽样核对,系统卡提示两款模型更容易漏报。
- 如果走 API,用 Responses 接口做工具调用,并按文档设定推理档位,不要使用 none。
谁适合把 Sol 当默认
按上面的证据,Sol 适合:
- 日常问答、文档整理、生活与办公类任务(LifeVal 的方向)。
- 代码审查、图表生成、需要较低延迟的批量 Agent。
- 想把 Astra 留给难题、其余交给更快模型的团队。
需要谨慎:
- 医疗、金融、PDF 密集的工作流,Surge 显示 Sol 相对上一代退步。
- 对“答案不能漏事实”要求高的检索问答,AA 的 SWE-Atlas 下降是警示。
- 科学类基准。Vals 科学指数上 Sol 略低于上一代。
不要误读的两点
第一,别把 xhigh 档的结论搬到默认档。 卡兹克的代码审查对比是 xhigh,AA 编程 Agent 是 max,官方图是“最佳描点”。你在 Work 或 Codex 里用的档位,可能比这些低。档位越低,Sol 与 Astra 的差距在难题上通常越容易暴露,这是需要自己测的。
第二,别用一个榜单概括整个模型。 Sol 在 FrontierCode 上追近 Astra,不影响它在 Surge 医疗任务上的 17.2%;它在 Vals 科学指数上略低于上一代,也不影响 LifeVal 超过 GPT-6 Astra。每一个数只回答一个问题。
首日反馈里关于 Sol 的声音
首日的公开讨论主要针对 Astra。Sol 的直接评价较少:卡兹克把它作为日常审查的候选;OpenAI 自己称内部很多人把它当默认;Surge 的结论是“有喜有忧”。需要强调,这几类说法性质不同:官方说法是厂商立场,卡兹克是个人自建集,Surge 是独立套件。没有看到足够多的、带具体场景的 Sol 长程使用报告,所以本文不对“Sol 好不好用”下总评,只回答它在哪些公开证据里强、在哪里弱。
一种可行的分工思路
如果团队同时能用两款模型,公开证据支持一种保守的分工:日常请求、批量审查、图表和一般办公任务交给 Sol;当任务属于科学计算、CAD、复杂自动化,或者 Sol 的结果在抽检中频繁漏项时,再升级到 Astra。这样做的理由有三条:两款模型的官方定位本来就是这样分的;FrontierCode 与 LifeVal 上两者差距很小;而在 BenchCAD 和 Terminal-Bench-Science 上差距集中在 9 分左右。
反过来,不建议因为 Sol 在某个基准上“追上旗舰”,就把医疗、金融或检索问答也默认交给它。这几类正是 Surge 与 AA 观察到退步的地方,需要用自己的样本先验证。这个分工只是对已有公开数据的一种读法,不是经过贵数智能验证的结论。
局限
发布只有一天。Surge 的部分任务当天仍在运行,Epoch 和 Vals 的更多榜单还会更新。这里的一切都是第三方数据和个人测试,不是贵数智能的实测。Sol 与 Astra 如何取舍,另见选型篇。
一句话版本
Sol 是 OpenAI 给日常工作和规模化 Agent 准备的高效款。FrontierCode 与 LifeVal 上它逼近甚至越过上一代旗舰,编程 Agent、Vals 科学和 Surge 医疗上它退步了。该把它当成“多数任务够用的默认款”,而不是“所有方向都升级的新款”。
来源说明
- OpenAI:发布博文、Sol 模型文档、ChatGPT Learn。
- 独立评测:Artificial Analysis、AA 编程 Agent 页、Vals AI、Surge。
- 媒体整理:VentureBeat、The Decoder、Handy AI、OfficeChai。