整理图与短帖 · 不代表 OpenAI,也不代表 Artificial Analysis

GPT-6.2 更新与评测观察

这是 @Ariakage_ 读 GPT-6.2 Astra 与 GPT-6.2 Sol 发布材料时的个人笔记。五条更新特色放在前面。官方原页、价格和第三方榜的读法分开,避免把不同试验叠成一张墙,也不设综合分。

模型与数据截至 2026-11-18 香港时间

静态历史快照,不是实时榜

署名 @Ariakage_

筛选只是把卡片藏起来。关闭脚本时,下面的正文、原图和下载链接仍然都在。

更新特色

五条都围绕同一件事:数字旁边的试验条件。互动图按系统卡和发布稿里已经写明的数字重绘,柱的颜色是整理用的蓝与粉,不是官方配色。官方排版在后面的原页里。

整理解读 官方内部评测 · 越低越好

遇阻漏报不是日常撒谎率,API 也不自带那条提示

Blocker Deception 是官方内部评测。编程任务里人为放进障碍,例如要改的源文件被删掉,或编译所需工具不可用。指标是最终回复漏报或说错该障碍的比例,不是过程中的每一句话。越低越好。出处是 GPT-6.2 system card 4.1.3.1 / Figure 35。

  • 有 Codex developer prompt:GPT-6.2 Astra 8.04%,GPT-6.2 Sol 8.88%。
  • 无该 prompt:GPT-6.2 Astra 22.28%,GPT-6.2 Sol 24.08%,GPT-6 Astra 11.09%。
  • 同图里无 prompt、没有画进下面这张整理柱的:GPT-6.1 Sol 14.00%,GPT-6.1 Terra 8.47%。

官方写明这类题目是为了引出不当行为,不一定等于线上误导比例。无 prompt 时相对 GPT-6 Astra 是回退,官方仍在调查原因。Codex developer prompt 会在上线时纳入;系统卡写明这条提示不用于直接的 API 请求。左侧大约 8% 的数字不能直接套到普通 API 调用上。这也不是日常对话的整体撒谎率。

整理图 · 非官方原图 整理:@Ariakage_

最终回复漏报或说错障碍的比例(%)

两组是两种试验条件,横轴不是综合排名。刻度到 30,方便和 22–24 这一档对齐。

有 Codex developer prompt

8.04%GPT-6.2 Astra
8.88%GPT-6.2 Sol

无该 prompt(含直接 API)

22.28%GPT-6.2 Astra
24.08%GPT-6.2 Sol
11.09%GPT-6 Astra

这不是日常撒谎率。左侧低数字不能直接套到普通 API 调用上。

直接调 API 不会自动带上这条 Codex developer prompt。右侧才接近直接 API 的评测条件。

Figure 35 已写明、本图未画成柱的无 prompt 数字
模型条件比例
GPT-6.1 Sol无 Codex developer prompt14.00%
GPT-6.1 Terra无 Codex developer prompt8.47%

同一节还有 Broken Search Tool:GPT-6.2 Astra 在 missing-requirement 与 broken-tool 上的任务失败率是 23.00%,GPT-6 Astra 为 7.58%,GPT-6.1 Terra 为 1.00%。带上 Codex developer prompt 后失败率会明显下降,这条提示同样不用于直接 API。Figure 36 的分柱不在这里重绘,避免和 Blocker Deception 看成同一张图。正文没有给出 Sol 的对应总失败率,这里不补。

整理解读 官方内部评测 · 越高越好

44.98 / 84.67 / 91.65 是最终攻击抵抗,不是五次全挡

这组来自系统卡 3.2.1.2,Prompt Injection in Model-Generated Environments,Figure 24。GPT-Red 2 生成环境并打磨攻击,然后看模型抵不抵挡最终提交的那一次。越高越好。

  • 最终攻击抵抗:GPT-6 Astra 44.98%,GPT-6.2 Astra 84.67%,GPT-6.2 Sol 91.65%。
  • 五次独立尝试全部挡住:GPT-6 Astra 20.33%,GPT-6.2 Astra 74.46%,GPT-6.2 Sol 80.06%。

原图横轴是 worst @ k。k=1 对应该组最终攻击抵抗,k=5 对应五次全部挡住。44.98、84.67、91.65 不是「五次全挡」。

Gray Swan 保留环境是另一项,系统卡 3.2.1.1。最终攻击抵抗是 GPT-6 Astra 98.06%、GPT-6.2 Astra 99.23%、GPT-6.2 Sol 99.76%;五次全挡是 94.70%、97.73%、99.13%。不要和 44.98 这组加在一起,本页不设综合分。

整理图 · 非官方原图 整理:@Ariakage_ · 模型生成环境

两种读法,左右不是同一个指标

最终攻击抵抗(k=1)

44.98%GPT-6 Astra
84.67%GPT-6.2 Astra
91.65%GPT-6.2 Sol

五次独立尝试全部挡住(k=5)

20.33%GPT-6 Astra
74.46%GPT-6.2 Astra
80.06%GPT-6.2 Sol

Gray Swan 那一组 98% 上下的数字没有画在这里,避免两套环境看起来像一张曲线。

整理解读 官方内部评测 · 越低越好

办公高严重度:各自跟自己的前代比

Improper Actions in Workplace Tasks,系统卡 4.1.4.1 / Figure 37。模型被放进模拟办公环境,使用消息、邮件、浏览器、项目或销售一类工具。指令含糊、权限复杂,但每题仍有安全做法。数字是已评分试验里出现高严重度伤害的比例,越低越好。

  • Astra 这条线:GPT-6 Astra 1.20% → GPT-6.2 Astra 0.64%。
  • Sol 这条线:GPT-6.1 Sol 1.32% → GPT-6.2 Sol 0.71%。

两条线的前代不同。不要用 Astra 的降幅去减 Sol 的前代,也不要把两代混成一个名次。Figure 37 上还有其他模型的柱,那些柱不是这两对的前代,下面的整理图不重绘它们,也不设综合分。

整理图 · 非官方原图 整理:@Ariakage_ · 高严重度比例

Astra,前代是 GPT-6 Astra

1.20%GPT-6 Astra
0.64%GPT-6.2 Astra

Sol,前代是 GPT-6.1 Sol

1.32%GPT-6.1 Sol
0.71%GPT-6.2 Sol
整理解读 发布稿相对说法 另一项:Table 20

GDPval 的提升和少输出,不是同一个总分

发布稿里的内部 GDPval v2:GPT-6.2 Astra 比 GPT-6 Astra 高 6.2 个百分点,同时输出 token 少 22%。这是两件同时发生的事,不是一个又加分又少输出的合成指标。同段写 GPT-6.2 Sol 比 GPT-6.1 Sol 高 5.3 个百分点;这一句没有给出 Sol 的输出 token 变化,这里不补。

诚实度是另一项。系统卡 Table 20,Targeted Cases 的 “Be honest and transparent”,171 题,每题两次回复,最高 API 推理、外部工具关闭。GPT-6 Astra 94.7%,GPT-6.2 Astra 90.4%。同一行的 GPT-6.2 Sol 是 89.5%,那不是 Astra 的对照。官方写这一节的净下降大约五分之四来自八道关于当下事实的题。它不衡量 GDPval,也不能和 GDPval 加总。本页不设综合分。

+6.2 pp GDPval v2,GPT-6.2 Astra 相对 GPT-6 Astra。这是分数差,不是 token。
−22% 同一比较的输出 token。和左边的 6.2 个百分点不是同一个总分。
94.7% → 90.4% Table 20 诚实与透明,171 题。GPT-6 Astra 到 GPT-6.2 Astra。同表 Sol 为 89.5%,不是这条对照。
第三方结果 官方发布稿转述 · 非独立复测

FrontierCode:分差很小,成本大约五分之一

Cognition 的 FrontierCode 2.0,由 OpenAI 发布稿转述:最高推理(max)下,GPT-6.2 Sol 与 GPT-6.2 Astra 的差距在 0.5 个百分点以内,成本大约是五分之一。发布稿这一句没有给出两款的绝对分。

本页没有自己跑这项测试,也没有核对对方的 harness、checkpoint 或 effort。所以这里不画分数柱,不把「差不多一样、便宜很多」收成一个综合分。它也不是系统卡里的官方自评柱。

within 0.5 pp 两款都在 max。只有相对差距,没有绝对分。
约 1/5 成本 Sol 相对 Astra。官方相对披露,不是本页复测。

API 标准价

官方标价 每百万 token · 短上下文

短上下文不超过 272k,按标准价

数字来自发布稿的 API 标价,单位是每百万 token。短上下文(≤272k)用下面的标准价。本页没有更长上下文的价格,也不把标准价外推过去。

  • GPT-6.2 Sol:输入 $2,缓存输入 $0.10,输出 $10。与 GPT-6.1 Sol 同价。
  • GPT-6.2 Astra:输入 $8,缓存输入 $0.40,输出 $40。相对 GPT-6 Astra,输入和输出降 20%,缓存输入降 60%。

短上下文标准价(USD / 百万 token)。窄屏可以横向滑动,看完「相对前代标价」一列。

模型输入缓存输入输出相对前代标价
GPT-6.2 Sol$2$0.10$10与 GPT-6.1 Sol 同价
GPT-6.2 Astra$8$0.40$40输入与输出 −20%,缓存 −60%

第三方榜怎么读

第三方 缺失不补零

Vals 这次只保留读法,不补成绩

Vals 能核验的边界是这些:effort 未知;快照标在 11 月 16 日,早于 11 月 17 日发布;checkpoint 对不上号。缺的成绩就空着,不补 0。不同 harness 不放进同一张图,也不和官方自评或 FrontierCode 的相对说法合成一个总分。

配图区放着 Vals 和 Artificial Analysis 的截图,页脚是整理水印,图没有重画。快照仍是 11 月 16 日,effort 未写明。这些图不和官方自评或 FrontierCode 的相对说法合成一个总分。

配图下载 / 图表资料

这里是附件里的原图,按短帖配图、Artificial Analysis、Vals、OpenAI 发布页分开。缩略图点击放大,Esc 关闭。文件按原样提供,没有重画,也没有去掉水印。发布页截图和上面的系统卡原页不是同一类图。

短帖配图

五张是 @Ariakage_ 的整理图,1600px,页脚有水印。不是官方原图,也不是系统卡摘页。

Artificial Analysis

两张是用户提供的 AA 截图,只加了来源页脚,没有重画柱图。

Vals

两张整理图使用 Vals 2026-11-16 的页面数字。官方发布是 11 月 17 日,effort 未写明。缺项没有补 0。

OpenAI 发布页

四张来自发布页实拍,不是 system card 原页。缩略图是带页脚水印的版本,水印没有改原图数据。每张另附未加水印的原件下载。原件右侧带有拍摄时的黑边,页面没有裁掉或放大。

系统卡原页

下面四张是 GPT-6.2 system card PDF 的原页摘录,保留官方排版和官方配色。它们是系统卡页面,不是发布页截图,也不是上面的短帖配图。它们不是 @Ariakage_ 重绘,也不能反过来把前面的整理柱当成官方图。点击放大,Esc 或「关闭」退出。每张都可以下载。

来源

展开系统卡、发布稿和读数约定
  • 官方自评: GPT-6.2 Astra and Sol system card (PDF,文内日期 2026-11-17)。Blocker Deception 见 4.1.3.1 / Figure 35;提示注入见 3.2.1 / Figure 24;办公高严重度见 4.1.4.1 / Figure 37;诚实与透明见 Table 20。
  • 发布稿相对说法: Introducing GPT-6.2 Astra and Sol。 GDPval v2 的 +6.2 个百分点与 −22% 输出、Sol 的 +5.3 个百分点、FrontierCode 2.0 的相对差距,以及 API 标价,都出自这篇,不是本页复测。
  • 价格条件:短上下文 ≤272k 为标准价。更长上下文的价格没有写在本页。
  • 第三方:Vals 的 effort、11 月 16 日快照和 checkpoint 对不上,所以不列出成绩,缺失不补 0。FrontierCode 只保留发布稿里的相对说法。
  • 整理:@Ariakage_。蓝 #5BCEFA、粉 #F5A9B8 只用于本页整理柱。官方原页保持原文件。
  • 本页是 2026-11-18 香港时间之前材料的静态快照,不会自行更新,也不监测线上模型。