图片

Google DeepMind 公布最新 benchmark 成绩单后,行业的第一反应是:Gemini 3 Pro 终于坐稳第一梯队

硅谷科技评论(SVTR)根据三方(ChatGPT 5.1、Claude Opus4.1和 Gemini 3 Pro)最先进模型的反馈,仔细拆解这份对比表,结论其实远不止如此。这不是一次小幅领先,有可能预示“AGI 框架变动”的代际跳跃。

一、这次胜出,谷歌不是“跑得更快”,而是“跑在另一条轨道上”

在大多数常规 benchmark 上,比如 MMLU、PIQA、代码测试或 OCR 等任务,顶级模型之间的差距已经极小,1–2% 的指标领先很难带来用户体感的变化。而 Gemini 3 Pro 的关键胜出点,在于它在几个“未来场景任务”上的 断层式突破

  1. 复杂数学推理:在 MathArena Apex 这个极具挑战的测试中,Gemini 3 Pro 的得分是 23.4%,而 GPT-5.1 和 Claude 4.5 都在 1% 左右。这个测试本质上要求模型在几乎无训练样本支持的情况下,解决 Olympiad 级别的数学问题。Gemini 的表现说明:它不是靠扩大训练集“压强”,而可能是引入了某种新的 reasoning 架构。
  2. 视觉类 AGI 测试(ARC-AGI-2):Gemini 的得分为 31.1%,GPT-5.1 是 17.6%,Claude 更低。这类测试要求模型对抽象图形做类比、归纳、转化,完全脱离语言范畴,更接近 AGI 真正的“通用能力”。
  3. 长链 Agent 能力:Vending-Bench 2 这个用于评估“自主规划+多步骤执行”的 benchmark 中,Gemini 实现了 $5,478 的净收益,而 GPT-5.1 仅为 $1,473,Claude 为 $3,838。这不只是模型“能不能做”,而是“能不能独立完成”以及“值不值得做”。

这些任务共同构成了对系统2思维能力的评估,而 Gemini 3 Pro 在这里的表现,呈现出了与现有 Transformer 优化范式完全不同的曲线。


二、Claude 和 GPT 依然强劲,但各有“护城河”

尽管 Gemini 拿下了多数关键指标,但我们不能简单地视 GPT-5.1 和 Claude 4.5 为“落后者”。

  1. Claude 4.5 在代码稳定性上依旧领先:在 SWE-Bench Verified 这个测试中,Claude 的成绩(77.2%)略高于 GPT-5.1(76.3%)和 Gemini(76.2%)。这说明其在现实代码修复任务上,依然维持了 Anthropic 一贯重视“工程稳定性”的风格。
  2. GPT 系列的生态红利依旧巨大:尽管 GPT-5.1 在多个技术指标上略落后,但开发者社区、插件生态、第三方工具支持依然是第一。这决定了它在“真实商业选型”中的黏性仍然极强。
  3. 提示词和工具链会放大模型长板:即便 benchmark 中差了 2 个百分点,在实际使用中,通过微调 prompt、插件、系统角色配置,完全可能弥补这种差距。

换句话说,模型强不强和适不适合,是两个问题。


三、警惕“谁测评,谁讲故事”的幻觉

这次 benchmark 虽由 Google DeepMind 主导,数据和指标可信度较高,但我们仍需保持一份谨慎:

测试集选取偏向多模态与长链任务,恰好是 Gemini 的长项,Claude 和 GPT 系列在对话体验、写作风格、安全对齐上的优势未被体现。

评估标准存在主观偏差:例如 Agent 类任务中“是否一次成功算通过”或“以平均收益打分”,不同设定会显著影响结果排序。

中文与垂直场景缺席:整个表格对中文、多语种、行业任务(金融、医疗、法律)没有有效覆盖,这让它对全球企业用户的选型指导价值有限。

所以,这张表是一份“战略宣传意义大于实战全貌”的信号图。它展现了 Google 在 AI 核心研究路线上的跃进,但距离“工业级替代决策”还有几层距离。


四、真正值得关注的是:Google 找到了新范式的可能性

无论是 ARC-AGI-2 的断层胜出,还是 MathArena Apex 的翻倍提升,背后都可能指向同一个推测:Google 找到了现有 Transformer 框架之上的“加速路径”,可能是:

  1. 新的思维链机制(Chain-of-Thought Beyond Token Level)
  2. 更有效的 Agent 调度结构(Multi-Agent 编排调度)
  3. 更深层的工具调用优化(如主动规划而非被动响应)

这意味着,AI 正在从“语言理解 + 知识压缩”的旧范式,向“自主推理 + 多模态执行”的新阶段进化。GPT-4 带来的震撼,是语言模型第一次像人一样说话;Gemini 3 Pro 带来的问题是:下一步,它能不能像人一样思考和行动?


结语

这张 benchmark 表并不能告诉我们谁“全面胜出”,但它准确地传达了一个更值得关注的信号:

Gemini 3 Pro 在部分“人类最难”的任务上,已经实现了对 GPT 和 Claude 的结构性超越。

这不是几个百分点的领先,而是“是否进入新范式”的分水岭。如果 Google 真的在数学、Agent、长上下文、多模态等未来关键能力上找到突破口,那它离通用人工智能(AGI)的门槛,也许只差一轮迭代。


推荐标题(供选用):

从领先到断层:Gemini 3 Pro 的“代际跃迁”是真是假?

GPT 与 Claude 不再孤单:Gemini 正在改写 AGI 的路线图

这不是胜出,是换道:Google 找到了 AI 新范式的钥匙?

ChatGPT 5.1

直说结论吧:这张表是 DeepMind 自己做的评测,整体当然是“Gemini 3 Pro 胜出”的叙事,但也有一些有用的信号。

我分几条讲你大概怎么读它:


从数字看:Gemini 3 Pro 确实在多数指标上领先

  1. 复杂推理 / 学术能力:Humanity’s Last Exam、ARC-AGI-2、GPQA、AIME 2025、MathArena 这些“最难题”上,Gemini 3 Pro 基本都是第一,而且领先幅度不少(比如 ARC-AGI-2 31.1% 对 GPT-5.1 的 17.6%、Claude 的 13.6%)。
  2. 多模态 + 视觉理解:MMMU-Pro、ScreenSpot-Pro、CharXiv、Video-MMMU、OmniDocBench(OCR)这几项,多数都是 Gemini 3 Pro 明显领先,尤其 ScreenSpot-Pro、OmniDocBench 差距挺夸张。
  3. 长上下文:MRCR v2 128k / 1M,几乎是 Gemini 3 Pro 一家在玩 1M token——别家要么不支持,要么指标明显低。
  4. Agent / 工具使用:t2-bench、Vending-Bench 2、Terminal-Bench 2.0 这些“长链路 Agent”任务,Gemini 3 Pro 的优势也很大,尤其 Vending-Bench 2 那个 “$5,478 vs $1,473(GPT-5.1) vs $3,838(Claude)”。

简单说:这张图想传达的是——在“难推理 + 多模态 + 长上下文 + Agent”这些新一代场景上,Gemini 3 Pro 有比较明显的综合优势。


GPT-5.1 和 Claude 4.5 并不弱,只是长板不在这张表

  1. 传统知识题 / 考试题 上(MMLU、Global PIQA、GPQA、AIME 等),GPT-5.1 基本是紧咬甚至接近持平,有些项目差距就 0.8–1 个百分点。
  2. 代码类
  3. LiveCodeBench Pro:Gemini 3 Pro 2439,GPT-5.1 2243,其实比较接近。
  4. SWE-Bench Verified:Claude 4.5 是第一(77.2%),GPT-5.1 / Gemini 3 Pro 在 76.x%,三家差距很小。
  5. 这些差距在真实使用里的体感,很多时候会被 提示词、交互方式、工具链 放大或缩小,你未必能明显感知到“分数差 2%”。

要非常小心“谁做的评测,谁负责讲故事”

  1. 这是 DeepMind 官方的 benchmark 表,选的题目、prompt、打分方式都在它自己控制下,一定程度上会凸显自家模型的优势——就像 Anthropic、OpenAI 发的评测图,往往各自模型最好看。
  2. 很多 benchmark(尤其 Agent、长链路任务)本身 noise 很大,一次评测和另一次可能差不少;而且评价方式(例如“成功一次算全对”还是“看收益均值”)也会影响排序。
  3. 表里大多是英文 / 西方数据集,对 中文、跨语言、具体垂直场景(投研、医疗、工业) 的表现,这张图几乎没信息。

所以,这个图更像是:“Gemini 3 Pro 已经是第一梯队,而且在一些关键新能力上拉开差距” 的营销型证据,而不是绝对真理。


如果从“选模型/选平台”的角度怎么看?

我会用下面这个粗暴但实用的心智模型:

  1. 科研/数学/小样本推理、多模态、超长上下文、Agent 玩法多 → 这张图确实暗示:Gemini 3 Pro 值得重点尝试。
  2. 写作、对话体验、对齐风格(安全感/“像人说话”)、分析报告 → Claude 4.5 依然很强,主观体验常常不输 benchmark。
  3. 综合通用能力 + 生态(插件、API、第三方集成)、兼容历史代码 / 工具链 → GPT 系列依然有很大优势,尤其开发者生态、资料、现成样例最多。
  4. 真实选型别只看一张表:价格、速率限制、企业支持、隐私/合规、区域可用性,往往比多 2 个百分点的 MMLU 更关键。

Claude Opus4.1

看了这个基准测试对比表,我有几个观察:

Gemini 3 Pro 的优势明显

在绝大多数基准测试中领先:Gemini 3 Pro 在21个测试中有17个都取得了最高分,展现出了全面的优势。特别突出的几个方面:

  1. 数学推理能力超强:在AIME 2025达到100%的成绩(需要代码执行),MathArena Apex达到23.4%(远超其他模型)
  2. 科学知识扎实:GPQA Diamond达到91.9%
  3. 多模态理解出色:MMMU-Pro达到81%,Video-MMMU达到87.6%
  4. 长文本处理能力强:MRCR v2在128k平均长度测试中达到77%,1M长度测试中26.3%

几个有趣的细节

代码执行的重要性:在AIME 2025测试中,Gemini 3 Pro在有代码执行时达到100%,没有时只有95%,说明工具使用能力对复杂推理任务很关键。

成本效益值得关注:虽然Gemini 3 Pro在Vending-Bench 2上的成本($5,478.16)远高于其他模型,但考虑到性能提升幅度,对于需要高质量输出的场景可能仍然值得。

部分领域仍有短板

  1. OmniDocBench 1.5(OCR任务)表现最差
  2. Terminal-Bench 2.0 仅54.2%,被其他模型超越

Gemini 3 Pro thinking

这是一张非常引人注目的基准测试对比图,展示了 Gemini 3 ProGemini 2.5 ProClaude Sonnet 4.5 以及 GPT-5.1 的对比。

假设这张图表的数据是真实准确的(基于目前的日期2025年11月,这看起来像是行业顶尖模型的最新对决),我有以下几个核心观察:

“推理能力”的质变 (The Reasoning Leap)

最让人震惊的不是Gemini 3 Pro赢了,而是它在高难度推理任务上与其他模型拉开的巨大鸿沟。这暗示了底层架构或训练方法可能发生了本质上的突破(可能是强化学习或思维链的重大进展)。

  1. MathArena Apex: 这是最夸张的数据。Gemini 3 Pro 得分 23.4%,而其他所有模型(包括GPT-5.1)都只有 1% 左右。这说明在极高难度的数学竞赛问题上,Gemini 3 Pro “解决”了其他模型完全无法理解的问题类别。
  2. ARC-AGI-2 (Visual Reasoning): 这是一个衡量通用人工智能(AGI)潜力的关键指标。Gemini 3 Pro 达到了 31.1%,接近其他模型(~17%)的两倍。这表明其举一反三和处理未见过模式的能力有了代际飞跃。

代理与长程任务能力的统治力 (Agentic Dominance)

在考察模型作为“Agent”(智能体)独立完成任务的基准上,Gemini 3 Pro 表现出了惊人的效能。

  1. Vending-Bench 2: 这个基准衡量的是长程任务的净价值(Net worth)。Gemini 3 Pro 达到了 $5,478,而第二名 GPT-5.1 仅为 $1,473。这意味着在处理复杂、多步骤、需要长期规划的现实世界任务时,Gemini 3 Pro 的经济效能和成功率是其他模型的数倍。
  2. Terminal-Bench 2.0: 在终端编码操作上,它也保持了显著领先 (54.2% vs 47.6%)。

知识与多模态的稳步提升

在传统的知识问答和多模态理解上,Gemini 3 Pro 依然领先,但差距没有“推理类”那么夸张。这可能意味着当前的Transformer架构在知识压缩上已经接近边际效应递减,但在如何运用知识上还有很大空间。

  1. GPQA Diamond (科学知识): 91.9% vs 88.1%。虽然领先,但大家都很强。
  2. MMMU-Pro (多模态): 81.0% vs 76.0%。稳健的提升。

值得注意的“异常”:SWE-Bench Verified

这是一个非常有趣的数据点。

  1. SWE-Bench Verified (Agentic Coding): Gemini 3 Pro 得分为 76.2%,实际上略低于 Claude Sonnet 4.5 (77.2%) 和 GPT-5.1 (76.3%)。

解读: 这表明虽然 Gemini 3 Pro 在深层数学推理(MathArena)上无敌,但这并没有直接转化为“修复现实世界代码漏洞”的绝对优势。这可能意味着:

SWE-Bench 的瓶颈可能在于上下文窗口或对现有代码库的检索,而非纯粹的逻辑推理。

或者 Claude 和 GPT 系列针对代码工程化做了极度的过拟合/优化。

总结:AGI 的门槛被抬高了

如果说 GPT-4 时代大家还在同一起跑线竞争,这张图传递的信息是:Google 似乎找到了一把新的“钥匙”

  1. GPT-5.1 和 Claude Sonnet 4.5 看起来像是上一代技术的极致优化版(线性增长)。
  2. Gemini 3 Pro 在 MathArena 和 ARC 上的表现,看起来像是引入了某种类似于 OpenAI o1 (草莓) 试图做的“系统2”思维能力的成熟形态,实现了非线性的指数级增长。