首页 / 评估大全 / MMMU-Pro
MMMU-Pro
MMMU 的抗污染强化版：过滤文本可答题、选项扩到 10 个、并引入题干嵌入图片的 vision-only 模式
基本信息
30 秒看懂
论文口径：模型分数较 MMMU 下降 16.8–26.9 个百分点——下降幅度即『原文 MMMU 分数里的捷径成分』的量级参考。
采用格局： 证据账本中 9 次引用；多模态旗舰发布的『更难 MMMU』档
评分协议
这个评测的官方统一评分协议还没收录到本页；各厂商实际使用的执行框架（harness）与推理档位（effort）已逐条写在下方引用卡里。
可比性提示： 同一评测的分数是「实验配置」的产物：只要评测版本（variant）、执行框架（harness）、推理档位（reasoning effort）、工具、采样参数、运行次数或聚合方式有任何一项不同，数字就不能直接横向比较。下方各厂商的分数如未写明协议细节，请只当作方向参考。
模型发布采用时间轴
共收录 7 场模型发布（收录 25 项分值） · 按发布时间倒序排列 · 数据更新于 2026-09-20
2026
2026-08-26
· 国际
本发布含 3 个变体，各变体规格见模型详情。
发布文将 Sol 定位为 GPT-5.6 的旗舰档（medium/high/xhigh/max/ultra 五档努力级别）。36 项评测横跨智能体、编码、长上下文、科研医疗金融与安全，亮点为 BrowseComp 90.4% 与 Terminal-Bench 2.1 88.8%。
旗舰 多档努力 智能体 安全防护
查看模型变体与证据
GPT-5.6 Sol · no tools 83% GPT-5.6 Terra · no tools 80.7% GPT-5.6 Luna · no tools 78.4% gpt-5-5 · no tools 81.2% gemini-3-1-pro · no tools 80.5% GPT-5.6 Sol · with tools 84.6% GPT-5.6 Terra · with tools 82% GPT-5.6 Luna · with tools 79.5% gpt-5-5 · with tools 83.2%
2026-08-03
· 国内
参数 2.4T（激活 95B） 模态 文本·图像·视频
通义将 Qwen3.8-Max 定位为当前 Qwen 家族最强大的模型，基于 Qwen 3.5 架构将参数规模扩展至 2.4 万亿（激活参数 95B），在编程、办公、科研与长周期任务上全面提升，并成为首个开源权重的 Qwen-Max 级模型（权重于下周发布）。已收录评测覆盖智能体编码与办公、多模态理解与操作、视频理解及长上下文等领域，Terminal-Bench 2.1 86.6、PaperBench 93。
开源权重（预告） 多模态智能体 长周期任务 编程与办公
查看模型变体与证据
MMMU-Pro 82.3
2026-04-23
· 国际
本发布含 2 个变体，各变体规格见模型详情。
OpenAI 发布 GPT-5.5，提供 low/medium/high/xhigh 推理档（另有非推理模式）。评测横跨智能体编码、知识工作、长上下文与科学/网络安全，亮点如 Terminal-Bench 2.0 82.7%、ARC-AGI-2 85.0%。
智能体编码 知识工作 长上下文 网络安全
查看模型变体与证据
GPT-5.5 · no tools 81.2% gemini-3-1-pro · no tools 80.5% GPT-5.5 · with tools 83.2% gpt-5-4 · with tools 82.1% gpt-5-4 · no tools 81.2%
2026-03-10
· 国内
模态 文本·图像·音频·视频
字节 Seed 系列页将 Seed2.0 Lite 定位为 Seed 基础模型系列首个全模态（omni-modal）理解模型，原生支持视频、图像、音频与文本的统一理解，并升级 Agent、Coding 与 GUI 能力，兼顾输出质量与响应速度，适合通用生产级场景。已收录评测覆盖文本智能体与编码、多模态理解、GUI 操作及视频与音频理解等领域，GPQA Diamond 88.4%、OSWorld Verified 64.4%。
全模态理解 生产级通用 GUI 操作 智能体
查看模型变体与证据
STEM 78.4
2026-03-05
· 国际
本发布含 4 个变体，各变体规格见模型详情。
OpenAI 将 GPT-5.4 定位为融合 GPT-5.3-Codex 编码谱系的新旗舰（ChatGPT 内 Thinking 模式，effort none/low/medium/high/xhigh，1M 上下文，原生计算机操作与工具搜索）。已收录 90 余项评测横跨知识工作、编码、计算机操作与长上下文：亮点 GDPval 83.0%、OSWorld-Verified 75.0%。
旗舰 1M 长上下文 原生计算机操作 工具搜索
查看模型变体与证据
GPT-5.4 · no tools 81.2% gpt-5-2 · no tools 79.5% GPT-5.4 · with tools 82.1% gpt-5-2 · with tools 80.4%
2026-02-05
· 国际
上下文 1M（beta） 价格 $10/$37.5 每百万 tokens · 发布文给出的 premium 1M 上下文（beta）档定价；标准档定价发布文未给出 模态 文本·图像
Claude Opus 4.6 是 Anthropic 的旗舰模型，引入多档推理努力（low/medium/high/max）、自适应思考、上下文压缩与 1M 上下文 beta。评测覆盖代理编码/工具/搜索、法律与多语言问答：SWE-bench Verified 80.8、GPQA Diamond 91.3、ARC-AGI-2 68.8、BrowseComp 84.0。
长上下文 推理努力分级 代理工具调用 多模态
查看模型变体与证据
without/with tools 73.9 (without tools) / 77.3 (with tools)
2025
2025-08-07
· 国际
本发布含 2 个变体，各变体规格见模型详情。
GPT-5 是 OpenAI 的统一思考模型，发布文称其在 AIME 2025（无工具 94.6%）、SWE-bench Verified 74.9%、HealthBench Hard 46.2% 等刷新 SOTA，并大幅降低事实错误与谄媚率。评测覆盖竞赛数学、编码、指令跟随与代理、多模态与健康：GPQA Diamond 88.4%、MMMU 84.2%、BrowseComp 54.9%。
思考模型 多模态 代理工具调用 幻觉抑制
查看模型变体与证据
GPT-5 · MMMU-Pro 78.4 o3 · MMMU-Pro 76.4 GPT-5 · MMMU-Pro 62.7 gpt-4o · MMMU-Pro 59.9
数据缺口（本页暂未收录）
评测版本与子集（例如部分评测有 Diamond、Verified 等官方变体）以及数据集规模
各厂商使用的执行框架（harness / scaffold）与 Agent 工具配置
推理档位（reasoning effort）、采样参数（temperature / top-p）、运行次数与分数聚合方式
指标对应的随机猜测基线（chance baseline）与人类基线的实验条件
测试集污染检测结论，以及是否已饱和的结构化标注
以上字段暂缺时，本页不虚构数字 ；后续会依据每一次发布的证据逐条补齐并标注来源。
复现入口
引用
本页数据更新于 2026-09-20，依据厂商发布材料真实抓取；发现数据问题欢迎在 GitHub 提 Issue。
OpenAI·国际
