12. 多模态评估基准

12.1 本章目标与读者

前置知识：读完第 9 章（MMLU 与六项拆解模板）与第 10 章 10.10 节（MathVista 的 system prompt 事件简述）。本章会反复使用第 9 章定下的拆解模板：测什么 → 数据构建 → 评分协议 → 分数含义 → 局限与游戏空间 → 厂商采用记录。

读完后你能：

• 说清 MMMU 与 MMLU 的三个关键差异（图像作为输入、答案抽取、测试集私有），以及 MMMU-Pro 的"vision 设置"如何堵死纯文本蹭分这个最隐蔽的游戏空间
• 区分 ChartQA / DocVQA / AI2D / OCRBench 各自测哪一段"读图能力"，以及为什么它们没有一个进入旗舰发布正文
• 解释 POPE 的三种负样本采样（random / popular / adversarial）为什么给同一个模型三个不同分数
• 遇到可疑的多模态分数时，用"三个坑"清单做归因：图像预处理、OCR 失败、幻觉量化

12.2 概念引入：多模态评测是在流水线里加一个"输入通道"

先纠正一个直觉偏差：多模态评测没有发明新的判分体系。绝大多数多模态基准的判分方式，仍然是第 9 章那一套"选择题精确匹配 / 短答案匹配 / 数值容差"——真正多出来的，是两段环节：

1. 图像预处理：把原始图片变成模型能吃的输入（缩放、切 patch、压缩）；
2. 读图：模型把像素翻译成内部表征，再和文字一起推理。

前端类比：这和做无障碍（a11y）测试很像——你测的不是新功能，而是"同一批能力在另一个输入通道上的表现"。页面在屏幕阅读器里还能不能用、图表在色盲模式下还读不读得懂；多模态评测就是"这个模型在像素通道上还聪不聪明"。判分标准不变，输入通道变了，失败模式就全变了。

一条最简的多模态评测流水线长这样：

// multimodal-eval.ts —— 多模态评测的最小数据结构（示意，无需联网）
// 关键：图像不再只是"文本 prompt 的附件"，而是带协议信息的独立字段

interface MultimodalSample {
  id: string;
  image: {
    uri: string;              // 图片地址或 base64
    width: number;            // 原始尺寸——预处理日志的起点
    height: number;
    hash: string;             // 内容哈希：保证所有模型吃的是同一张图
  };
  question: string;           // 题面（可能包含文字线索，见 8.3.4 的"题面泄漏"）
  options?: string[];         // 选择题选项；开放式题为 undefined
  answer: string;             // 标准答案
  requiresOcr: boolean;       // 标记：答案是否依赖图内文字（归因用，见 8.7）
}

对比第 9 章 MMLU 的数据结构，多出来的三个字段（image.width/height、image.hash、requiresOcr）不是装饰——它们分别对应本章 8.7 要讲的三个坑。评测数据结构里没有记录的变量，就是你以后没法归因的变量。

整条流水线以及三个坑的位置：

flowchart LR
    A["原始图像<br/>（含尺寸与哈希）"] --> B["预处理<br/>缩放 / 切 patch / 压缩<br/>【坑 1】各模型处理不同"]
    B --> C["模型推理<br/>读图 + 文本联合"]
    C --> D["输出生成<br/>格式受 system prompt 影响<br/>（第 10 章 6.10 事件的根源）"]
    D --> E["答案抽取与判分<br/>选择/数值/裁判"]
    E --> F["归因诊断<br/>【坑 2】OCR 失败 ≠ 视觉失败<br/>【坑 3】幻觉量化是光谱"]

后面三节按这个图展开：8.3-8.6 讲评测量（图的中间），8.7 讲三个坑（图的上下边缘）。

12.3 MMMU 深拆：多模态版的 MMLU

12.3.1 测什么

MMMU（Massive Multi-discipline Multimodal Understanding）= 约 1.15 万道大学水平的图文综合题（开发集 150 + 验证集 900 + 测试集 10,500），覆盖 6 大学科领域、30 个学科、183 个子领域，每题配 1 到多张图像，图像类型达 30 种（来源：论文 Yue et al., arXiv:2311.16502，CVPR 2024）。

它被称为"多模态版 MMLU"不只因为缩写像，而是三件事同构：

最后一条是与 MMLU 最容易被忽略的差异，也是它抗污染设计的一部分：MMMU 测试集（10,500 题）答案不公开，上榜需向官方 leaderboard 提交结果；公开答案的只有开发集 150 题与验证集 900 题（来源：arXiv:2311.16502 与官方站点 mmmu-anthology.github.io）。

学科分布（来源：arXiv:2311.16502）：

样例（改写自公开验证集风格，保留题型结构）

图：[一幅油画照片] 问题：这幅作品的画家属于哪个艺术流派？ A) 印象派　B) 立体派　C) 超现实主义　D) 表现主义 正确答案：A

注意这个样例暴露的问题：题面文字本身已经把答案范围框死了——一个完全没看图的纯文本模型，也可能靠"睡莲 + 莫奈"的常识选中 A。这不是假设，是 MMMU 最大的游戏空间，8.3.4 展开。

12.3.2 数据构建：从大学课件到 30 种图像

MMMU 的题不是从互联网随机抓的，而是围绕"大学课程"这个结构化来源收集（来源：arXiv:2311.16502）：

• 来源：大学考试题、课堂测验、讲义 PPT、教材配图；
• 图像类型：30 种，覆盖图表、示意图、表格、电路图、乐谱、地图、医学影像、分子结构、手写笔记等——这是它区别于 VQA 类基准的关键，VQA 类以自然照片为主；
• 人工审核：每题经人工核验答案唯一性与图像相关性，并按学科、难度、图像类型打标。

前端类比：相当于不从用户反馈里抓 bug，而是从"历史工单系统"里按模块、严重度、复现路径打标抽取——来源结构化，才能支撑后面的分项统计。

12.3.3 评分协议：答案抽取与两个口径

MMMU 的判分流程：模型输出一段文字 → 正则抽取答案字母 → 与标准答案比对。协议上有两个必须分清的口径：

1. 验证集口径（val，900 题）：答案公开，任何人本地可跑。所有厂商技术报告里的 MMMU 数字几乎都是这个口径；
2. 测试集口径（test，10,500 题）：答案私有，走官方 leaderboard 提交。分数通常与 val 有几个点的偏差。

读任何 MMMU 分数前先确认口径：val 只有 900 题，置信区间天然偏宽——两个模型在 val 上差 1-2 个点，基本在噪声范围内。另外 MMMU 还有一个与生俱来的概率底线：多数题为四选一，瞎猜期望约 25%（少量题为六选一，底线约 17%）。

MMMU-Pro：把题面渲染进图里的反作弊设计。2024 年 9 月发布的 MMMU-Pro（来源：论文 arXiv:2409.02813）针对原版的游戏空间做了三处强化：选项从 4 个扩到 10 个（瞎猜底线压到约 10%）；候选答案内嵌干扰；最关键的一步——vision 设置把整个题面文字渲染成一张截图，模型必须先"读图"才能拿到题目。这直接堵死了"纯文本模型蹭分"的通道：一个只在文字上做文章的模型，在 vision 设置下连题目都读不到。这是多模态评测里最优雅的一次"把泄漏路径变成考点"。

12.3.4 分数含义、局限与游戏空间

分数能说明：模型在大学级图文综合题上的整体水平，跨学科分布是否均衡（分项分数）。

分数不能说明：

• "看懂了图"——题面泄漏问题（见 8.3.1 样例）：题干与选项包含大量文字线索，纯文本模型也能拿到不低的分数。这是 MMMU 与 MMMU-Pro vision 设置之间的差额本质；
• 真实文档/图表处理能力——MMMU 的图是"考点化"的图，与 8.5 的 ChartQA / DocVQA 所测的自然工作负载不同；
• 超过约 73% 后的差异——旗舰挤在 70% 附近，剩余差距多来自噪声与个别学科。

局限：单题一图为主、长图/多图交互覆盖弱；学科分布偏"考试"而非工程；测试集私有虽防污染，但也让外部无法复核答案质量。

12.3.5 厂商采用记录

MMMU 是多模态类唯一进入多家旗舰发布正文的共识基准（来源：2026-08-28 抓取的 13 家厂商发布材料统计，research/vendor-blog-evals.md H 节）：

（注：Claude 3.5 Sonnet 的 70.4 取自 Grok 3 发布正文表；Anthropic 自家发布未在正文给出 MMMU 数值，早期社区复测口径略低于此——同模型不同榜单口径存在数个点偏差，以同表内比较为准。）

回避本身就是信息：GPT-4o 发布是典型反例——全文没有具名多模态榜数字，比较锚点是自家 GPT-4 Turbo（来源：openai.com/index/hello-gpt-4o/）。原因是它要证明的命题是"多模态融合没有损失文本智能"，具名榜反而帮不上忙（锚点策略分析详见第 8 章 14.3）。另外开源侧的 MMMU 榜单（VLMEvalKit、OpenCompass）常年活跃，但开源权重模型的分数不在本仓抓取样本内，本章不引具体数值。

12.4 MathVista：多模态数学与"system prompt 更正事件"

12.4.1 测什么与数据构建

MathVista = 6,141 道视觉情境下的数学推理题，整合 28 个既有数据集并新增 3 个自建集，按 7 类任务划分（图表问答、几何求解、统计推理、表格推理、视觉数学问答等）（来源：论文 Lu et al., arXiv:2310.02255，ICLR 2024）。

它的定位是"数学（第 10 章）与视觉的交集"：图像不是背景装饰，而是题目的必要信息——柱状图的数值只存在于像素里，几何题的角度要靠图读出。第 10 章 10.10 节已简述过它的协议敏感案例，本节补充机制与工程对策。

12.4.2 评分协议：混合判分是它协议敏感的结构性原因

MathVista 的判分不是单一规则，而是按题型分流（来源：arXiv:2310.02255）：

• 选择题：精确匹配；
• 数值题：解析后比对（容忍一定格式差异）；
• 开放式推理题：由 LLM 裁判或人工判定。

第三条是关键。一旦判分依赖 LLM 裁判，裁判的输入格式、模型输出格式就会影响分数——而输出格式由 system prompt 决定。这就引出了本章最重要的协议事件。

12.4.3 system prompt 更正事件：一个提示词让已发布分数作废

事件经过（来源：openai.com/index/introducing-o3-and-o4-mini/ 页面更新记录，抓取日期 2026-08-28）：2025 年 4 月 16 日，OpenAI 在 o3/o4-mini 发布页的更新记录中声明，因 system prompt 变更，更正了此前发布的 MathVista 与 Charxiv-r 结果。

这件事的价值不在"OpenAI 出错了"，而在它把一个抽象原则变成了有编号的实证案例：

1. 机制：开放题判分依赖裁判读取模型输出 → 输出格式由 system prompt 决定 → system prompt 一变，同模型同题目的输出从"裁判能解析"变成"裁判解析不出或判法改变" → 分数漂移。测试集没变、模型没变、判分器没变，变的只是最前面的一行提示词；
2. 前端类比：改了 axios 拦截器里的默认 Content-Type，后端返回结构从 JSON 变成纯文本，断言全挂。CI 没坏、接口没坏，坏的是"协议"——而你根本没有把协议纳入版本管理；
3. 工程对策（可直接抄进自己的评估系统）：评估记录 schema 里必须有 prompt_template_version 与 system_prompt_hash 字段，分数发布与协议版本绑定归档：

// eval-record.ts —— 让"已发布分数"可追溯的最小记录结构
interface EvalRecord {
  benchmark: string;            // "MathVista"
  model: string;                // 模型名 + 具体版本号
  score: number;
  protocol: {
    systemPromptHash: string;   // 关键字段：system prompt 的内容哈希
    promptTemplateVersion: string;
    judgeModel: string;         // 开放题判分用的裁判模型与版本
  };
  publishedAt: string;          // 发布时间：协议变更后旧分数必须标废弃
}

// 运行命令：npx tsx eval-record.ts（无外部依赖）
// 期望输出：每次发布分数时同时落一条带协议指纹的记录，
// 任何人问"这个 74.9 怎么来的"，都能从哈希回溯到确切的提示词。

第 10 章 10.10 节已把这一事件列为"评估报告必须连协议一起归档"的实证；本节补充的是机制解释与工程对策。厂商采用记录：Kimi k1.5 报 MathVista 74.9（来源：arXiv:2501.12599 正文）；OpenAI o3 经更新记录引用。抓取样本中 Grok 3 的发布表未采用 MathVista（改用 MMMU 与 EgoSchema 补多模态叙事）。

12.5 能力细分四件套：ChartQA / DocVQA / AI2D / OCRBench

MMMU 测的是"综合"，但真实业务里多模态需求是分段的：读图表、读文档、读示意图、读文字。四件套各占一段。

12.5.1 ChartQA：图表问答

• 测什么：给定一张统计图表（柱状/折线/饼图等），回答数值读取、比较与简单推理问题。
• 数据构建：从多个统计来源收集图表，人工撰写问题与答案（约 9,600 组人工问答，另有自动生成的扩充部分，来源：论文 Masry et al., arXiv:2203.10244，ACL 2022）。
• 评分协议：宽松准确率（relaxed accuracy）——数值答案允许约 5% 的相对误差，这是为"读图 inevitably 有像素级误差"设计的容差。
• 分数含义：模型"从像素里恢复数据 + 做简单计算"的能力，是 BI 看板类产品的核心前置能力。
• 局限与游戏空间：图表样式集中（Statista 风格为主），模型对花哨定制图表的泛化未测；数值容差让"粗读"也能得分；部分模型会从题面猜答案趋势而不读图。
• 厂商采用记录：抓取的 13 家旗舰发布正文均未点名 ChartQA（来源：vendor-blog-evals.md 覆盖矩阵）——它活跃在开源榜单与论文里。

12.5.2 DocVQA：文档图像问答

• 测什么：扫描件、表单、发票、报告页上的问答——"这张发票的总金额是多少"。
• 数据构建：基于真实行业文档图像集（UCSF 行业报告集），约 5 万道问题、约 1.28 万张文档图像（来源：论文 Mathew et al., arXiv:2007.00398，WACV 2021）。常用评估口径为验证集与测试集合计约 1 万题（本章原有材料写的 10,194 即近似此口径——素材冲突时按论文全量口径为准，特此标注）。
• 评分协议：ANLS（Average Normalized Levenshtein Similarity，归一化编辑距离相似度）——不是非对即错，而是按答案字符串相似度给 0 到 1 的分，容忍大小写、标点与 OCR 级别的微小差异。
• 分数含义：文档智能（RPA、票据自动化）的地基能力。
• 局限与游戏空间：文档图像多为英文行业报告；ANLS 的"相似给分"会让近似错误的答案也得分，分数天然偏高；小字号表格对模型内部的图像预处理极其敏感（见 8.7 坑 1）。
• 厂商采用记录：旗舰发布正文未点名（同上）；产品化文档能力宣传多用自建演示。

12.5.3 AI2D：科学示意图

• 测什么：理解科学教学示意图——细胞结构图、电路图、地质剖面图上的对象、关系与标注。
• 数据构建：约 5,000 张带标注的科学示意图、超千万条标注元素（来源：论文 Kembhavi et al., arXiv:1603.07396）。VLM 评测常用其选择题改版。
• 评分协议：多选精确匹配。
• 分数含义：对"非照片类结构化图形"的理解，教育类与工单/架构图类产品相关。
• 局限：示意图风格统一，接近"考纲化"；与 MMMU 的 Science 部分能力重叠。
• 厂商采用记录：旗舰发布正文未点名。

12.5.4 OCRBench：光学字符识别的综合卷

• 测什么：跨场景的文字识别与文字相关推理，约 1,000 道题，覆盖文本识别、场景文字问答、文档问答、关键信息抽取、手写/艺术字与数学公式等大类（来源：论文 Liu et al., arXiv:2305.07895）。
• 评分协议：子任务分别计分后汇总。
• 分数含义：它是四件套里唯一把"读出字"单独当考点的——也因此它经常成为归因工具：模型在 DocVQA 上差，先看 OCRBench 分项就知道是"读不出"还是"读不懂"。
• 局限：中英文混合场景的覆盖仍偏英文；艺术字与手写部分区分度大但样本少。
• 厂商采用记录：旗舰发布正文未点名；开源 VLM 发布（Qwen-VL 系等）常引用，开源侧数字不在本仓抓取样本内，不引具体值。

四件套 + MMMU 的厂商引用矩阵（来源：vendor-blog-evals.md H 节与 3.2 覆盖矩阵，2026-08-28 抓取）：

最后两行的回避不是巧合。厂商发布文只引用"能支撑叙事"的基准：MMMU 撑"聪明"，EgoSchema 撑"视频能力"；而读图应用能力（ChartQA/DocVQA）与幻觉（POPE）要么不构成差异化卖点，要么只能带来坏消息。读厂商多模态材料时，先看它引用了哪些、回避了哪些。

12.6 视觉幻觉：POPE 的三种采样与 HallusionBench

12.6.1 POPE：对象存在性的二分类

POPE（Polling-based Object Probing Evaluation）= 用"图里有 X 吗？"这类是非题测模型是否声称图中存在不存在的对象（来源：论文 Li et al., arXiv:2305.10355，EMNLP 2023）。

数据构建：图像来自 COCO 等数据集，对每张图构造一组是/否问题——一半的提问对象真实存在（正样本），一半不存在（负样本）。POPE 最重要的设计是负样本有三种采样方式，同一个模型在三种设置下分数可以差出几个点：

前端类比：三种设置相当于给快照测试加三层噪声——第一种测"功能在不在"，第二种测"换个环境还认不认"，第三种直接测"先导缓存会不会污染判断"。adversarial 设置才是幻觉的真考点。

12.6.2 评分协议：为什么 precision 和 yes-rate 比 accuracy 关键

POPE 报四类指标外加一个偏置指标。理解它们只需要一个反例：

// pope-metrics.ts —— 一个"永远说有"的模型在 POPE 上是什么分数
// 运行命令：npx tsx pope-metrics.ts（无外部依赖）
// 期望输出：见文件末尾注释

interface PopePrediction { saysYes: boolean; objectPresent: boolean }

function popeMetrics(preds: PopePrediction[]) {
  const tp = preds.filter(p => p.saysYes && p.objectPresent).length;   // 真存在且答"有"
  const fp = preds.filter(p => p.saysYes && !p.objectPresent).length;  // 不存在却答"有"——幻觉
  const tn = preds.filter(p => !p.saysYes && !p.objectPresent).length;
  const fn = preds.filter(p => !p.saysYes && p.objectPresent).length;
  const accuracy  = (tp + tn) / preds.length;
  const precision = tp / (tp + fp);          // 答"有"里有多少是真有
  const recall    = tp / (tp + fn);
  const yesRate   = (tp + fp) / preds.length; // 模型答"有"的总比例——偏置指标
  return { accuracy, precision, recall, yesRate };
}

// 假设正负样本各半（COCO 构造），模型永远答"有"：
// accuracy  ≈ 50%（看似随机）
// precision ≈ 50%（一半的"有"是瞎说）——幻觉被量化
// yesRate   = 100%（偏置彻底暴露）

关键读数规则：accuracy 掩盖幻觉，precision 与 yes-rate 暴露幻觉。一个把 accuracy 刷到 90% 但 yes-rate 高达 95% 的模型，本质是"宁滥勿缺"——在真实产品里这就是源源不断的错误描述。这也是 POPE 论文设计这组指标的原因：单一 accuracy 指标在幻觉评测里会系统性误导。

局限与游戏空间：POPE 的提问模板固定（"图里有 X 吗？"），模型可能学出针对模板的应答偏置而不是真视觉判断；负样本词表限于 COCO 类别，模型可能根本不认识该词；它只测"对象存在性"这一层幻觉。三种采样与四类指标全部是"协议"，换任何一项分数不可比——读 POPE 分数必须问"哪个采样设置、报的哪个指标"。

12.6.3 HallusionBench：语言先验压过视觉证据

HallusionBench = 通过成对图像与成对问题，测模型是否用语言先验替代视觉观察（来源：论文 Liu et al., arXiv:2310.14566；题量较小、按题目对组织，精确计数以论文最新版本为准）。

它和 POPE 的本质区别在于考点层次。典型题目形态：两张几何/统计示意图，第一张问"a 和 b 谁面积大"，第二张只改动一处再问同样的题——正确答案必须跟着图像变。语言先验强的模型会两张图给出同一个答案（比如顺着"a 更大"的表述惯性），这正是"用背过的规律代替看图"的失败模式。题型覆盖视觉错觉、长链推理、跨图对比三类（来源：论文口径）。

厂商采用记录：POPE 与 HallusionBench 在抓取的 13 家旗舰发布正文里均未出现（来源：vendor-blog-evals.md）。但它们是 VLM 研究论文中被引最多的诊断集之一——学术诊断集与厂商发布榜是两个世界：前者用于定位失败模式，后者用于营销叙事。你的评估工作应该更接近前者。

12.6.4 视觉幻觉的层次与基准覆盖

flowchart TB
    subgraph H["视觉幻觉的三个层次"]
        direction TB
        L1["L1 对象存在性幻觉<br/>说图里有不存在的东西<br/>→ POPE（random/popular/adversarial）"]
        L2["L2 属性与计数幻觉<br/>数量、颜色、位置说错<br/>→ MME / 部分分项基准"]
        L3["L3 关系与跨图推理幻觉<br/>语言先验压过视觉证据<br/>→ HallusionBench 成对对比"]
    end
    L1 -->|"覆盖弱，仅对象级"| L2 -->|"覆盖最弱，争议最大"| L3
    L3 -->|"裁判依赖 LLM（第 17 章四偏差）"| J["幻觉量化仍是开放问题"]

越往下走，判分越依赖开放式裁判，幻觉量化越难——这正是 8.7 的坑 3。

12.7 多模态评测的三个坑

三个坑对应 8.2 数据结构里预留的三个字段。它们是本节全部内容的落点：先归因，再下结论。

12.7.1 坑 1：图像预处理差异——你以为测的是同一个基准

不同模型的视觉编码器把图片"吃进去"的方式完全不同：有的把长边压到固定分辨率（如 448 像素），有的支持动态分辨率与任意长宽比切 patch，有的对长文档图直接裁切。同一个基准文件喂给两个模型，实际进入推理的像素内容并不相同。

• 前端类比：同一张 SVG 图标，在 1x 和 3x DPR 屏幕上渲染效果不同；你测的"组件表现"其实耦合了设备像素比。
• 受害者：文档类任务（DocVQA、OCRBench 文档子集）最敏感——小字号表格在压分辨率后直接糊掉。
• 工程对策：评测记录里保留 image.width/height 与 image.hash（见 8.2），并让模型侧返回它实际使用的输入尺寸（多数 API 的响应中含图像 token 数或分辨率字段）。分数异常时第一个检查这里。

12.7.2 坑 2：OCR 失败不等于视觉失败

模型在 DocVQA 上答错金额，可能是三种完全不同的原因：没读出数字（OCR 失败）、读成了别的数字（识别错误）、读对了但算错了（推理失败）。三种原因对应三种修法，混在一起看分数会把"换更强的 OCR 路径"误判为"换更强的模型"。

诊断流程两步走：

// diagnose-multimodal.ts —— 失败归因：把"读图失败"和"理解失败"拆开
// 运行命令：OPENAI_API_KEY=... npx tsx diagnose-multimodal.ts（需联网、付费）

async function diagnose(model: string, sample: MultimodalSample): Promise<string> {
  // 第一步：只问"图里有什么字"，不问原题
  const ocrProbe = await ask(model, sample.image, "列出图片中出现的所有文字，逐条输出。");
  const ocrOk = ocrProbe.includes(expectedText(sample)); // 与图中已知文本比对

  // 第二步：再问原题
  const answer = await ask(model, sample.image, sample.question);

  if (!ocrOk) return "OCR 失败：模型没读出关键文字（换输入分辨率/换文档处理路径）";
  if (answer.includes(sample.answer)) return "通过";
  return "视觉/推理失败：文字读对了但答错（模型能力问题，而非预处理问题）";
}

（期望输出：每道失败题得到三类归因之一；对应修法分别是调预处理、换识别链路、换模型。）

12.7.3 坑 3：幻觉量化难——幻觉是光谱，不是布尔

视觉幻觉从"说图里有不存在的对象"（POPE 可测）到"描述关系时脑补"（裁判都未必能判）是一条光谱。三个量化难点：

1. POPE 只压扁到对象级：属性、计数、空间关系层面的幻觉没有同等的二分类化处理；
2. 开放式幻觉判分依赖 LLM 裁判，而裁判自身的位置/冗长/亲缘偏差会叠加进来（第 17 章四偏差实验）——评幻觉这件事本身可能产生幻觉；
3. 严重度不可比：把"帽子说成红色"与"把 X 光片上的阴影位置说反"在多数指标里都算错 1 题，但产品后果差几个数量级。工程上应按业务风险给失败样本分层计数，而不是只看总分。

12.8 实战与陷阱：跑一次 MMMU 并做归因

# 用 VLMEvalKit 跑 MMMU 验证集（需 Python 环境与模型 API key；联网、付费）
pip install vlmeval
python run.py --data MMMU_DEV_VAL --model <你的模型名> --work-dir ./mmmu-out

# 期望输出：./mmmu-out/ 下生成分项结果
# Overall 及六个学科领域的分项分数（Art & Design / Business / Science 等）

跑完后做三件事，比看总分有价值：

1. 分项对照：Tech & Engineering 明显低于 Humanities，通常指向图表/示意图理解短板；
2. 抽 10 道失败题做 8.7.2 的两步归因，把失败分成"OCR 失败 / 读对答错"两桶；
3. 记录协议：把 8.4.3 的 EvalRecord 落盘，否则下次模型升级后你无法回答"这次 70.2 和上次 68.5 是同一套测法吗"。

陷阱：val 集 900 题，两模型差 1-2 个点属噪声；要比较就多跑几次看区间，或去官方 leaderboard 用 test 口径。

12.9 章节汇总：按业务场景选基准

12.11 📋 本章 Cheat Sheet

12.12 ⚠️ 5 个常见错误

1. 拿 val 分数当 test 分数 — MMMU val 只有 900 题，1-2 个点的差距在噪声内；跨模型比较要么多跑看区间，要么用官方 test 口径。
2. 只看 POPE 的 accuracy — 一个"永远说有"的模型 accuracy 也有 50%，yes-rate 飙到 100%；幻觉评测先看 precision 与 yes-rate。
3. 把 OCR 失败算成视觉能力差 — 先用 8.7.2 的两步探针归因，再决定是换预处理、换识别链路还是换模型。
4. 忽视图像预处理变量 — 不同模型对同一张图的内部重采样完全不同；评测记录里必须有图像尺寸与哈希，否则失败无法归因。
5. 把厂商引用的多模态榜当完整能力图 — 厂商只引用 MMMU 这类"能讲故事"的基准；读图应用能力（ChartQA/DocVQA）与幻觉（POPE）要靠你自己按 8.9 的场景表补测。

12.13 延伸阅读

⭐⭐⭐

• MMMU 论文 — 11.5k 题的构建、30 学科分层与 val/test 双口径
• MMMU-Pro 论文 — vision 设置与 10 选项反作弊设计
• POPE 论文 — 三种负样本采样与幻觉指标定义
• MathVista 论文 — 7 类任务与混合判分协议

⭐⭐

• HallusionBench 论文 — 成对图像对比的幻觉诊断
• ChartQA 论文 — relaxed accuracy 的设计依据
• DocVQA 论文 — ANLS 指标原始定义
• OCRBench — OCR 子任务划分
• VLMEvalKit — 开源多模态评测工具链

⭐

• OpenAI o3/o4-mini 发布文 — MathVista 更正记录的原始出处
• Grok 3 发布文 — 六模型 MMMU 横向表
• AI2D 论文 — 科学示意图标注体系