30. 资源速查：按场景查基准、框架与公式

30.1 本章定位与使用方法

三个使用场景对应三张不同的表：

两条使用纪律：第一，本章的表是索引不是结论——选型决策必须回到对应章节的方法论（选基准的第 9 章、选框架的第 19 章、元评估的第 7 章）；第二，资源列表会腐烂，本章所有条目标注了收录时间（2026-08-28），每 6 个月应复核一次。

30.2 基准速查总表（65 项）

本表数据源：data/benchmarks.json（updated 2026-08-28，依据 13 家厂商发布材料真实抓取的覆盖矩阵）。交互版（按类别筛选、含各基准协议与厂商采用记录）见站点"评估大全"页：evals.zenheart.site/benchmarks/。表中一句话考点为速记版，协议细节（shot 数、判分口径、时间窗）以交互版与对应章节为准。

30.2.1 知识与学科（9 项）

30.2.2 推理与数学（9 项）

30.2.3 代码与工程（10 项）

30.2.4 Agent 与环境（10 项）

30.2.5 多模态（7 项）

30.2.6 长上下文（3 项）

30.2.7 中文特色（7 项）

30.2.8 偏好与排行（6 项）

30.2.9 安全与事实（4 项）

表外补充（应用层常用但未入 65 项总表）：AdvBench（来源：GCG 越狱论文 arXiv:2307.15043）——约 520 个有害行为描述 + 100 个对抗 prompt，是最常用的越狱成功率测试底座，与第 14 章 10.5、第 22 章口径一致；另注意它测的是"攻击底座"，需要自行定义成功率判分。

30.3 框架速查（15 + 2 项）

选型方法论（被测物是函数还是轨迹、要不要陪生产、数据能否出境）见第 19 章与第 20 章 17.11 的决策树；本表只做"装什么、跑什么"的索引：

选型的三条一句话判据（第 20 章 17.11）：被测物是函数还是轨迹？评估要陪生产还是只陪开发？数据与模型能不能出境？

30.4 指标公式卡

公式只在这里汇总一次，详细解读与失效场景见"深入"列：

30.5 术语：一律回第 0 章查

第 0 章集中定义了 20 个核心术语 + 15 个进阶术语（条目号 1-35），本章不再复制任何定义——同一术语只有一个定义所有者。这里只给"术语 → 第 0 章条目 → 深入章节"的指针，外加第 0 章未收录的少量应用层术语：

30.6 生态速查：工具、平台与数据源

标注工具：Label Studio（labelstud.io，自托管标注）；Argilla（argilla.io，偏好标注）。 实验追踪：Weights & Biases（wandb.ai）；MLflow（mlflow.org）。 本地运行：Ollama（ollama.com）；LM Studio（lmstudio.ai）。 数据集下载：Hugging Face Datasets（huggingface.co/datasets）；Papers with Code（paperswithcode.com/datasets）；arXiv（arxiv.org）。 榜单聚合（对账方法论见第 18 章）：Chatbot Arena（lmarena.ai）；Artificial Analysis（artificialanalysis.ai）；SEAL（scale.com/leaderboard）；OpenCompass（opencompass.org.cn）；HF Open LLM Leaderboard（huggingface.co/spaces/open-llm-leaderboard）。

厂商 API 与模型版本迭代极快，本章不维护版本对照表——读厂商报告的方法论（五问法、锚点策略）见第 8 章，第三方榜单对账见第 18 章；写代码时的最新模型名以各厂商官方文档为准。

30.7 必读论文清单（L0 / L1 / L2）

分级原则（沿用全书可信度标记）：L0 = 不读会误解全书概念；L1 = 建好体系前应该读过；L2 = 按需查阅。全部为真实链接。

L0 必读（5 篇）

1. MMLU（Hendrycks et al. 2020） — 知识评测的原点，理解"多选一"范式
2. HumanEval（Chen et al. 2021） — pass@k 与执行验证信仰的出处
3. GSM8K（Cobbe et al. 2021） — CoT 评测与"验证器"思想
4. Judging LLM-as-a-Judge（Zheng et al. 2023） — 判官范式与四大偏差的原始实验
5. HELM（Liang et al. 2022） — 多维并列评测，破"单一分数"迷思

L1 推荐（10 篇）

• TruthfulQA（Lin et al. 2021） — 对抗性事实评测设计
• HellaSwag（Zellers et al. 2019） — 基准饱和与"对抗过滤"方法论
• LiveCodeBench（Jain et al. 2024） — 时间窗防污染协议
• SWE-bench（Jimenez et al. 2023） — 仓库级修复评测的构造方法
• MMMU（Yue et al. 2023） — 多模态知识评测
• RULER（Hsieh et al. 2024） — 长上下文有效长度
• FrontierMath（Epoch AI 2024） — 研究级数学评测与"题目保密"路线
• RAGAS（Es et al. 2023） — RAG 四指标的公式化
• Garak（NVIDIA，开源工具） — LLM 漏洞扫描器的 probe 组织方式
• Agentic Benchmark Checklist（Zhu et al. 2025） — 审计 agentic 基准有效性

L2 按需（方法论 + 厂商报告）

• AlpacaEval 2.0 长度控制（Dubois et al. 2024） — 冗长偏差的统计修正
• GSM1k（Zhang et al. 2024） — 用 1,205 道同源对照题测量过拟合（仓库：scaleapi/gsm1k_eval）
• POPE（Li et al. 2023） — 视觉幻觉三采样
• MathVista（Lu et al. 2023） — 视觉数学混合判分
• GPT-4 技术报告（OpenAI 2023） — 厂商报告的"评测表格"读法样本
• Llama 3（Meta 2024） — 开源系评测口径
• DeepSeek-R1（2025） — 推理模型评测与协议披露样本
• Gemini 1.5（2024） — 长上下文与多模态叙事
• Kimi k1.5（2025） — RL 与多模态评测口径

必读长文（博客级但含金量高）：Designing ML Evaluation Systems（Chip Huyen）；Anthropic Engineering Blog；OpenAI Cookbook。

30.8 一页 Cheat Sheet（速查卡）

┌──────────────────────────────────────────────────────┐
│ LLM 评估速查卡 · evals.zenheart.site                  │
├──────────────────────────────────────────────────────┤
│ 4 步评估法：数据集 → 推理 → 评分 → 报告（第 4 章）    │
│ 5W1H：Why / What / Who / When / Where / How（第 2 章）│
│ 黄金公式：业务 → 能力 → 指标 → 测试集（第 23 章）     │
│                                                      │
│ 必看 4 类基准：                                       │
│   学科 MMLU-Pro · 推理 GPQA Diamond                  │
│   代码 LiveCodeBench + SWE-bench Verified            │
│   偏好 Arena Elo（来源：第 5/6/7/13 章）             │
│                                                      │
│ 判官 4 偏差（来源：arXiv:2306.05685）：              │
│   位置 · 冗长 · 自增强 · 能力天花板                  │
│   （数学判分失败率 91.3% vs GPT-4 8.7%）             │
│   缓解：换位跑两次 · rubric 长度中立                  │
│         · 判官模型 ≠ 被测模型 · 数学走规则判分        │
│                                                      │
│ 评估时机：PR 50 题门禁 / 每晚 500 题 /                │
│           发版 100 题 0 容忍 / 在线 1% 采样（第 20 章）│
│                                                      │
│ 测试集 4 来源：公开 20% + 人工 30% +                  │
│               回流 30% + 合成 20%（第 24 章）         │
│                                                      │
│ 安全底座：HarmBench（标准化红队）·                    │
│   AdvBench = 520 有害行为 + 100 对抗 prompt           │
│   （来源：arXiv:2307.15043，第 10/21 章）             │
│                                                      │
│ 核心指标：Accuracy / F1 / pass@k /                    │
│           Elo / Cohen's κ / Wilson 区间               │
│                                                      │
│ 元评估门槛：与人类一致率 ≥ 80%（第 7 章）           │
│ 选型对账：Arena / Artificial Analysis / SEAL /        │
│           OpenCompass / HF 榜（第 18 章）             │
│                                                      │
│ 一句话：没有 CI 的评估 = 不会被使用的评估            │
└──────────────────────────────────────────────────────┘

与旧版速查卡的两处正典对齐说明：判官偏差从"位置/长度/自偏好/格式"更正为位置 / 冗长 / 自增强 / 能力天花板（与第 3 章 4.9、第 17 章 13.4 的实验数据一致）；AdvBench 规模从"1000"更正为 520 行为 + 100 对抗 prompt（与第 14 章 10.5、第 22 章一致）。

30.10 本章 Cheat Sheet

30.11 5 个常见错误

1. 收藏等于用过——收藏 100 个仓库不如完整跑通 1 个基准 + 1 个框架；每季度清一次"零使用"收藏。
2. 把速查表当方法论——本章每张表都是索引，选型与阈值决策必须回到对应章节的推理；表答"是什么"，章节答"为什么"。
3. 榜单分数当真理——任何分数先问口径（第 8 章五问法：协议 / 采样 / 子集 / 锚点 / 缺席项）；2026 年还在引用 2024 年静态榜的对比报告应直接存疑。
4. 术语自造第二定义——团队文档里"faithfulness"写出了与第 21 章不同的定义，两周后没人知道哪个是真的；定义只允许一个所有者。
5. 资源列表永不更新——本章收录时间 2026-08-28，工具迭代以月计；把"资源复核"放进季度例行，而不是等链接失效才发现。

30.12 延伸阅读

⭐⭐⭐（官方一手）

• HELM 官网 — 多维评测的活样本
• LM Eval Harness 仓库 — 学术基准统一入口
• 站点评估大全 — 本章总表的交互版

⭐⭐（方法论）

• Designing ML Evaluation Systems（Chip Huyen） — 评估系统设计的长文
• Confident AI: LLM Evaluation Guide — 框架视角的综述
• Vellum: LLM Evaluation Frameworks — 框架横评

⭐

• LMArena Blog — 榜单方法论的持续更新
• Anthropic: Constitutional AI — 安全评估的背景读物