四大核心入口
系统学习
32 章体系化技术路径：从评测认知、实验设计到工程实操，配带代码示例与即时交互自测
评估大全
462 项评测档案：收录任务定义、打分协议、厂商引用频次与历史对账证据
模型发布
主流模型官方发布时间轴：逐条索引各厂商技术报告中的基准引用与实测得分
动手搭建
业务评估工程落地指南：测试集构建、自动化判官打分、并发控制与 CI 阻断门禁
学完你将能够
辨识评测指标与真实能力
看清 MMLU、GPQA、AIME、SWE-bench、Terminal-Bench 等核心指标所测能力的边界，识别 0-shot / 5-shot、CoT 与 Agentic harness 带来的表观分差陷阱。
建立科学严谨的评估方法
掌握测试集版本管理、实验协议对齐、LLM 判官偏差校准、统计显著性检验与数据污染防范，建立可信且可复现的评测规范。
工程化落地评估流水线
从本地 JSONL 测试集、Scorer/Judge 实现、多级缓存与速率限制，到打通 GitHub Actions CI 自动化阻断与线上持续评估。
可交互探索工具
评测协议差异自检器 (Protocol Comparability Explorer)
大模型发布报告中的分数绝非绝对值，而是特定实验协议下的产物。点选不同实验配置组合，即时测算协议偏差对评测结果与横向可比性的影响：
提示范式 (Prompt Format)
思维链与推理 (Reasoning)
运行架构 (Harness & Tools)
核心评估基准精选
主流厂商技术报告中高频引用的标准化基准，点击直达基准档案与官方实测引用记录 · 查看全部 462 项基准 →
Humanity's Last Exam
人类专家联合出的超难跨学科闭卷考试
官方发布引用 130 次
GPQA Diamond
博士级科学多选（物理/化学/生物），人类专家约 65%
官方发布引用 108 次
Terminal-Bench
真实终端环境任务（git/npm/docker/数据处理），测 CLI 操作而非写代码
官方发布引用 95 次
MRCR
OpenAI 出品的长上下文多针区分基准：上下文中埋多段相似内容，要求按序号取回指定 needle，2/4/8 针多档
官方发布引用 67 次
BrowseComp
OpenAI 出品的浏览型检索基准：1266 道答案极难找到的网页问题，考 Agent 的持久检索与多跳浏览
官方发布引用 66 次
SWE-bench Verified
500 个真实 GitHub Issue 修复，代码 Agent 金标准
官方发布引用 59 次
AIME 2025
2025 年美国数学邀请赛 I/II 共 30 题，竞赛数学的年度无污染风向标
官方发布引用 54 次
SWE-bench Pro
Scale AI 出品的企业级 SWE 基准：1865 道长程商业代码任务（41 个活跃仓库），公私双 split 抗污染
官方发布引用 47 次
第 0 部分：术语速查（建议先读）
第 1 部分：建立框架认知 —— 评估的历史、问题域与方法版图
第 2 部分：方法论与标准流程 —— 每个环节的工程细节
- 044. 标准评估流程：数据集 → 推理 → 评分 → 报告
- 055. LLM-as-Judge 工程化：从判官 prompt 到偏差控制
- 066. 人类评估设计：招募、盲评与一致性工程
- 077. 元评估：怎么知道你的评估是对的
第 3 部分：厂商发布评测全景 —— 按维度深度拆解典型框架
- 088. 解读厂商报告：看懂发布会上的每一个数字
- 099. 学科知识基准：MMLU 与它的继任者们
- 1010. 数学与逻辑推理基准：难度阶梯与报法战争
- 1111. 代码能力基准：从函数补全到仓库修复
- 1212. 多模态评估基准
- 1313. 硬核新兴评测：当 AI 被扔进真实环境
- 1414. 长上下文、事实性与安全：三类可靠性评测
- 1515. 行业垂直评测：医疗、法律、金融、电商
- 1616. 持续更新评测：当题库本身成为流水线
- 1717. 人类偏好评估:MT-Bench、LLM-as-Judge 与 Chatbot Arena
- 1818. 第三方排行榜:生态地图与交叉验证
第 4 部分：评估框架实战 —— 从使用到自建
- 1919. 评估框架全景图：用设计哲学选对你的工具
- 2020. 用 Node.js 自建 Mini Evaluator：从 30 行到四层评估流水线
- 2121. RAG / Agent / 应用层评估：评估你自己建的系统
- 2222. 红队与安全评估：在用户发现漏洞之前先发现它
- 2323. 我的应用需要评估什么：业务目标 → 能力 → 指标
- 2424. 构建测试集：四来源混合、数据飞轮与版本锁定
- 2525. 评估流水线工程：四层接入 CI/CD
- 2626. 在线评估与 A/B 实验：从分流到显著性
- 2727. 案例研究（一）：客服 RAG 从 0 到上线的 90 天评估剧本
- 2828. 案例研究（二）：代码 Agent 的三层评估落地
- 2929. 案例研究（三）：拍照解题 App 的多模态评估
- 3030. 资源速查：按场景查基准、框架与公式
- 3131. 结课自测与 FAQ