系统学习

面向读者：熟悉 JavaScript / TypeScript / Node.js 基础，希望系统掌握 LLM 质量评测与系统测试的前端与全栈工程师。
知识边界：深入评测实验设计、指标计算与工程落地，不展开梯度反向传播等训练端推导。
学习路径：建议先通读第 0 章核心术语，随后依序研读认知篇、方法论篇、厂商实测篇与工程实战篇；每章均配有即时交互自测题。

从第 0 章（术语速查）开始 → 跳过速查，从第 1 章开始 →

• 00前置：核心术语速查（请先读本章）14 分钟

• 011. 什么是评估：大模型评测第一性原理与度量演进21 分钟
• 022. 评估的 5W1H：何时、何地、给谁、为什么评估18 分钟
• 033. 核心原理：构念效度、方法家族与统计置信16 分钟

• 044. 标准评估流程：数据集 → 推理 → 评分 → 报告51 分钟
• 055. LLM-as-Judge 工程化：从判官 prompt 到偏差控制32 分钟
• 066. 人类评估设计：招募、盲评与一致性工程23 分钟
• 077. 元评估：怎么知道你的评估是对的18 分钟

• 088. 解读厂商报告：看懂发布会上的每一个数字38 分钟
• 099. 学科知识基准：MMLU 与它的继任者们24 分钟
• 1010. 数学与逻辑推理基准：难度阶梯与报法战争29 分钟
• 1111. 代码能力基准：从函数补全到仓库修复34 分钟
• 1212. 多模态评估基准26 分钟
• 1313. 硬核新兴评测：当 AI 被扔进真实环境24 分钟
• 1414. 长上下文、事实性与安全：三类可靠性评测21 分钟
• 1515. 行业垂直评测：医疗、法律、金融、电商16 分钟
• 1616. 持续更新评测：当题库本身成为流水线16 分钟
• 1717. 人类偏好评估:MT-Bench、LLM-as-Judge 与 Chatbot Arena28 分钟
• 1818. 第三方排行榜:生态地图与交叉验证23 分钟

• 1919. 评估框架全景图：用设计哲学选对你的工具37 分钟
• 2020. 用 Node.js 自建 Mini Evaluator：从 30 行到四层评估流水线34 分钟
• 2121. RAG / Agent / 应用层评估：评估你自己建的系统27 分钟
• 2222. 红队与安全评估：在用户发现漏洞之前先发现它24 分钟
• 2323. 我的应用需要评估什么：业务目标 → 能力 → 指标18 分钟
• 2424. 构建测试集：四来源混合、数据飞轮与版本锁定23 分钟
• 2525. 评估流水线工程：四层接入 CI/CD24 分钟
• 2626. 在线评估与 A/B 实验：从分流到显著性24 分钟
• 2727. 案例研究（一）：客服 RAG 从 0 到上线的 90 天评估剧本23 分钟
• 2828. 案例研究（二）：代码 Agent 的三层评估落地23 分钟
• 2929. 案例研究（三）：拍照解题 App 的多模态评估22 分钟
• 3030. 资源速查：按场景查基准、框架与公式28 分钟
• 3131. 结课自测与 FAQ20 分钟