动手搭建

按四步技术路径将大模型评测流水线集成至工程项目中,各阶段均直达对应实现章节与可运行代码示例。

① 设计目标:评估什么

把业务目标拆成能力、指标与失败分类

② 建测试集

四来源混合、脱敏、版本锁定与数据飞轮

③ 实现评分器与流水线

框架选型 + 用 Node.js 自建 Mini Evaluator(scorer / judge / 缓存 / 并发)

④ 接入 CI 门禁

PR 快集 / 夜间全量 / 发版安全集 / 在线采样,四层流水线

进阶专题
三个完整案例(业务目标 → 数据 → 指标 → 上线)

结课自测:检验三大能力 →