HellaSwag
Near saturation · 接近饱和
情境续写常识推理（已饱和 95%+）
基本信息
类别
知识与学科
状态
Near saturation · 接近饱和
官网 / 数据集
论文
30 秒看懂
给场景选最合理的结尾。常识推理的老兵，已饱和。
评分协议
10-shot likelihood
可比性提示：同一评测的分数是「实验配置」的产物：只要评测版本（variant）、执行框架（harness）、推理档位（reasoning effort）、工具、采样参数、运行次数或聚合方式有任何一项不同，数字就不能直接横向比较。下方各厂商的分数如未写明协议细节，请只当作方向参考。
模型发布采用时间轴
共收录 4 场模型发布 · 按发布时间倒序排列 · 数据更新于 2026-09-20
2026
2026-03-19
Xiaomi / 小米·国内
参数1.02T-A42B上下文1M模态文本·代码·多模态
MiMo-V2.5-Pro 是小米万亿级参数旗舰混合专家大模型，总参数 1.02T，激活 42B，支持 100 万 token 上下文。评测全面对标国际前沿：MMLU 89.4、GSM8K 99.6、MATH 86.2、SWE-bench Verified 78.9%、C-Eval 91.5、BBH 88.4。
万亿 MoE1M 上下文SWE-bench 高分全场景智能代理
查看模型变体与证据
HellaSwag 89.8
2023
2023-09-11
Microsoft AI / MAI·国际
参数1.3B上下文2K tokens模态文本
微软研究院高质量合成教学数据（Textbooks Are All You Need）学派代表作，仅 1.3B 参数在常识推理上与 10 倍于己的开源大模型相当。ARC-Challenge 达 55.4%，HellaSwag 达 63.8%。
教材式合成数据1.3B小模型常识推理跃迁
查看模型变体与证据
HellaSwag 63.8%
2023-02-24
Meta / Llama·国际
参数65B上下文2K tokens模态文本
Meta 开源大模型奠基之作，证明了在海量 token（1.4T）上充分预训练的 65B 模型可以在 MMLU（63.4%）、GSM8K（50.9%）等诸多任务上媲美甚至战胜 175B 的 GPT-3，开启了全球开源大模型繁荣时代。
开源奠基之作Chinchilla扩展法则验证全球生态基石
查看模型变体与证据
HellaSwag 84.2%
2022
2022-11-30
OpenAI·国际
参数175B (估计值，基于 InstructGPT 架构)上下文4K tokens模态文本
OpenAI 划时代对话大模型，基于 GPT-3.5 谱系（InstructGPT）经人类反馈强化学习（RLHF）微调，开启生成式人工智能爆发奇点。在后续 GPT-4 技术报告中披露基线水准：MMLU 70.0%、GSM8K 57.1%、HumanEval 48.1%、MATH 34.1%。
对话RLHF对齐人类偏好微调基准原点大模型爆发奇点
查看模型变体与证据
HellaSwag 85.5%
数据缺口（本页暂未收录）
- 评测版本与子集（例如部分评测有 Diamond、Verified 等官方变体）以及数据集规模
- 各厂商使用的执行框架（harness / scaffold）与 Agent 工具配置
- 推理档位（reasoning effort）、采样参数（temperature / top-p）、运行次数与分数聚合方式
- 指标对应的随机猜测基线（chance baseline）与人类基线的实验条件
- 测试集污染检测结论，以及是否已饱和的结构化标注
以上字段暂缺时，本页不虚构数字；后续会依据每一次发布的证据逐条补齐并标注来源。
复现入口
引用
本页数据更新于 2026-09-20，依据厂商发布材料真实抓取；发现数据问题欢迎在 GitHub 提 Issue。