AI2 ARC 挑战集科学选择题（25-shot）
AI2 小学科学选择题的挑战档：7787 题中连检索与词共现两个基线算法都答错的 1172 题 test 集，准确率越高越好（Llama 3.1 用 25-shot 口径引用）；原生设计目标就是「检索做不出的题」，如今对旗舰更像知识基线。
这个评测的官方统一评分协议还没收录到本页；各厂商实际使用的执行框架（harness）与推理档位（effort）已逐条写在下方引用卡里。
共收录 6 场模型发布（收录 8 项分值） · 按发布时间倒序排列 · 数据更新于 2026-09-20
Xiaomi / 小米·国内
MiMo-V2.5-Pro 是小米万亿级参数旗舰混合专家大模型，总参数 1.02T，激活 42B，支持 100 万 token 上下文。评测全面对标国际前沿：MMLU 89.4、GSM8K 99.6、MATH 86.2、SWE-bench Verified 78.9%、C-Eval 91.5、BBH 88.4。
Meta / Llama·国际
本发布含 3 个变体，各变体规格见模型详情。
Meta 以「迄今最强模型」发布 Llama 3.1 系列，405B 为首个前沿级开源模型（dense decoder-only）。评测覆盖知识、数学、编码、多语言与长上下文，亮点如 MMLU 88.6%、GSM8K 96.8%。
Microsoft AI / MAI·国际
微软研究院高质量合成教学数据（Textbooks Are All You Need）学派代表作，仅 1.3B 参数在常识推理上与 10 倍于己的开源大模型相当。ARC-Challenge 达 55.4%，HellaSwag 达 63.8%。
Meta / Llama·国际
Meta 首个允许免费商业化使用的开源大模型家族，预训练 token 达 2T，深度融合 RLHF（PPO + 拒绝采样）对齐策略，70B 版本的 MMLU 达 68.9%，GSM8K 56.8%，成为工业界落地应用最广泛的开源标杆。
Meta / Llama·国际
Meta 开源大模型奠基之作，证明了在海量 token（1.4T）上充分预训练的 65B 模型可以在 MMLU（63.4%）、GSM8K（50.9%）等诸多任务上媲美甚至战胜 175B 的 GPT-3，开启了全球开源大模型繁荣时代。
OpenAI·国际
OpenAI 划时代对话大模型，基于 GPT-3.5 谱系（InstructGPT）经人类反馈强化学习（RLHF）微调，开启生成式人工智能爆发奇点。在后续 GPT-4 技术报告中披露基线水准：MMLU 70.0%、GSM8K 57.1%、HumanEval 48.1%、MATH 34.1%。
以上字段暂缺时，本页不虚构数字；后续会依据每一次发布的证据逐条补齐并标注来源。
本页数据更新于 2026-09-20，依据厂商发布材料真实抓取；发现数据问题欢迎在 GitHub 提 Issue。