GSM8K

Near saturation · 接近饱和

8500 道小学应用题,CoT 时代开山基准(已饱和 95%+)

基本信息

类别
推理与数学
状态
Near saturation · 接近饱和
官网 / 数据集
https://huggingface.co/datasets/openai/gsm8k
论文
https://arxiv.org/abs/2110.14168

30 秒看懂

小学应用题。95 分只是及格线意义上的“会算数了”——它 2021 年出生,如今已无区分度。

评分协议

8-shot,#### 数字标记

可比性提示:同一评测的分数是「实验配置」的产物:只要评测版本(variant)、执行框架(harness)、推理档位(reasoning effort)、工具、采样参数、运行次数或聚合方式有任何一项不同,数字就不能直接横向比较。下方各厂商的分数如未写明协议细节,请只当作方向参考。

模型发布采用时间轴

共收录 28 场模型发布(收录 32 项分值) · 按发布时间倒序排列 · 数据更新于 2026-09-20

2026
2026-08-26 Alibaba / Qwen·国内

Qwen3.8-Flash-Next / Qwen3.8-Flash-Next-Base

本发布含 2 个变体,各变体规格见模型详情。

Qwen3.8-Flash-Next 被发布文定位为迈向极致性价比的全新架构预览(GDN+QSA 混合注意力、N-gram Embedding、Muon 优化器),为 Qwen4 架构探路。评测覆盖代理编码/办公、多模态代理与通用推理:SWE-bench Pro 62.5、CoWorkBench 73.9、Toolathlon Verified 73.5、AndroidWorld 84.5。

MoE 稀疏激活原生 256K 上下文多模态架构预览

查看模型变体与证据

Qwen3.8-Flash-Next-Base · Base model 93.29
2026-03-19 Xiaomi / 小米·国内

MiMo-V2.5-Pro

参数1.02T-A42B上下文1M模态文本·代码·多模态

MiMo-V2.5-Pro 是小米万亿级参数旗舰混合专家大模型,总参数 1.02T,激活 42B,支持 100 万 token 上下文。评测全面对标国际前沿:MMLU 89.4、GSM8K 99.6、MATH 86.2、SWE-bench Verified 78.9%、C-Eval 91.5、BBH 88.4。

万亿 MoE1M 上下文SWE-bench 高分全场景智能代理

查看模型变体与证据

GSM8K 99.6
2025
2025-12-18 Xiaomi / 小米·国内

MiMo-V2-Flash

参数309B-A15B上下文128K模态文本

MiMo-V2-Flash 是小米自研开源的稀疏混合专家(MoE)超快大模型,总参数 309B,激活仅 15B,主打极速首词响应与高并发吞吐,面向端云协同与代理推理场景。

MoE 稀疏激活超低延迟端云协同高并发吞吐

查看模型变体与证据

GSM8K 94.2
2025-06-27 Tencent / 腾讯混元·国内

Hunyuan-A13B-Instruct / Hunyuan-A13B-Pretrain / Hunyuan-A13B-Instruct-FP8 / Hunyuan-A13B-Instruct-GPTQ-Int4

本发布含 4 个变体,各变体规格见模型详情。

腾讯混元以「细粒度 MoE、80B 总参/13B 激活」开源 A13B 系列,Instruct 为指令版(256K 上下文,/think 与 /no_think 双模式,默认慢思考)。已收录 21 项 Instruct 表评测覆盖知识、数学、代码与 Agent 工具调用:亮点 AIME24 87.3、GPQA Diamond 71.2。

开源权重细粒度 MoE256K 长上下文快慢思考双模式

查看模型变体与证据

Hunyuan-A13B-Pretrain · GSM8K 91.83Hunyuan-A13B-Instruct-FP8 · GSM8K 94.01Hunyuan-A13B-Instruct-GPTQ-Int4 · GSM8K 94.24
2025-06-25 ByteDance Seed / 豆包·国内

Seed1.6

参数230B-A23B MoE上下文256K模态文本·图像

发布文将其定位为带自适应思考(AdaCoT)的多模态通用系列,称视觉任务追平甚至超过 Seed1.5-VL。已收录的 8 项数值均来自 Seed1.6 Base 列的知识与数理基础评测,亮点为 BBH 92.08 与 MMLU 88.83;多模态旗舰版本身未给出数值。

多模态自适应思考长上下文GUI 交互

查看模型变体与证据

GSM8K 93.10
2025-04-30 Xiaomi / 小米·国内

MiMo-7B-RL

参数7B上下文32K模态文本

MiMo-7B-RL 是小米开源的 7B 强化学习对齐大模型,在 MMLU 达到 70.3 分,MATH-500 71.2 分,GSM8K 87.8 分,显著强化长思维链与代码数学逻辑能力。

开源权重强化学习对齐高性价比推理数学与代码增强

查看模型变体与证据

GSM8K 87.8
2024
2024-12-26 DeepSeek·国内

DeepSeek-V3

参数671B (37B active)上下文128K tokens价格$0.14/$0.28 每百万 tokens模态文本

深度求索自研 MoE 架构大语言模型,首创多头潜在注意力(MLA)与 DeepSeek 稀疏注意力(DSA),以极高训练与推理效率成为全球开源基座代表作。

MLA潜在注意力稀疏MoE架构超低训练推理成本开源权重巅峰

查看模型变体与证据

GSM8K 94.0
2024-11-05 Tencent / 腾讯混元·国内

Hunyuan-Large

参数389B-A52B上下文256K tokens模态文本·代码

腾讯开源业界最大规模 Transformer 架构混合专家模型,总参数 389B,激活 52B,支持 256K 长文本,在 MMLU 达 89.9%,GSM8K 达 89.9%,MATH 达 66.8%,HumanEval 达 78.7%,位居开源前沿阵营。

最大开源Transformer MoE256K长上下文高分数学推理

查看模型变体与证据

GSM8K 89.9%
2024-09-19 Alibaba / Qwen·国内

Qwen2.5-72B-Instruct / Qwen2.5-Coder-7B-Instruct / Qwen2.5-Math-72B-Instruct / Qwen2.5-Math-7B-Instruct / Qwen2.5-Math-1.5B-Instruct

本发布含 5 个变体,各变体规格见模型详情。

Qwen2.5 发布文以「A Party of Foundation Models」呈现全家族,72B-Instruct 为其中最大开源指令模型(稠密解码器,18T 预训练 tokens)。已收录 14 项评测覆盖知识、数学、代码与对齐:亮点 GSM8K 95.8、MMLU-Pro 71.1。

开源权重稠密架构指令微调旗舰

查看模型变体与证据

Qwen2.5-72B-Instruct · GSM8K 95.8
2024-07-24 Mistral AI·国际

Mistral Large 2 (123B)

参数123B上下文128K tokens模态文本·代码

Mistral 123B 参数旗舰模型,支持 128K 超长上下文与 80+ 种编程语言,MMLU 达 84.0%,HumanEval 达 92.0%,GSM8K 达 91.2%,MATH 达 63.3%,代码能力跻身全球最强阵营。

123B开源旗舰代码92%HumanEval128K上下文

查看模型变体与证据

GSM8K 91.2%
2024-07-23 Meta / Llama·国际

Llama 3.1 405B / Llama 3.1 70B / Llama 3.1 8B

本发布含 3 个变体,各变体规格见模型详情。

Meta 以「迄今最强模型」发布 Llama 3.1 系列,405B 为首个前沿级开源模型(dense decoder-only)。评测覆盖知识、数学、编码、多语言与长上下文,亮点如 MMLU 88.6%、GSM8K 96.8%。

开源权重长上下文多语言旗舰

查看模型变体与证据

Llama 3.1 405B · 8-shot CoT 96.8Llama 3.1 8B · 8-shot CoT 84.5Llama 3.1 70B · 8-shot CoT 95.1
2024-06-27 Google DeepMind / Gemini·国际

Gemma 2 27B

参数27B上下文8K tokens模态文本

Google 开源轻量级旗舰系列,采用交错滑动窗口局部注意力与知识蒸馏优化,27B 参数版本在 MMLU 达 75.2%,GSM8K 达 84.0%,MATH 达 50.2%,在 LMSYS 盲测竞技场匹敌 70B 开源模型。

滑动窗口注意力知识蒸馏27B匹敌70B

查看模型变体与证据

GSM8K 84.0%
2024-06-20 Anthropic·国际

Claude 3.5 Sonnet

参数未公开上下文200K tokens价格$3/$15 每百万 tokens模态文本·图像

Anthropic 旗舰中杯模型,在代码生成、多步复杂推理与视觉理解上全面超越上一代 Opus 与同代旗舰,是智能体与工程编程的行业标杆。

编程代码标杆多步长程推理智能体核心底座超高推理性价比

查看模型变体与证据

GSM8K 96.4% (0-shot CoT)
2024-05-13 OpenAI·国际

GPT-4o

参数未公开上下文128K tokens价格$5/$15 每百万 tokens模态文本·图像·音频

OpenAI 原生端到端多模态旗舰大模型,支持文本、语音与视觉的实时低延迟无缝交互,在具备 GPT-4 Turbo 级别智能的同时将推理速度提升 2 倍、API 成本降低 50%。

端到端全模态实时低延迟交互视觉理解跃升高性价比旗舰

查看模型变体与证据

GSM8K 96.0
2024-05-06 DeepSeek·国内

DeepSeek-V2

参数236B-A21B上下文128K tokens模态文本·代码

深度求索开创性自研 MLA(多头潜在注意力)与 DeepSeekMoE 架构的首秀之作,236B 总参数仅激活 21B,KV Cache 显存节省 93.3%,以极致低价与高智力引爆国内大模型价格战。MMLU 78.5%,GSM8K 79.2%,HumanEval 81.1%,C-Eval 81.4%。

首创MLA架构DeepSeekMoEKV Cache压缩93%价格战奇点

查看模型变体与证据

GSM8K 79.2%
2024-04-23 Microsoft AI / MAI·国际

Phi-3-mini

参数3.8B上下文128K tokens模态文本

微软端侧小模型巅峰之作,3.8B Mini 模型能在 iPhone 上流畅离线运行,在 MMLU 达 68.8%、GSM8K 达 82.5%、HumanEval 达 58.5%、MATH 达 43.4%,性能逼近 Mixtral 8x7B。

手机端侧离线3.8B越级战力128K上下文

查看模型变体与证据

GSM8K 82.5%
2024-03-04 Anthropic·国际

Claude 3 Opus

参数旗舰上下文200K tokens模态文本·多模态

Anthropic 第三代大模型家族旗舰 Claude 3 Opus,具备行业顶尖的复杂分析与编程能力,在 MMLU 达到 86.8%,GPQA 50.4%,MATH 60.1%,HumanEval 84.9%,GSM8K 95.0%,多项指标首次全面超越 GPT-4。

全能旗舰超越GPT-4200K上下文多模态视觉

查看模型变体与证据

GSM8K 95.0%
2024-01-16 Z.ai / 智谱 GLM·国内

GLM-4

参数未公开上下文128K tokens模态文本·代码·多模态

智谱 AI 在 2024 开发者大会发布的新一代基座旗舰,全面逼近 GPT-4。支持 128K 上下文、自主 Agent 工具调用、代码解释器及多模态,MMLU 达 81.4%,GSM8K 达 87.6%,HumanEval 达 72.0%,MATH 达 46.2%,C-Eval 达 85.8%。

全面对齐GPT-4All Tools自主Agent128K长文本

查看模型变体与证据

GSM8K 图表尚无可读数值
2023
2023-12-11 Mistral AI·国际

Mixtral 8x7B

参数46.7B-A12.9B上下文32K tokens模态文本

开创全球开源稀疏混合专家(MoE)潮流的现象级模型,总参数 46.7B、每个 token 仅激活 12.9B,在 MMLU(70.6%)、GSM8K(74.4%)、HumanEval(40.2%)上全面击败 Llama 2 70B,推理吞吐提升 6 倍。

稀疏MoE先驱8专家路由超越Llama2-70B

查看模型变体与证据

GSM8K 74.4%
2023-11-30 Alibaba / Qwen·国内

Qwen-72B

参数72B上下文32K tokens模态文本·代码

阿里通义千问初代开源最强版,72B 参数在 3T token 上预训练,支持 32K 上下文,在 MMLU(77.4%)、GSM8K(78.9%)、C-Eval(83.3%)上全面登顶当时全球开源模型第一。

通义千问初代开源旗舰全球开源第一32K长文本

查看模型变体与证据

GSM8K 78.9%
2023-11-29 DeepSeek·国内

DeepSeek LLM 67B

参数67B上下文4K tokens模态文本

深度求索(DeepSeek)首款全开源双语密集大模型,从头训练 2T token,MMLU 达 71.4%,GSM8K 达 68.3%,C-Eval 达 66.1%,CMMLU 达 66.6%,在多项中英推理基准上全面超越 Llama 2 70B。

DeepSeek开山之作2T预训练token超越Llama2-70B

查看模型变体与证据

GSM8K 68.3%
2023-11-04 xAI / Grok·国际

Grok-1

参数314B-A86B MoE上下文8K tokens模态文本

马斯克旗下 xAI 创立后的首款大语言模型,采用 314B 总参数稀疏混合专家架构,以幽默叛逆风格和 X 平台实时知识接入为特色。在 MMLU 达 73.0%,GSM8K 达 62.9%,HumanEval 达 63.2%,MATH 达 23.9%。

314B MoExAI首代大模型X平台实时知识

查看模型变体与证据

GSM8K 62.9%
2023-09-27 Mistral AI·国际

Mistral 7B

参数7B上下文8K tokens模态文本

欧洲 AI 领军企业 Mistral 开山之作,开创性采用分组查询注意力(GQA)与滑动窗口注意力(SWA),以仅 7B 参数在所有基准上全面击败 Llama 2 13B,MMLU 达 60.1%,GSM8K 达 52.2%,HumanEval 达 30.5%。

分组查询注意力GQA滑动窗口SWA7B越级标杆

查看模型变体与证据

GSM8K 52.2%
2023-07-18 Meta / Llama·国际

Llama 2 70B

参数70B上下文4K tokens模态文本

Meta 首个允许免费商业化使用的开源大模型家族,预训练 token 达 2T,深度融合 RLHF(PPO + 拒绝采样)对齐策略,70B 版本的 MMLU 达 68.9%,GSM8K 56.8%,成为工业界落地应用最广泛的开源标杆。

商用开源深度RLHF对齐全球工业基准

查看模型变体与证据

GSM8K 56.8%
2023-07-11 Anthropic·国际

Claude 2

参数未公开上下文100K tokens模态文本·代码

Anthropic 第二代旗舰模型,首发支持 100K 超长上下文(可一次性读入数十页技术文档或一整本书),HumanEval 达 71.2%,GSM8K 达 88.0%,全美律师资格考多选题 76.5%。

100K长上下文长文本先驱高分律师考

查看模型变体与证据

GSM8K 88.0%
2023-05-10 Google DeepMind / Gemini·国际

PaLM 2

参数未公开上下文8K tokens模态文本·代码·多语言

Google I/O 2023 发布的重磅基座大模型,强化了多语言、数学逻辑与代码生成能力,MMLU 达 81.2%,GSM8K 达 80.7%,MATH 达 34.3%,HumanEval 达 50.0%,全面驱动初代 Google Bard。

Google基座大模型强多语言能力Google IO 2023

查看模型变体与证据

GSM8K 80.7%
2023-02-24 Meta / Llama·国际

LLaMA-65B

参数65B上下文2K tokens模态文本

Meta 开源大模型奠基之作,证明了在海量 token(1.4T)上充分预训练的 65B 模型可以在 MMLU(63.4%)、GSM8K(50.9%)等诸多任务上媲美甚至战胜 175B 的 GPT-3,开启了全球开源大模型繁荣时代。

开源奠基之作Chinchilla扩展法则验证全球生态基石

查看模型变体与证据

GSM8K 50.9%
2022
2022-11-30 OpenAI·国际

ChatGPT (GPT-3.5)

参数175B (估计值,基于 InstructGPT 架构)上下文4K tokens模态文本

OpenAI 划时代对话大模型,基于 GPT-3.5 谱系(InstructGPT)经人类反馈强化学习(RLHF)微调,开启生成式人工智能爆发奇点。在后续 GPT-4 技术报告中披露基线水准:MMLU 70.0%、GSM8K 57.1%、HumanEval 48.1%、MATH 34.1%。

对话RLHF对齐人类偏好微调基准原点大模型爆发奇点

查看模型变体与证据

GSM8K 57.1%

数据缺口(本页暂未收录)

以上字段暂缺时,本页不虚构数字;后续会依据每一次发布的证据逐条补齐并标注来源。

复现入口

引用

本页数据更新于 2026-09-20,依据厂商发布材料真实抓取;发现数据问题欢迎在 GitHub 提 Issue。