BBH
BIG-Bench Hard:多步推理高难度任务集
基本信息
30 秒看懂
23 个 BIG-Bench 难任务(当年所有模型都低于平均人类评分者的那批),准确率越高越好;官方结论是必须配 CoT 才能真实反映水平(Codex+CoT 曾在 17/23 任务超过平均人类)——如今作为经典多步推理回归测试使用。
采用格局:Qwen 引用;经典 CoT 评测
评分协议
这个评测的官方统一评分协议还没收录到本页;各厂商实际使用的执行框架(harness)与推理档位(effort)已逐条写在下方引用卡里。
可比性提示:同一评测的分数是「实验配置」的产物:只要评测版本(variant)、执行框架(harness)、推理档位(reasoning effort)、工具、采样参数、运行次数或聚合方式有任何一项不同,数字就不能直接横向比较。下方各厂商的分数如未写明协议细节,请只当作方向参考。
模型发布采用时间轴
共收录 5 场模型发布(收录 8 项分值) · 按发布时间倒序排列 · 数据更新于 2026-09-20
2026
2026-08-26
Alibaba / Qwen·国内
本发布含 2 个变体,各变体规格见模型详情。
Qwen3.8-Flash-Next 被发布文定位为迈向极致性价比的全新架构预览(GDN+QSA 混合注意力、N-gram Embedding、Muon 优化器),为 Qwen4 架构探路。评测覆盖代理编码/办公、多模态代理与通用推理:SWE-bench Pro 62.5、CoWorkBench 73.9、Toolathlon Verified 73.5、AndroidWorld 84.5。
MoE 稀疏激活原生 256K 上下文多模态架构预览
查看模型变体与证据
Qwen3.8-Flash-Next-Base · Base model 90.87
2026-03-19
Xiaomi / 小米·国内
参数1.02T-A42B上下文1M模态文本·代码·多模态
MiMo-V2.5-Pro 是小米万亿级参数旗舰混合专家大模型,总参数 1.02T,激活 42B,支持 100 万 token 上下文。评测全面对标国际前沿:MMLU 89.4、GSM8K 99.6、MATH 86.2、SWE-bench Verified 78.9%、C-Eval 91.5、BBH 88.4。
万亿 MoE1M 上下文SWE-bench 高分全场景智能代理
查看模型变体与证据
BBH 88.4
2025
2025-06-27
Tencent / 腾讯混元·国内
本发布含 4 个变体,各变体规格见模型详情。
腾讯混元以「细粒度 MoE、80B 总参/13B 激活」开源 A13B 系列,Instruct 为指令版(256K 上下文,/think 与 /no_think 双模式,默认慢思考)。已收录 21 项 Instruct 表评测覆盖知识、数学、代码与 Agent 工具调用:亮点 AIME24 87.3、GPQA Diamond 71.2。
开源权重细粒度 MoE256K 长上下文快慢思考双模式
查看模型变体与证据
Hunyuan-A13B-Pretrain · BBH 87.56Hunyuan-A13B-Instruct · BBH 89.1Hunyuan-A13B-Instruct-FP8 · BBH 88.34Hunyuan-A13B-Instruct-GPTQ-Int4 · BBH 87.91
2025-06-25
ByteDance Seed / 豆包·国内
参数230B-A23B MoE上下文256K模态文本·图像
发布文将其定位为带自适应思考(AdaCoT)的多模态通用系列,称视觉任务追平甚至超过 Seed1.5-VL。已收录的 8 项数值均来自 Seed1.6 Base 列的知识与数理基础评测,亮点为 BBH 92.08 与 MMLU 88.83;多模态旗舰版本身未给出数值。
多模态自适应思考长上下文GUI 交互
查看模型变体与证据
BBH 92.08
2024
2024-06-20
Anthropic·国际
参数未公开上下文200K tokens价格$3/$15 每百万 tokens模态文本·图像
Anthropic 旗舰中杯模型,在代码生成、多步复杂推理与视觉理解上全面超越上一代 Opus 与同代旗舰,是智能体与工程编程的行业标杆。
编程代码标杆多步长程推理智能体核心底座超高推理性价比
查看模型变体与证据
BBH 93.1% (3-shot CoT)
数据缺口(本页暂未收录)
- 评测版本与子集(例如部分评测有 Diamond、Verified 等官方变体)以及数据集规模
- 各厂商使用的执行框架(harness / scaffold)与 Agent 工具配置
- 推理档位(reasoning effort)、采样参数(temperature / top-p)、运行次数与分数聚合方式
- 指标对应的随机猜测基线(chance baseline)与人类基线的实验条件
- 测试集污染检测结论,以及是否已饱和的结构化标注
以上字段暂缺时,本页不虚构数字;后续会依据每一次发布的证据逐条补齐并标注来源。
复现入口
引用
本页数据更新于 2026-09-20,依据厂商发布材料真实抓取;发现数据问题欢迎在 GitHub 提 Issue。