ResearchRubrics

Scale AI 出品的深度研究 agent 基准:真实开放研究提示配 2,500 余条专家细粒度 rubric,用 LLM judge 按条目评估研究报告质量

基本信息

类别
Agent 与环境
官网 / 数据集
https://arxiv.org/abs/2511.07685
论文
https://arxiv.org/abs/2511.07685

30 秒看懂

得分是 rubric 条目命中口径,衡量开放多源推理质量而非单一事实对错;Step 3.7 Flash 页印 (score) 71.7、Step 3.5 Flash 65.3、Seed2.0 Lite 59.2,均为厂商自报,judge 版本与阈值未统一,跨页可比性有限。

采用格局:arXiv 2511.07685(2025-11,Scale AI);证据账本 3 行(字节/阶跃)

评分协议

LLM judge 依 rubric 条目逐条判分;发布方页以 (score) 口径印出

可比性提示:同一评测的分数是「实验配置」的产物:只要评测版本(variant)、执行框架(harness)、推理档位(reasoning effort)、工具、采样参数、运行次数或聚合方式有任何一项不同,数字就不能直接横向比较。下方各厂商的分数如未写明协议细节,请只当作方向参考。

模型发布采用时间轴

共收录 3 场模型发布 · 按发布时间倒序排列 · 数据更新于 2026-09-20

2026
2026-05-29 StepFun / 阶跃星辰·国内

Step 3.7 Flash

参数196B-A11B(另含 1.8B ViT)上下文256K模态文本·图像

Step 3.7 Flash 被阶跃星辰定位为面向真实场景代理的高效率 Flash 模型,支持三档推理级别、最高 400 tok/s。评测覆盖通用代理、编码与长上下文/视觉:BrowseComp 75.8%、HLE w. tool 47.2%、SWE-bench Verified 76.5%、V* 95.29%。

MoE 稀疏激活多模态高效率256K 上下文

查看模型变体与证据

ResearchRubrics 71.7
2026-03-10 ByteDance Seed / 豆包·国内

Seed 2.0-Lite

模态文本·图像·音频·视频

字节 Seed 系列页将 Seed2.0 Lite 定位为 Seed 基础模型系列首个全模态(omni-modal)理解模型,原生支持视频、图像、音频与文本的统一理解,并升级 Agent、Coding 与 GUI 能力,兼顾输出质量与响应速度,适合通用生产级场景。已收录评测覆盖文本智能体与编码、多模态理解、GUI 操作及视频与音频理解等领域,GPQA Diamond 88.4%、OSWorld Verified 64.4%。

全模态理解生产级通用GUI 操作智能体

查看模型变体与证据

ResearchRubrics 59.2%
2026-01-31 StepFun / 阶跃星辰·国内

Step 3.5 Flash

参数196B-A11B MoE上下文256K模态文本

发布文将其定位为“快、准、稳”的智能体智能模型(Apache 2.0 开源,196B 总参/约 11B 激活稀疏 MoE,MTP-3,256K 上下文)。16 项评测以智能体搜索、数学与编码为主,亮点为 HMMT 2025 二月场 98.4 与 AIME 2025 97.3。

开源权重高效 MoE智能体搜索MTP-3

查看模型变体与证据

ResearchRubrics 65.3

数据缺口(本页暂未收录)

以上字段暂缺时,本页不虚构数字;后续会依据每一次发布的证据逐条补齐并标注来源。

复现入口

引用

本页数据更新于 2026-09-20,依据厂商发布材料真实抓取;发现数据问题欢迎在 GitHub 提 Issue。