Terminal-Bench-Science

Terminal-Bench 家族的科研分册(本页用 0.1 版):让模型在终端环境里自主完成科研任务,按任务完成率(%)计分,官方同时按 effort 档位给出准确率-成本曲线

基本信息

类别
Agent 与环境
官网 / 数据集
https://www.anthropic.com/claude-fable-and-mythos-5-1

30 秒看懂

分数是通过率:模型能自主跑完多少科研任务(%),越高越好。当前已收录水位:Claude Fable 5.1 为 52.6%(Anthropic 自建 setup)。读数注意两点——官方标注单模型标准误 ±3.5–4.5 个百分点,5 分以内的差距应视为噪声;跨厂商比较前先核对采样次数与 harness(公开榜口径为每任务 3 次采样 + Claude Code harness,其数值与厂商自建 setup 之间存在几个点的系统性偏移,两者都已发生过)。

采用格局:由 Anthropic Fable 5.1 发布(2026-09-01)建档时新铸 id;命名与脚注(共用公开榜、Claude Code harness、3 trials/task 口径)表明与 terminalbench 同族,互见 related_benchmarks。证据账本中 1 次引用。

评分协议

这个评测的官方统一评分协议还没收录到本页;各厂商实际使用的执行框架(harness)与推理档位(effort)已逐条写在下方引用卡里。

可比性提示:同一评测的分数是「实验配置」的产物:只要评测版本(variant)、执行框架(harness)、推理档位(reasoning effort)、工具、采样参数、运行次数或聚合方式有任何一项不同,数字就不能直接横向比较。下方各厂商的分数如未写明协议细节,请只当作方向参考。

模型发布采用时间轴

共收录 3 场模型发布 · 按发布时间倒序排列 · 数据更新于 2026-09-20

2026
2026-09-29 OpenAI·国际

GPT-6.1 Sol

价格$2/$10 每百万 tokens · 缓存输入 $0.10/百万 token

GPT-6 Sol 的升级版,定位是在智能体编程、计算机使用和专业工作上更接近 GPT-6 Astra,而标准价格仅为 Astra 的五分之一。收录的 7 项评测中 5 项为图表行(数值未读出),正文明示的事实错误率为 4.1%。

智能体编码计算机使用专业工作价格为 Astra 的五分之一

查看模型变体与证据

Terminal-Bench Science 0.1, max reasoning 图表尚无可读数值
2026-09-22 Anthropic·国际

Claude Opus 5.5

价格$4/$20 每百万 tokens

面向代码、计算机操作和知识工作的模型。官方表格提供不同任务的分数,但协议与回退模型影响比较范围。

代码计算机操作知识工作

查看模型变体与证据

Terminal-Bench-Science 0.1 58.7%
2026-09-01 Anthropic·国际

Claude Fable 5.1 / Claude Mythos 5.1

本发布含 2 个变体,各变体规格见模型详情。

发布文定位:编码与知识工作上世界最先进的模型,其研究能力是 AI 将参与科学进步的早期一瞥。本档已收录 9 项基准,覆盖智能体科研、智能体编码、知识工作、计算机操作与商业工作流;亮点:Terminal-Bench 4.0 55.8%、Humanity's Last Exam(with tools)65.0%。

编码与知识工作旗舰长时程问题求解生产安全护栏下评测缓存读降价 75%

查看模型变体与证据

Claude Fable 5.1 · 0.1 52.6%

数据缺口(本页暂未收录)

以上字段暂缺时,本页不虚构数字;后续会依据每一次发布的证据逐条补齐并标注来源。

复现入口

引用

本页数据更新于 2026-09-20,依据厂商发布材料真实抓取;发现数据问题欢迎在 GitHub 提 Issue。