GDPval-AA

Artificial Analysis 对 OpenAI GDPval 数据集的独立评测版(ELO 制):1320 个任务上模型产出两两对比排名

基本信息

类别
Agent 与环境
官网 / 数据集
https://artificialanalysis.ai/evaluations/gdpval-aa

30 秒看懂

ELO 是相对分:只反映模型产出的相对排序,不等于任务通过率;版本与 prompt 设置变化会平移绝对数值。

采用格局:证据账本中 12 次引用;与 gdpval(原版)是数据同源、评测口径不同的两个实体

评分协议

这个评测的官方统一评分协议还没收录到本页;各厂商实际使用的执行框架(harness)与推理档位(effort)已逐条写在下方引用卡里。

可比性提示:同一评测的分数是「实验配置」的产物:只要评测版本(variant)、执行框架(harness)、推理档位(reasoning effort)、工具、采样参数、运行次数或聚合方式有任何一项不同,数字就不能直接横向比较。下方各厂商的分数如未写明协议细节,请只当作方向参考。

模型发布采用时间轴

共收录 19 场模型发布(收录 29 项分值) · 按发布时间倒序排列 · 数据更新于 2026-09-20

2026
2026-09-28 Anthropic·国际

Claude Sonnet 5.5

价格$2/$10 每百万 tokens · 缓存读取 $0.20/百万 token

面向日常任务、缺陷修复与文档、幻灯片、表格制作的更快更省的 Sonnet 模型,官方称比 Sonnet 5 快 30% 以上、多数任务成本最多低 30%。收录的 9 项评测以智能体编码与知识工作为主,如 Terminal-Bench 4.0 70.6%、GDPval-AA v2.1 1844。

速度更快成本更低日常编码文档与表格

查看模型变体与证据

GDPval-AA v2.1 1844
2026-09-22 Anthropic·国际

Claude Opus 5.5

价格$4/$20 每百万 tokens

面向代码、计算机操作和知识工作的模型。官方表格提供不同任务的分数,但协议与回退模型影响比较范围。

代码计算机操作知识工作

查看模型变体与证据

GDPval-AA v2.1 1846
2026-09-19 StepFun / 阶跃星辰·国内

Step 5 Preview

参数600B total / 27B active MoE上下文1M模态文本·图像

阶跃星辰发布的旗舰基座模型 Step 5 Preview,面向真实世界 Agentic 任务,在编程、软件工程、专业工作与金融方向上达到前沿水平。AA Intelligence Index 44 分;DeepSWE v1.1 67.7%、Terminal-Bench v2.1 85.0%、StepCodeBench 49.0%、FrontierFinance 66.4%、GDPval-AA v2 1571;模型将于 2026-10-15 正式开源。

稀疏 MoE 600B/27B1M 上下文视觉输入Agentic 长程任务

查看模型变体与证据

v2 1571
2026-09-01 Anthropic·国际

Claude Fable 5.1 / Claude Mythos 5.1

本发布含 2 个变体,各变体规格见模型详情。

发布文定位:编码与知识工作上世界最先进的模型,其研究能力是 AI 将参与科学进步的早期一瞥。本档已收录 9 项基准,覆盖智能体科研、智能体编码、知识工作、计算机操作与商业工作流;亮点:Terminal-Bench 4.0 55.8%、Humanity's Last Exam(with tools)65.0%。

编码与知识工作旗舰长时程问题求解生产安全护栏下评测缓存读降价 75%

查看模型变体与证据

Claude Fable 5.1 · v2 1853
2026-08-28 Tencent / 腾讯混元·国内

Hy4 preview

参数770B-A49B MoE上下文1M模态文本

发布文将 Hy4 preview 定位为 770B 总参/49B 激活、1M 上下文、Apache 2.0 开源的旗舰预览版(各模型均按最高推理档评测)。46 项评测集中于智能体编码与搜索、工作智能体及 STEM 推理,亮点为 Terminal-Bench 2.1 85.4 与 SWE-bench Multilingual 82.9。

开源权重长上下文智能体

查看模型变体与证据

V2 (Elo, official) 1678
2026-08-26 Z.ai / 智谱 GLM·国内

GLM-5.3-Flash

参数320B-A18B MoE模态文本·图像·视频

GLM-5.3-Flash 以「Frontier Intelligence, Flash Cost」为定位发布,是 GLM-5 系列首个原生多模态模型(320B 总参/18B 激活,发布前以 ox-alpha 匿名测试)。已收录 16 项评测集中于终端编码、Agent 工具使用与视觉理解:亮点 Terminal-Bench 2.1 84.3、GDPval-AA v2 Elo 1773。

开源权重原生多模态高性价比编码与 Agent

查看模型变体与证据

v2 1773
2026-08-26 OpenAI·国际

GPT-5.6 Sol / GPT-5.6 Terra / GPT-5.6 Luna

本发布含 3 个变体,各变体规格见模型详情。

发布文将 Sol 定位为 GPT-5.6 的旗舰档(medium/high/xhigh/max/ultra 五档努力级别)。36 项评测横跨智能体、编码、长上下文、科研医疗金融与安全,亮点为 BrowseComp 90.4% 与 Terminal-Bench 2.1 88.8%。

旗舰多档努力智能体安全防护

查看模型变体与证据

GPT-5.6 Sol · v2 1,747.8 EloGPT-5.6 Terra · v2 1,593 EloGPT-5.6 Luna · v2 1,591.8 Elogpt-5-5 · v2 1,493.7 Eloclaude-fable-5 · v2 1,759.6 Eloclaude-opus-4-8 · v2 1,600.1 Elogemini-3-1-pro · v2 962.3 Elogemini-3-5-flash · v2 1,348.8 Elo
2026-08-13 Google DeepMind / Gemini·国际

Gemini 3.7 Flash

价格$0.75/$3.75 每百万 tokens · 促销价(原 3.6 Flash 半价),2026-12-31 到期;2027-01-01 起 $1.50/$7.50模态文本·图像·视频

Gemini 3.7 Flash 被定位为面向编码与代理的旗舰 workhorse 模型(most intelligent workhorse model for coding and agents)。评测聚焦编码与代理工作流并延伸到文档/视频理解:DeepSWE v1.1 65.3%、Terminal-bench 2.1 85.8%、WebDev Arena 1588 Elo、GDP.pdf 34.0%。

多模态代理编码文档理解

查看模型变体与证据

v2 1525 Elo (GDPval-AA v2)
2026-08-12 xAI / Grok·国际

Grok 4.6

价格$2/$6 每百万 tokens · 另有 fast 变体,价格为标准价的 2 倍模态文本·图像

发布文称 Grok 4.6 在 Grok 4.5 基础上聚焦长时间运行的智能体与更具野心的交互和视觉任务。10 项评测覆盖智能体编码、知识与法律工作,亮点为 Artificial Analysis Intelligence Index 61(自述追平 GPT-5.6 Sol)与 GDPval-AA v2 1753 Elo。

长程智能体编码视觉任务

查看模型变体与证据

v2 1753
2026-08-10 Meta / Llama·国际

Muse Glimmer 30B

参数29.6B(dense)+ 1.8B ViT模态文本·图像

Muse Glimmer 30B 被 Meta 定位为可在消费级设备上运行的开源代理模型(Apache 2.0,由 Muse Spark 蒸馏,24-32GB 显存可跑)。评测覆盖通用代理、代理编码、多模态与安全:MCP Atlas 75.5%、SWE-bench Verified 76.0%、AIME 2026 94.7%;另提供 K-Quant 量化档与 DFlash 投机解码加速。

开源权重端侧可运行代理增强多模态

查看模型变体与证据

v2 953 Elo
2026-08-05 Meta / Llama·国际

Muse Spark 1.2 / Muse Code

本发布含 2 个变体,各变体规格见模型详情。

Meta 将 Muse Spark 1.2 定位为 Muse Spark 1.1 的编码向升级版,与 Muse Code 终端代理协同训练,经 Muse Code、Meta Model API、OpenRouter 提供。已收录 5 项评测集中于终端与软件工程 Agent:亮点 Terminal-Bench 2.1 82.9、DeepSWE 1.1 59.3,另含 GDPval-AA v2 与 MCP Atlas 第三方条目(未录数值)。

编码专精与 Muse Code 协同训练长程任务

查看模型变体与证据

Muse Spark 1.2 · v2 该来源尚无可读数值
2026-08 Z.ai / 智谱 GLM·国内

GLM-5.3

模态文本

GLM-5.3 以「Frontier Coding with Emergent Cyber Capabilities」为定位发布(API thinking 档 low/high/max、默认 max 且不再支持关闭思考;权重承诺发布两周内开源)。已收录 22 项评测集中于编码与网络安全攻防:亮点 Terminal-Bench 2.1 88.2、CyberGym 84.5。

开源权重思考默认开启编码专精网络安全

查看模型变体与证据

v2 1769
2026-07-21 Google DeepMind / Gemini·国际

Gemini 3.6 Flash / Gemini 3.5 Flash-Lite / Gemini 3.5 Flash Cyber

本发布含 3 个变体,各变体规格见模型详情。

发布文将 Flash 系列定位为以效率、时延与可靠性支撑规模化 AI 智能体的主力款,3.6 Flash 在 3.5 Flash 基础上提升编码与知识工作且输出 token 减少 17%。4 项评测集中于代码、机器学习工程与计算机使用,亮点为 OSWorld-Verified 83.0% 与 MLE-Bench 63.9%。

高效智能体编码性价比

查看模型变体与证据

Gemini 3.6 Flash · v2 1421 EloGemini 3.5 Flash-Lite · v2 1140 Elo
2026-07 Moonshot AI / Kimi·国内

Kimi K3

上下文1M模态文本·图像

Kimi K3 以「Open Frontier Intelligence」为定位发布(权重承诺 2026-07-27 前开源),评测统一 reasoning effort=max、temperature=1.0。已收录 35 项以上评测覆盖编码、Agent、搜索与多模态:亮点 Terminal-Bench 2.1 88.3、BrowseComp(1M 上下文)90.4。

开源权重推理增强1M 长上下文Agentic

查看模型变体与证据

GDPval-AA 1668
2026-05-29 StepFun / 阶跃星辰·国内

Step 3.7 Flash

参数196B-A11B(另含 1.8B ViT)上下文256K模态文本·图像

Step 3.7 Flash 被阶跃星辰定位为面向真实场景代理的高效率 Flash 模型,支持三档推理级别、最高 400 tok/s。评测覆盖通用代理、编码与长上下文/视觉:BrowseComp 75.8%、HLE w. tool 47.2%、SWE-bench Verified 76.5%、V* 95.29%。

MoE 稀疏激活多模态高效率256K 上下文

查看模型变体与证据

Stirrup 1415.8internal pairwise (ii) 45.8
2026-05-19 Google DeepMind / Gemini·国际

Gemini 3.5 Flash

上下文1M模态文本·图像

Google 在 I/O 2026 发布 Gemini 3.5 首个模型 Gemini 3.5 Flash,定位「frontier intelligence with action」,并成为 Gemini 应用与 Search AI Mode 的默认模型。评测横跨终端智能体、多模态理解与抽象推理,亮点如 Terminal-Bench 2.1 76.2%、MCP Atlas 83.6%,页面并称输出速度约为其他前沿模型 4 倍。

多模态高速输出智能体长上下文

查看模型变体与证据

GDPval-AA 1656 Elo
2026-04-24 DeepSeek·国内

DeepSeek-V4-Pro / DeepSeek-V4-Flash

本发布含 2 个变体,各变体规格见模型详情。

DeepSeek 发布 V4 预览版「迈入百万上下文普惠时代」,V4-Pro 为旗舰:1M 上下文、思考/非思考双模式、reasoning_effort high/max。评测覆盖推理、编码、智能体与百万级长上下文,亮点如 GPQA Diamond 90.1%、Codeforces 3206。

开源权重长上下文推理增强预览版

查看模型变体与证据

DeepSeek-V4-Pro · Pro max effort 1554DeepSeek-V4-Flash · Flash max effort 1395
2026-03-18 MiniMax·国内

MiniMax-M2.7

模态文本

MiniMax 发布 M2.7「Early Echoes of Self-Evolution」,定位为首个深度参与自身进化的 M 系列模型,支持 Agent Teams、复杂 Skills 与动态工具搜索。评测集中在智能体与编码,亮点如 SWE-Bench Pro 56.2%、MLE-Bench Lite 66.6%。

开源权重智能体自我进化办公

查看模型变体与证据

GDPval-AA 1495
2026-02-19 Google DeepMind / Gemini·国际

Gemini 3.1 Pro

上下文1M模态文本·图像

Google 将 Gemini 3.1 Pro 定位为「为最复杂任务打造的更聪明模型」,基于 Gemini 3 Pro,发布时为 preview(thinking 档 low/medium/high)。已收录 19 项评测横跨推理、代码、多模态与长上下文:亮点 GPQA 94.3%、SWE-bench Verified 80.6%。

旗舰1M 长上下文多模态Preview

查看模型变体与证据

GDPval-AA 1317 Elo

数据缺口(本页暂未收录)

以上字段暂缺时,本页不虚构数字;后续会依据每一次发布的证据逐条补齐并标注来源。

复现入口

引用

本页数据更新于 2026-09-20,依据厂商发布材料真实抓取;发现数据问题欢迎在 GitHub 提 Issue。