WebArena

自托管真实网站(购物/论坛/GitLab)上的长程网页任务

基本信息

类别
Agent 与环境
官网 / 数据集
https://webarena.dev/
论文
https://arxiv.org/abs/2307.13854

30 秒看懂

在自托管的真实网站(购物/论坛/GitLab)里完成多步任务。分数普遍很低——开放网页是 Agent 的硬骨头。

采用格局:抓取的 13 家旗舰发布正文无一引用——社区驱动;厂商回避环境化评测的高成本与低分

评分协议

环境状态终检(非文本匹配)

可比性提示:同一评测的分数是「实验配置」的产物:只要评测版本(variant)、执行框架(harness)、推理档位(reasoning effort)、工具、采样参数、运行次数或聚合方式有任何一项不同,数字就不能直接横向比较。下方各厂商的分数如未写明协议细节,请只当作方向参考。

模型发布采用时间轴

共收录 4 场模型发布(收录 5 项分值) · 按发布时间倒序排列 · 数据更新于 2026-09-20

2026
2026-08-03 Alibaba / Qwen·国内

Qwen3.8-Max

参数2.4T(激活 95B)模态文本·图像·视频

通义将 Qwen3.8-Max 定位为当前 Qwen 家族最强大的模型,基于 Qwen 3.5 架构将参数规模扩展至 2.4 万亿(激活参数 95B),在编程、办公、科研与长周期任务上全面提升,并成为首个开源权重的 Qwen-Max 级模型(权重于下周发布)。已收录评测覆盖智能体编码与办公、多模态理解与操作、视频理解及长上下文等领域,Terminal-Bench 2.1 86.6、PaperBench 93。

开源权重(预告)多模态智能体长周期任务编程与办公

查看模型变体与证据

Verified 66.8
2026-03-05 OpenAI·国际

GPT-5.4 / GPT-5.4 Pro / GPT-5.4 mini / GPT-5.4 nano

本发布含 4 个变体,各变体规格见模型详情。

OpenAI 将 GPT-5.4 定位为融合 GPT-5.3-Codex 编码谱系的新旗舰(ChatGPT 内 Thinking 模式,effort none/low/medium/high/xhigh,1M 上下文,原生计算机操作与工具搜索)。已收录 90 余项评测横跨知识工作、编码、计算机操作与长上下文:亮点 GDPval 83.0%、OSWorld-Verified 75.0%。

旗舰1M 长上下文原生计算机操作工具搜索

查看模型变体与证据

GPT-5.4 · Verified 67.3%gpt-5-2 · Verified 65.4%
2026-01-27 Moonshot AI / Kimi·国内

Kimi K2.5

上下文256K模态文本·图像·视频

发布文以“视觉智能体智能”为题,将 K2.5 定位为在 K2 基础上经 15T 视觉+文本混合语料继续预训练的原生多模态模型,Agent Swarm 最多 100 个子智能体/1500 步。45 项评测覆盖视觉理解、视频、智能体搜索与编码,亮点为 OCRBench 92.3 与 BrowseComp(Agent Swarm 模式)78.4。

原生多模态Agent Swarm长上下文视频理解

查看模型变体与证据

WebArena 58.9
2025
2025-07-22 Alibaba / Qwen·国内

Qwen3-Coder-480B-A35B-Instruct

参数480B-A35B MoE上下文256K(YaRN 可扩至 1M)模态文本

Qwen3-Coder-480B-A35B-Instruct 以「Agentic Coding in the World」为定位发布,480B MoE/35B 激活,原生 256K 上下文(YaRN 可扩至 1M)。已收录 15 项评测集中于代码仓库、终端与浏览器/工具 Agent:亮点 SWE-bench Verified(OpenHands 500 turns)69.6、Terminal-Bench 37.5。

开源权重代码专精Agentic Coding长上下文

查看模型变体与证据

WebArena 49.9

数据缺口(本页暂未收录)

以上字段暂缺时,本页不虚构数字;后续会依据每一次发布的证据逐条补齐并标注来源。

复现入口

引用

本页数据更新于 2026-09-20,依据厂商发布材料真实抓取;发现数据问题欢迎在 GitHub 提 Issue。