评估体系大全
🕐 模型发布时间轴：查阅主流模型发布证据与评测得分 →
Artificial Analysis 长程知识工作评测（4 个多周项目）
Artificial Analysis 编码智能体综合指数
Artificial Analysis 的复合智能指数：九项评测加权平均（Agent 34% / 代码 24% / 科学推理 24% / 通用 18%）
Artificial Analysis 长上下文多文档推理指数
SecureBio 出品的生物安全 agent 基准：以片段设计（Fragment Design）、筛查规避（Screening Evasion）、移液程控（Liquid Handling）三类端到端任务度量前沿模型的 agentic 生…
工具调用与多智能体场景能力评测
基于 AI 原生创业公司调研访谈的代理评测
8 环境综合 Agent 评测（OS/DB/网页/游戏…）
UC Berkeley 出品的长程真实工作 Agent 基准：约 1500 道 55 职业 / 13 行业的专家实操任务，rubric 判分
月之暗面内部办公生产力端到端评测
小学科学示意图理解（5k 图 / 15k 题四选一）
多语言 Exercism 题目，真实编辑器工作流（diff 编辑）
2025 年美国数学邀请赛 I/II 共 30 题，竞赛数学的年度无污染风向标
2026 年 AIME 数学邀请赛题集推理评测
美国数学邀请赛 30 题，奥赛级推理试金石
科学计算仓库（数值相对论等）智能体编程评测
Meta 开源的 AI 研究科学 Agent 评测套件：20 个覆盖研究全生命周期（选题、实验分析、迭代实验）的任务
中文大模型多维对齐评测（LLM 评判）
805 题 vs GPT-4 参考答案的胜率（LC 控制长度偏倚）
奥赛级高难数学推理（50 道人工命题）
Google 官方 Android 开发 LLM 基准（95 任务公开子集）
Android 真机/模拟器 116 任务
自动化行为审计：欺骗/谄媚等失对齐行为检测
内部生命科学评测套件（结构生物/有机化学/生信）
Anthropic Opus 4.7 发布页 Biomolecular reasoning 中的结构生物学内部评测（以柱状图披露）
Mercor 长周期职业任务智能体评测（投行/咨询/法律）
MathArena Apex Shortlist：47 道模型易错竞赛题
Mercor 与 Cognition 合作软件工程智能体评测
MathArena 最难竞赛数学集：模型几乎全错的难题
DeepSeek V4 视觉发布中的多模态智能体评测
10k 编程竞赛题（入门→IOI）
抽象图形规则归纳，人类 ~76% vs AI 长期低位，AGI 试金石
AI2 ARC 挑战集科学选择题（25-shot）
真实人类盲评对战，Bradley-Terry Elo 排名，最接近用户感知
从 Arena 真实难题中抽 500 道，LLM judge 离线复现
腾讯开源视觉代码生成评测（动态产物判分）
MathArena 出品的研究级数学基准：从近一个月 arXiv 论文摘要中提取可机器验证的最终答案题，按月更新以抗污染
自动生成逻辑谜题的双语逻辑推理评测
Zapier 出品的业务自动化基准：通过 REST API 跨应用编排销售/市场/运营/支持/财务/HR 的真实工作流
1,000+ 段标志性网络音视频（语音/歌曲/音乐/音效）多模态多语言多文化评测，考从表层内容到语境、情绪、用法的分层理解
字节 Doubao Seed 模型页 Reasoning 组评测行（页面仅打印 BABE）
剥离语言先验的前语言视觉推理评测
投行端到端工作流工具使用评测（100 任务）
BIG-Bench Hard：多步推理高难度任务集
StepFun Step 3.7 Flash 发布页的视觉搜索浏览评测行（页面仅打印缩写 BC-VL）
BEAM 长对话记忆基准 128K 档
工业级 CAD 参数化编程基准：17,900 个执行验证的 CadQuery 程序、106 个工业零件族，含视觉问答/代码问答/图生代码/指令引导编辑四类任务
超出 AIME 难度的竞赛数学推理评测
函数调用能力专项（单/并行/嵌套/多轮）
Rogo 出品的金融工作流 agent 基准：928 道取自真实金融业务的问题，rubric 过程评分与最终答案准确率双口径
调用真实库完成复杂任务（139 库）
Harvey 法律实务任务评测（初级律师真实工作）
LAB-Bench 系列的基因/生物设计任务子集：把设计目标落成可执行的实验方案（一代时为私下保留集）
字节内部奥赛级生物学多模态评测
Anthropic 生信科研分析评测：真实数据集解谜
大规模真实数据库文本转 SQL 评测
FutureHouse 生物信息数据分析智能体评测
二维/三维基础视觉感知评测（深度/对应等）
Anthropic 表内空间推理评测（未见公开发布）
MathArena 出品的『伪定理』评测：把近期 arXiv 数学研究断言扰动成似真但可证伪的命题，测模型是否敢指出前提有问题；LLM judge 评分、月度滚动
BrowseComp 的中文原生版（非翻译）：289 道从答案反向设计的中文多跳检索难题
OpenAI 出品的浏览型检索基准：1266 道答案极难找到的网页问题，考 Agent 的持久检索与多跳浏览
腾讯 Hunyuan 出品的 Agent 多任务鲁棒性评测：复杂工具关系、关键隐藏信息、动态决策路径三类挑战
智谱真人对照的终端智能体编码评测
真实拍摄条件下的文档处理评测：5 项核心能力 × 16 子任务 × 74 应用场景、7,093 样本，并按光照/屏幕/成像质量归因模型失败
复杂指令理解评测：多约束指令的理解与执行（含函数调用类约束）
中文 52 学科（初中到专业），国产模型标配
约束遵循大基准（PKU-Baichuan）：1,000 样本、200+ 真实场景、50+ NLP 任务、10 大约束类别
长视频定位式问答（需给时间戳证据）
Surge AI 专业图表理解评测（100 题专家编制）
图表问答（读数+计算）
普林斯顿 NLP CharXiv 的 descriptive（描述性问答）子集：真实 arXiv 论文图表上的事实读图题
普林斯顿 NLP 出品的真实图表理解基准：2323 张 arXiv 论文图表，本实体覆盖其 reasoning（综合推理）子集
3000 题中文事实性问答评测
腾讯 CL-bench 上下文学习评测（开源数据与 rubrics）
自主智能体可信评测套件，300 个人工核验任务
Seed 内部 OpenClaw 式助理实用任务评测
Claw-Eval 的多模态子集
小米出品的小学数学应用题评测：约 1.7k 题带精细标注，另设加入无关干扰信息的污染子集
中文 67 学科，MMLU 中文对照
2025 中国数学奥林匹克竞赛题集
凝聚态物理研究级评测：50 道由专家物理学家原创的研究级题目，程序化对照专家提供的 ground truth 判分
2024 中国数学奥林匹克竞赛题评测
328k 图 / 250 万标注实例 / 91 目标类型（检测挑战常用 80 类）的经典视觉数据集；在厂商表中也常作 grounding/检测评测底座
arena.ai 前端开发人类偏好对战榜单
Codeforces 竞赛编程平台的等级分（Elo）与题目通过率，被厂商用作算法编码能力的第三方锚点
语法化组合约束的受控文本生成评测
上海 AI Lab 中英综合榜单
智谱出品的复杂函数调用评测：5 个真实场景、多步 + 带约束调用、128k 长上下文参数填装
腾讯 Hunyuan 模型卡 NLU 组的复杂自然语言理解评测行
物理常识基准（ICML 2024）：把物理推理从刚体扩展到绳、布等软体/连续体，考从视频学习连续体物理概念并推理
语料级长文本推理基准 CorpusQA 的 1M 档
视频中重复动作计数评测
1,500+ 道高密度真实场景计数问答：杂乱、遮挡、目标密集；发布时 15 个 MLLM 最佳仅 42.9%（Google Research）
多语言语音翻译评测（21 语种译入英语）
阿里内部长周期协作办公任务评测
EQ-Bench 项目创意写作 v3 榜单
Seed 内部 Notion/Canva/Figma 协同创作评测
研究级前沿物理推理评测（71 道复合挑战）
跨视频推理基准（AAAI 2026）：5,331 个视频、9,015 题，考跨多个视频的空间-时序关联推理，含单选/多选/开放三种题型
代码推理评测：预测输入或输出
Meta 评测报告中的策展 CTF（夺旗）安全评测：198 道挑战，pass@1 / pass@5 双口径
Cursor 官方智能体编码基准（正确性/质量/效率）
2D/3D 经典视觉任务改写的多模态问答
40 个真实 CTF 网络安全任务
UC Berkeley 出品的网络安全 Agent 基准：188 个真实开源项目中的 1507 个真实漏洞，执行级判定漏洞发现与复现
Irregular 出品的场景化网络安全评测：按完整攻击工作流（端到端场景）评估 LLM 网络能力，而非孤立子任务
相对深度感知评测（Depth Anything V2 基准集）
Kimi K3 发布页标注 Internal 的 deck/slides 生成评测
900 题多步深度检索问答，列表型答案按 F1 计分
Datacurve 出品的抗污染编码 Agent 基准：113 道原创长程工程任务（91 仓库 / 5 语言），手写 verifier 判分且任务不回流上游
Qwen 自研的 200 题密集 grounding 评测（Qwen3.8 发布表 footnote 13 口径，未公开数据集）
Mistral 委托第三方的人工对战胜率评测
文档图片问答（发票/表单）
豆包自研多轮对话上下文与指令评测
Perplexity 跨域深度研究评测（准确性/完整性/客观性）
段落阅读+数值推理（计数/排序/算术）
DSBench 数据科学智能体基准在 DeepSeek 发布表中的全栈（FullStack）划分
DSBench 数据科学智能体基准的困难子集
动态变换视觉条件下的数学题推理
腾讯混元内部多步工具调用 agent 评测的编码口径（Hy4 preview 附录标注 Internal，79.0）
腾讯混元自建评测，公开资料有限：hy3 / hy4-preview 发布页附录表的自建任务行，标注 (internal)；任务域与指标未公开
OpenAI 自建口径，公开资料有限：GPT-5 发布页以「vs 人类专家 win/tie 率」公布的经济价值任务评测，题集未公开
6 人同住一周的第一视角生活数据集（300 小时多视图多模态）之上的长上下文生活问答套件 EgoLifeQA
超长第一视角视频问答诊断基准
第一视角视频时间理解问答
极端复杂指令跟随（多约束+工具）
具身自我中心视角空间理解多选基准
多模态数学/图表/代码推理套件
情商评测：45 段角色扮演场景 LLM 评 Elo
具身推理问答：空间关系与世界知识 400 道多选
HumanEval+/MBPP+ 增强测试用例代码评测
OpenAI 内部长时程编码评测（人类中位耗时约 20 小时）
CMU 携手 Bugcrowd 出品的漏洞利用阶梯基准：单漏洞任务上度量 Agent 沿 16 个可测 flag 的推进距离
UC Berkeley（CyberGym 同门）出品的漏洞武器化基准：约 900 个真实漏洞实例，横跨用户态程序 / V8 / Linux 内核
Google Gemini 3 发布表中的事实性套件聚合分（内部 held-out 的 grounding / parametric / 多模态 / search 检索评测）
传记原子事实核对（长文事实精度与幻觉）
Google 出的 grounding 评估：答案必须基于给定文档
Vals AI 的入门级金融分析师工作流评测 v2：公开公司数据问答 + 研究/取数/定量分析工具链，评审模型打分
Provident Group 出品的金融研究任务基准：真实投研工作流的多步分析（估值、筛选、财报数据提取与核对）
MiniMax 内部专家评分口径的金融建模评测：端到端研究 + Excel 建模交付
金融任务全景（财报/风控/量化）
全开源金融搜索与推理智能体评测（T1/T2/T3 三档）
与 Mozilla 合作的浏览器漏洞利用开发评测
Google 的 n-way 平行多语语音基准（102 语种，每语言约 12 小时音频）：ASR / 语言识别 / 语音翻译等任务的数据底座
200 语言翻译质量
谷歌检索增强基准：事实性、检索与推理综合
Anthropic 表内智能体终端编码评测 v0.1
Cognition 编码基准：AI 代码能否达到可合并标准
OpenAI FrontierScience 奥赛赛道（IPhO/IChO/IBO 级）
OpenAI FrontierScience 科研赛道（博士级开放任务）
开放式可验证 CS 基准（240 道无已知最优解题）
Samaya AI 出品的金融领域专家级评测，覆盖 6 类投资场景、220 道专家设计的问题、11,543 项细粒度评估标准。
研究级数学难题，数学家出题、题目保密，AGI 数学信号
超长程开放软件工程任务评测（Proximal）
字节出品的全栈编程评测：3,374 题、16 种编程语言、11 个应用领域，配 SandboxFusion 沙箱判分
通用助手多步推理+工具使用，人类 92% vs 早期 AI ~15% 鸿沟
Meta ARE 通用智能体基准（GAIA 后继，动态场景）
34 款浏览器游戏 170 任务的游戏智能体评测
Google DeepMind 危险能力评测中的情境感知套件：模型能否识别自己正被评测或被监控
Google DeepMind 危险能力评测中的隐蔽性（stealth）挑战套件：关停监督、代码破坏、下载 checkpoint 等隐藏自身目标的场景
Surge AI 专家 PDF 文档理解评测
Artificial Analysis 对 OpenAI GDPval 数据集的独立评测版（ELO 制）：1320 个任务上模型产出两两对比排名
MiniMax 基于 GDPval 数据的内部 Cowork 评测
MiniMax 用公开 GDPval 案例与 rubrics 的内部评测
OpenAI 出品的真实经济价值工作基准：44 个职业覆盖美国 GDP 前 9 大行业，模型交付物与 14 年经验从业者盲评对比
基因学多阶段数据分析智能体评测
Cohere 多语言 MMLU 精简版（23 语种）
多语言常识物理直觉问答（Cohere）
GPQA 官方主站与论文入口（同 gpqa 条目）
博士级科学多选（物理/化学/生物），人类专家约 65%
OpenAI 出品的长上下文多跳图推理基准：在有向边列表上执行 BFS / parents 操作，含 128K 与 1M 上下文档
Scale AI 造的 GSM8K 同源对照集——专测过拟合/污染
8500 道小学应用题，CoT 时代开山基准（已饱和 95%+）
视觉错觉与图文幻觉诊断
82 个任务的高信号 agent 元基准：从 54 个已接入 Harbor 适配器的基准共 6,627 个候选中经难度/AI 审计/人工审计三轮漏斗筛出，横跨 29 个源基准
标准化有害行为 RedTE（攻击成功率越低越好）
Harvey 法律智能体开源基准（Vals 运营榜单）
OpenAI 出品的健康对话基准：5000 段多轮对话，262 名医生编写的 48,562 条 rubric 细则评分
Hebbia 金融高级推理合作评测
情境续写常识推理（已饱和 95%+）
Google 内部非公开高难数学评测
首个专注高中物理奥赛的基准：汇集 2024–2025 年 13 套奥赛真题，含纯文本与图形题，按奖牌线做人机对齐评估
Humanity's Last Exam 的视觉语言变体：以图片承载题干的超难学科题，常与工具（代码解释器 + 搜索）一起作 agentic 评测
人类专家联合出的超难跨学科闭卷考试
2026 年 2 月哈佛-MIT 数学锦标赛赛题评测
2025 年 2 月哈佛-MIT 数学锦标赛题集，竞赛数学年度无污染标杆（MathArena 首发系统评测）
百余道未解数学难题（自动验证数学发现）
Meta 自建评测，公开资料有限：Muse 系模型卡/报告安全节的 chem/bio 准备度基准之一，缩写全称与题集未公开
高分辨率图像感知基准：4K/8K 两档真实高分辨率图像，考细粒度单实例感知（FSP）与跨实例感知（FCP）
164 道 Python 函数补全，代码评估起点（已饱和 90%+）
HumanEval 增强 80 倍测试用例，防漏判
腾讯混元自建评测，公开资料有限：hy3 / hy4-preview 发布页附录表「Agentic Coding」组内的后端开发任务基准，标注 (internal)
腾讯混元内部的高难网页检索评测（BrowseComp 风格加强版；Hy4 preview 附录标注 Internal）
腾讯混元自建评测，公开资料有限：hy3 / hy4-preview 发布页附录表「Agentic Coding」组内的企业场景任务基准，标注 (internal)
腾讯 Hunyuan 内部数学评测（Euler 系）带工具泳道（Hy3 附录行）
腾讯混元内部的金融 agent 评测（Hy4 preview 附录标注 Internal，79.7）
腾讯混元自建评测，公开资料有限：hy3 / hy4-preview 发布页附录表的自建金融建模任务基准，标注 (internal)
腾讯混元内部的生命科学检索评测：以检索工具回答生命科学问题（Hy4 preview 附录标注 Internal）
腾讯 Hunyuan 内部数学评测（Hy3 附录行）
腾讯 Hunyuan 内部技能世界 Agent 评测（Hy3 附录行）
腾讯混元自建评测，公开资料有限：hy3 / hy4-preview 发布页附录表「Agentic Coding」组内的 SWE 进阶任务基准，标注 (internal)
国际大学生程序设计竞赛 2025 全球总决赛题集
AI2 可验证精确指令遵循（58 类新约束）
可验证指令遵循（字数/格式/关键词约束）
多视角实拍照片生成平面户型图评测
MathArena 对 IMO 2025 竞赛题的官方评测
IMO-Bench 套件的短答案分册：400 道 IMO 级（多为 Shortlist）可验证答案题，覆盖代数/组合/几何/数论
44 语种区域文化知识多语言评测（Cohere）
InfiniteBench 英文长上下文多选子任务
信息图（infographic）视觉问答：5,485 张信息图、30,035 个自然语言问答（2021 DocVQA 挑战 Task 3）
腾讯 Hunyuan 模型卡 Text Creation 组的指令控制评测行
逆向约束指令执行（违背训练习惯的指令）
2025 国际信息学奥林匹克竞赛题集
Kimi K3 发布页 Agentic 组的职业任务评测行（页面仅打印 Job Bench）
35 类职业工作流的 agent 交付对齐评测（130 任务）
严格音视频耦合的 Omni-LLM 推理评测：5 认知维度 × 4 音频信息类型（语音/声事件/音乐/声纹）× 3 场景跨度，最强 Omni 模型均值仅 65.3%
月之暗面内部编码基准（K3 用 KCB 2.0）
OpenAI 自建评测，公开资料有限：GPU/算子内核生成任务，仅在 GPT-5.6 发布页以「KernelGen 1P」行列出，题集与协议未公开
261 个细分学科 899 道十选一知识题
知识-正交规则推理（防先验知识捷径）
PyTorch 算子改写 CUDA kernel（正确性+速度）
FutureHouse 出品的生物学研究能力基准：2,400 余道多选题，覆盖文献检索理解与含错实验协议排障（ProtocolQA）等任务
FutureHouse 生物研究任务评测第二代：近 1,900 个任务，覆盖文献推理、数据库检索、图表/表格解读与协议理解（一代为 2,400+ 道多选题）
持续收录 LeetCode/Codeforces 新题，按时间窗切分防污染
Harvey 开源法律智能体基准，长程法律任务
162 个真实法律任务（合同/IRAC/条款检索）
腾讯 Hunyuan 模型卡 Text Creation 组的长度控制评测行
约 1,000 小时 16kHz 朗读英语语音语料（LibriVox 有声书），test-clean / test-other 是英文 ASR 最通用的 WER 基线
OpenAI 出品的生命科学专家级任务基准：750 道自由作答任务覆盖 7 类工作流 × 7 个生物领域，以专家撰写的 rubric 评分
Wayve 的自动驾驶 VQA 基准：28K 段伦敦驾驶短视频 + 41.9 万条标注，Lingo-Judge 裁判与人类评审相关系数 0.95
每月换题的综合抗污染基准（数学/代码/推理/语言/数据网）
直播体育实时解说基准（LiveCC 论文提出，CVPR 2025）：3,000 段体育直播视频，用 LLM-as-a-judge 评自由格式实时解说质量
开源 SQL 评测（600 题/22 个 PostgreSQL 库）
港科大长上下文智能体评测（256K 档）
Google 长上下文 RAG 检索评测
图文逻辑推理选择题评测
中英双语 21 任务长文理解
月之暗面内部长文本写作评测
长视频多模态理解问答（插入帧检索设计）
长尾专业论坛问答（7 领域 430 题）
小时级超长视频理解问答（THUDM）
800 份真实异构 PDF 上的 2,250 道人工出题文档 QA：考 agent 的检索-导航-推理策略，并用 accuracy-effort 权衡刻画搜索成本
真实场景超长多轮对话评测
Hendrycks 等人的 12,500 道竞赛数学题基准（7 大领域 × 5 级难度），数学推理的经典分母
MATH 精选 500 题，推理模型标准对比集
3040 道带图竞赛数学题（来自真实数学竞赛），多模态数学推理基准
图表/几何/视觉数学推理
OPPO 多语言指令跟随评测（23 语言 23 设定）
Meta 自建评测，公开资料有限：Muse 系模型卡/报告安全节的 chem/bio 准备度基准之一，缩写全称与题集未公开
基础 MBPP 集经 EvalPlus 工具评测（0-shot）
基础 Python 编程题生成评测
40 语种大规模多语言代码评测
Scale AI 出品的 MCP 工具能力基准：1000 道人写任务横跨 36 个真实 MCP 服务器与 220 个工具，claim 级评分
真实 MCP 服务的 CRUD 压力测试（127 任务）
真实 MCP 服务器工具调用评测
真实 MCP 服务的 CRUD 压力测试（本条为 Kimi K2.6 行登记的 id，与既有 mcp-mark 实体同指）
VLM 读仪表数值评测（真实+合成 2442 图）
美国医师执照考试题，医疗 AI 入场券
专家级医学推理与理解基准（ICML 2025）：4,460 题、17 专科、11 系统部位；本条目对应 MM 多模态子集（图像 + 真实临床场景）
Meta 内部编码基准
MiniMax 基于 Microsoft Excel World Championship 真题自建的表格竞技评测（2021–2026 主赛+分区赛共 179 题）
GSM8K 多语言版（含中文），测跨语言数学推理
真实网站通用 Web 智能体评测
复杂视频推理基准（ICCV 2025）：长而信息密集的视频上的多步问题，每题附人类推理轨迹，支持过程级评估
75 个 Kaggle 真实比赛端到端（特征/训练/提交）
评测 AI 能否发明可扩展机器学习方法的轻量版
多任务长视频理解评测：电影/监控/第一视角/动画/游戏等多体裁，灵活的视频长度扩展，dev 集以 M-Avg 报告、test 集含 11 个任务
多模态网页浏览深度搜索任务（BrowseComp 多模态版）
MiniMax 基于 OpenClaw 常用任务的自建评测
多模态综合能力选择题评测（v1.1 EN 常用）
空间/几何/视觉知识的认知容量评测
长上下文视觉语言基准（13k 例，8K-128K 五档）
10 选项 + 强制 CoT 的 MMLU 强化版，抗猜测与饱和
MMLU-Pro 多语言扩展（29 语种）
人工修订 MMLU 错标注子集，修复噪声标签
57 学科四选一，测通识知识覆盖面（已近饱和）
OpenAI 用专业人工译者把 MMLU 测试集译成 14 种语言（含简体中文）的多语种知识基准
MMMU 的抗污染强化版：过滤文本可答题、选项扩到 10 个、并引入题干嵌入图片的 vision-only 模式
大学多学科图文题，多模态版 MMLU
多图像空间智能推理评测
去噪精选的多模态综合评测
大规模口语理解与推理基准：跨学科多任务的语音理解（含声学信息，不止转写文本）
多模态综合能力（6 维集成评测）
CLIP 盲区视觉感知短板测试
专家级多学科视频理解基准
201 任务 20 应用的移动 GUI 智能体基准
程序化可控的视频推理压测基准：500 段全脚本化生成视频，覆盖抽象/数学/物理/规划/空间/动态六类推理
细粒度人体动作视频理解评测
OpenAI 出品的长上下文多针区分基准：上下文中埋多段相似内容，要求按序号取回指定 needle，2/4/8 针多档
Seed 内部多语言文化知识评测（11 种语言）
80 道多轮对话题，GPT-4 当裁判打分（1-10）
MTEB (Massive Text Embedding Benchmark) 的代码评测子集，评估嵌入模型在多语言代码检索、代码克隆检测与语义匹配上的表现
仅凭一本语法书翻译 Kalamang 与英语互译
9 种语言的母语者人工标注文本中心 VQA：6,778 QA / 2,116 图（ByteDance，ACL 2025 Findings）
多图像综合理解与推理评测
多语言真实 GitHub issue 修复评测（Java/C++/Go 等）
Scale AI 出品的多轮对话基准：四类真实对话难点——指令保持、用户信息推理、对话自洽、拒绝不合理请求
多轮多语言指令跟随评测（扩展 IFEval）
Llama 4 发布报告的多语言 MMLU（翻译版）
HumanEval/MBPP 转译为多语言的代码生成评测
OpenGVLab 20 项时序视频任务基准
Keller Jordan 发起的社区竞速基准：在 8×H100 上把 GPT-2 (124M) 训到目标验证损失所需的最短墙钟时间
Google 内部 held-out 代码生成评测
Nexusflow NexusRaven 函数调用评测
长文检索单针测试——营销常用但只测检索一维
从自然语言指令从零生成完整多文件代码仓库的长程评测，考 Agent 持续自我迭代直至可运行的能力
14 语言 63 学科多语言知识评测
双语文本中心 OCR 评测：10,000 人工校验 QA、31 种场景、任务数约为前代 4 倍，另有 1,500 张人工标注私测图；定位/手写/逻辑推理是短板任务
面向大型多模态模型的 OCR 综合评测：29 个数据集，覆盖文本识别/检测、关键信息抽取、VQA 与手写数学表达识别
面向自动驾驶场景的实时流式视频理解基准（StreamForest 论文提出，NeurIPS 2025）：考在线实时感知与未来预测
Databricks 出品的企业级文档推理基准：1939–2025 年美国财政公报约 9 万页语料上的 133 道多文档 grounding 推理题
Databricks 出品的可验证文档推理基准（OfficeQA Pro 前身）：约 9 万页美国财政公报语料上的 246 道文档 grounding 题，分 easy/hard 两档
竞赛级编程题在线评测基准（232 题）
8,476 道奥赛级数学/物理题（含中国高考题），英中双语，附专家级逐步推理标注；GPT-4V 时代最佳平均仅 17.97%
文档解析评测：PDF/扫描件转 Markdown 的结构还原
音视频协同理解基准：考 omni MLLM 对声音与画面信息的联合细粒度感知与协同推理，缺任一模态即失分
总经济价值超百万美元的专家级行业代理任务
真实网站在线网页智能体评测，约 300 任务
Anthropic 自研网安评测：真实项目漏洞发现与利用
真实操作系统（Ubuntu/Windows/macOS）任务执行
在线视频时空理解基准（过去/当下/未来 16 子任务）
在线视频流时序感知基准（644 视频 2800 问答）
OpenAI 论文复现基准：ICML 论文级 agent 复现
gNucleus 的 CAD agent 评测：从自然语言规格生成 FreeCAD 可执行脚本，几何正确性与规格一致性双重评分，并用『可编辑性门控』（调和均值）拒绝只交付静态网格
月之暗面原子视觉感知评测（3000 题）
大学物理题推理与过程评分
3K 道物理视觉推理题：6 大物理域 × 25 子域 × 6 推理类型，MC 与开放题双版本；发布时最佳模型与人类专家差 29%+
真实法律实践评测（850 题 rubric 评分）
22.7 万医学 VQA 对 / 14.9 万图（PubMed Central 图像经生成管线构建），用于医学视觉指令微调与评测
PolyMath 多语言数学推理基准英文子集
视觉幻觉检测（图中无物问有）
评测 LLM Agent 能否自主完成后训练：给定小基座模型与 10 小时单卡 H100 预算，以下游基准提升计分
Scale 高风险金融专业推理评测
Scale 高风险法律专业推理评测
细粒度量规式幻灯片生成评测（238 实例）
腾讯 Hunyuan 内部生产任务评测：在真实生产型工作负载上以 pass^3 读分（Hy3 附录行）
仅凭二进制与文档从零重建程序，200 任务
Qwen 自研的 Blender 3D 任务评测（Qwen3.8 发布表 footnote 13 口径，未公开数据集）
Qwen 真实用户分布的 Claw 智能体基准
阿里内部 Qoder 用户体验编码评测
阿里内部 React 项目构建评测
阿里内部 SVG 代码生成评测
阿里内部软件工程编码评测
Qwen 自研的办公文档视觉理解评测（Qwen3.8 发布表 footnote 13 口径，未公开数据集）
阿里内部前端代码生成评测（双语）
阿里内部 LLM 世界模型模拟评测
字节内部真实 GUI 操作评测
xAI 真实世界场景图文理解评测（约 765 图）
娱乐场景相关评测（身份待核）
Ref-Adv 指代表达理解评测（Qwen 表行名 RefAdv-S）：语言上不平凡的表述 + 难干扰物 + 否定等推理要素，压制 shortcut 解法
真实杂乱场景多步空间指代定位
Scale AI 出品的深度研究 agent 基准：真实开放研究提示配 2,500 余条专家细粒度 rubric，用 LLM judge 按条目评估研究报告质量
MiniMax 内部现实交互式搜索评测
OpenAI 自建口径，公开资料有限：把内部 AI 研究类评测（研究调试、KernelGen、NanoGPT 等）聚合成「递归自我改进能力」指数
13 任务长上下文有效长度（检索/聚合/多跳），比 NIAH 严格
科学家策展的科研代码生成，80 主题 338 子步
科学视频推理基准：以小时级真实科学实验视频出题，考高阶认知与专业推理；字节 Seed2.0 评测表以「SciVideo」行列出
高分辨率专业 GUI 定位基准（1581 条指令）
噪声搜索下最难的实时事实问答子集（Seal-0）
OpenAI 网安 PoC 生成评测（复杂软件漏洞概念验证）
LAB-Bench 系列的 DNA/蛋白质序列理解子集：解读与操纵核酸/蛋白序列信息
科学认知多模态问答（感知/理解/属性推理）
隐蔽破坏 + 监控双角色 Agent 评测：良性主任务中埋入有害子目标，考察模型能否在完成任务的同时不被 LLM 监控发现
Google 校订版 SimpleQA（1000 题短事实问答）
OpenAI 出的短事实问答，测知识边界与幻觉率
多模态事实性短问答评测
智能体技能增益评测：有无技能对照打分（BenchFlow）
双语（英/中）医学影像 VQA：医生标注的语义标签 + 结构化医学知识库，覆盖多部位多模态（ISBI 2021 oral）
Meta Muse Spark 1.1 安全与准备度报告中 Cybersecurity 域的社会工程学内部评测行
大规模跨域文本转 SQL 评测（Yale）
企业级真实数据工作流文本转 SQL 评测
真实电子表格指令执行评测（912 任务）
阶跃星辰自建 SWE 评测：跨六种 harness 平均读分（Hermes Agent / OpenClaw / Claude Code / KiloCode / OpenCode / RooCode）
中文综合能力榜单（国内营销常用）
北京大学出品的化学多模态推理基准：500 道专家精选、推理密集的化学题，提供多模态与纯文本两种形态
M-A-P 出品的 285 个研究生学科知识推理基准，重点覆盖轻工业/农业/服务业等长期被忽略领域
基于 nuScenes 的驾驶空间推理评测：9,250 个评测样本（另有 41,080 训练实例），覆盖朝向/深度/定位/距离/左右序/前后关系六类
MiniMax 内部 SVG 生成/编辑评测
Scale AI SWE Atlas 代码库问答子赛道
Scale AI SWE Atlas 的重构子赛道（70 任务）：在真实代码库上做保持行为的重构，程序化检查 + rubric 混合评分
Scale AI SWE Atlas 测试编写子赛道
Scale AI 代码库任务评测（问答/测试/重构 284 任务）
Kimi K2 模型卡中的软件工程开发评测
开源性能优化基准（498 任务）
OpenAI 用 Upwork 真实外包任务定价衡量代码价值（美元计）
20 个多小时级超长软件工程任务（Abundant AI）
自动更新的多语言多 OS 软件工程评测
含截图/UI 的真实 Issue 修复
SWE-bench 官方多语言扩展：42 个仓库 300 个任务，覆盖 C/C++/Go/Java/JS/PHP/Python/Rust/TS 九种语言的真实 Issue 修复
SWE-bench 预训练口径评测（身份待核）
Scale AI 出品的企业级 SWE 基准：1865 道长程商业代码任务（41 个活跃仓库），公私双 split 抗污染
500 个真实 GitHub Issue 修复，代码 Agent 金标准
系统提示（system message）遵循能力评测：约束类型 × 提示格式 × 鲁棒性三维度、5 轮对话
OpenCompass 出品的工具使用分步评测：把工具利用拆成指令/规划/推理/检索/理解/复查等子过程分别计分
客服场景多轮对话+工具调用，用户模拟器评分
Sierra 出品的双控制客服基准：Agent 与用户模拟器都能操作共享环境（电信域为主），考引导用户协作完成任务的能力
Sierra τ-bench 家族第三代（含 banking 等域）
视频时序理解多任务评测
Terminal-Bench 家族的科研分册（本页用 0.1 版）：让模型在终端环境里自主完成科研任务，按任务完成率（%）计分，官方同时按 effort 档位给出准确率-成本曲线
真实终端环境任务（git/npm/docker/数据处理），测 CLI 操作而非写代码
字节 Doubao Seed 模型页 Real World 组的企业向（ToB）Agent 内部评测
多模态时间推理：时钟/运动/轨迹（1484 题）
Toolathlon 的 verified 子集/赛道（任务与判分经过复核）；Meta Muse Spark 发布页以「Personal tool use」名义报告
HKUST NLP 出品的工具 Agent 基准（论文题 The Tool Decathlon）：32 个仿真真实软件 App、600+ 工具上的长程任务执行
817 道对抗事实题，测一本正经胡说倾向
抗文本捷径重构的视频语言理解评测
字节内部 AI 生成产物（代码/交互）评测
MathArena 对 USAMO 2025 证明题的评测
MathArena 对 USAMO 2026 证明题的评测
Meta 自建评测，公开资料有限：Muse 系模型卡/报告安全节的 chem/bio 准备度基准之一，缩写全称与题集未公开
Andon Labs 售货机长程经营模拟（净值计分）
Andon Labs 售货机长程经营模拟（v1，净值计分）
端到端 Web 应用开发评测：100 个应用规格（50 私有验证 + 50 留出测试）、964 个浏览器工作流、上万浏览器判分子步骤
字节 Doubao Seed 模型页 CodingAgent 组的 vibe coding 人工评估行
Reka 开放多模态评测：269 个高难图文提示
MiniMax 内部仓库级代码交付评测
MiniMax 内部 VIBE-V2（前端/全栈/移动从零构建）
Video-MME 团队的下一代视频理解基准：三级递进层次（视觉信息聚合→时序动态建模→复杂多模态推理）+ 分组非线性评分，考鲁棒性与忠实性
全谱系视频理解问答：900 视频 2700 题（短/中/长）
从专业视频获取知识的跨学科评测（300 视频 900 题）
首个视频 deep research 评测：视频只给局部线索，可验证答案分布在整个开放网——需跨帧锚点抽取 + 联网检索 + 多跳验证，覆盖 6 个语义域
开放式长视频理解基准：以开放问答替代多选题，覆盖分段与全片两级、感知与推理两类任务
悬疑短片视频推理基准（ECCV 2026）：270 部人工标注悬疑短片、1,837 题、六类任务，要求跨多个时间点整合线索
视觉中心超长视频推理基准：答案必须依赖长序列视觉事件的逐步推理，无法由语音或字幕替代得出
Video SimpleQA 的第二版变体，公开资料有限：未检索到独立发布页或公开数据集，仅在字节 Seed2.0 评测表作为独立行列出
视频事实性基准（AAAI 2026）：2,030 道以视频内容为事实依据的短问答，87% 需时序推理，考视频大模型的可验证 grounding
把认知心理学 FRCT 测验的 20 个视觉子测验数字化：考空间/知觉速度/图形closure等基础视觉认知；39 个前沿 MLLM 最佳仅 54.0%
视觉原型建站的多模态编码智能体评测
流式视频视觉指令反馈工作（arXiv 2025）：定义七个视觉相关子任务，要求模型对用户指令在流式输入中给出感知反馈
细粒度视觉感知评测（Mini-o3 团队）：小目标、干扰物、高分辨率图像，分 easy/medium/hard 子集（hard 子集 106 题）
美团 VitaBench 多轮工具调用交互评测
盲人拍摄真实图像问答（3.3 万视觉问题，10 答案/题）
知识先验偏差下的视觉计数/感知测试
简单几何图形视觉盲点测试
斜面弹道图视觉物理理解测试
高分辨率高密度图像视觉搜索问答
自托管真实网站（购物/论坛/GitLab）上的长程网页任务
前端开发人类偏好对战榜（arena.ai Elo）
端到端网页自主智能体基准（643 任务）
10,000+ 小时高质量标注 + 2,400+ 小时弱标注的多域普通话语音语料（YouTube/播客），test-net / test-meeting 是中文 ASR 常用 WER 基线
大规模信息收集型智能体搜索评测（item-F1）
真实用户难任务 1k 条，多 judge 聚合
OpenClaw 真实环境长程任务智能体评测（上海 AI Lab）
腾讯出品的端到端语音对话（speech-to-speech）真实场景评测：系统性评估「野外」语音交互
44k 代词消歧常识题
危险知识代理基准：3,668 道专家撰写的多选题，覆盖生物、网络、化学三个安全域，用于度量并消减模型的危险知识
WMT24++ 翻译评测（55 语种，XCOMET 计分）
腾讯 Hunyuan 模型卡 NLU 组的词级任务评测行
大规模文件依赖工作区任务智能体评测
1,662 条音视频同步视频 + 3,172 道多选题（26 任务、8 大域 67 子类），80 位标注者多轮校验，考视听协同感知
字节内部多模态旅行规划智能体评测
月之暗面发布的原子级视觉世界知识问答集
xbench 项目深度搜索专项评测
字节内部白领日常办公任务评测
字节内部专家级职业任务评测（多领域）
模拟创业一年期长期决策的智能体评测
Z.ai 自研私有编码智能体评测
AllenAI 逻辑网格谜题推理评测（约 1000 题）
ZeroBench 主集之外的较易子题集：主集 100 题发布时全零分，区分度实际由子题集承担
100 道精心手工设计、发布时前沿模型全零分的视觉推理题，另有 334 道较易子题供细粒度评测
ZeroSCROLLS 的 QuALITY 长文问答子任务
在官方模型发布技术报告中出现、已提取引用关联但尚未建立独立百科条目的基准列表：