LLaMA-65B

Meta / Llama · 2023-02-24 · 类别未确认

Meta 开源大模型奠基之作，证明了在海量 token（1.4T）上充分预训练的 65B 模型可以在 MMLU（63.4%）、GSM8K（50.9%）等诸多任务上媲美甚至战胜 175B 的 GPT-3，开启了全球开源大模型繁荣时代。

mmlu 63.4% 模型 llama-65b · 版本未说明 · 指标 accuracy · 单位 % 来源等级 A · vendor_reported · 核对日期 2026-09-12 · 距快照 22 天

归一化读数：不计算；样本及方差不完整，无法计算置信区间。

原文位置与完整协议

未提供原文定位

{
  "harness": "5-shot"
}

论文 Table 6 65B 模型得分

gsm8k 50.9% 模型 llama-65b · 版本未说明 · 指标 accuracy · 单位 % 来源等级 A · vendor_reported · 核对日期 2026-09-12 · 距快照 22 天

归一化读数：不计算；样本及方差不完整，无法计算置信区间。

原文位置与完整协议

未提供原文定位

{
  "harness": "8-shot"
}

论文 Table 8 65B 模型得分

humaneval 23.7% 模型 llama-65b · 版本未说明 · 指标 pass@1 · 单位 % 来源等级 A · vendor_reported · 核对日期 2026-09-12 · 距快照 22 天

归一化读数：不计算；样本及方差不完整，无法计算置信区间。

原文位置与完整协议

未提供原文定位

{
  "harness": "0-shot"
}

论文 Table 9 65B 模型得分

arc-challenge 78.9% 模型 llama-65b · 版本未说明 · 指标 accuracy · 单位 % 来源等级 A · vendor_reported · 核对日期 2026-09-12 · 距快照 22 天

归一化读数：不计算；样本及方差不完整，无法计算置信区间。

原文位置与完整协议

未提供原文定位

{
  "harness": "25-shot"
}

论文 Table 3 65B 模型得分

hellaswag 84.2% 模型 llama-65b · 版本未说明 · 指标 accuracy · 单位 % 来源等级 A · vendor_reported · 核对日期 2026-09-12 · 距快照 22 天

归一化读数：不计算；样本及方差不完整，无法计算置信区间。

原文位置与完整协议

未提供原文定位

{
  "harness": "10-shot"
}

论文 Table 3 65B 模型得分