快速结论
先保存原始生成，再评分并核对覆盖完整性。AIME 与 GPQA 的多样本平均准确率仍用于估计 Pass@1，不能当作“采样中有一次正确”的 Pass@k。
- 官方脚本不自动下载评测数据。
- HLE 当前只支持 LLM judge，不接受 rule 模式。
- 模型能力分数和服务吞吐是不同指标。
本次更新：10 月 22 日核对来源后新增；原始消息日期、发布状态与适用范围在正文说明。
本教程依据 10 月 22 日的官方评测说明，用于规划复核流程，没有执行数据下载、模型推理或打分。
1. 生成与评分是两个阶段
官方流程先通过离线批处理生成并写入原始输出，再由评分阶段读取结果。更换 judge 或重新检查答案时，可以复用生成记录，无需每次重跑模型。保留模型提交、采样、数据与评分器版本，避免把多个配置的结果拼成一份成绩。
2. 多样本不等于最佳一次
文档默认 AIME 每题 32 个样本、GPQA Diamond 每题 8 个样本，使用多样本的平均准确率估计 Pass@1；HLE 每题一个样本。若改成“任一候选正确就算该题正确”，便是另一统计方式，不能沿用相同标签比较。
3. 数据与 judge 分别准备
脚本不负责下载数据。按上游权限与条款准备 JSONL，并核对字段、题目 ID、选项和图像输入。HLE 与 GPQA 部分源需要授权访问。
默认 LLM judge 需要单独模型服务，可能产生额外费用。AIME、GPQA 另有规则评分；HLE 的自由文本答案不能简单用精确匹配替代，当前脚本拒绝 HLE 的 rule 模式。
4. 看完分数，还要检查产物
| 文件或字段 | 核对重点 |
|---|---|
| meta.json | 完整运行配置 |
| raw_rank*.jsonl | 各 rank 的原始生成 |
| scored.jsonl | 逐次答案、提取结果与判定 |
| summary.json | 聚合指标与覆盖情况 |
| coverage_complete | 必须为 true，避免缺 rank 或缺样本仍报告完整分数 |
官方参考分数用于特定默认配置的合理性检查，不能写成本站独立复现结果。格式正确的输出也可能答错，需要查看失败样本和答案提取。
5. 能力评测与吞吐测量分开报告
准确率、总吞吐、首 Token 时间和单用户速度回答不同问题。对比服务时另记录硬件、负载、缓存、采样和并行设置；不能用一道评测分数推算在线 QPS。
参考资料
本文依据以下资料整理，版本与接口信息请以来源页面的现行说明为准。
阅读至此返回学习中心