一、榜单分数越来越像广告
同一个模型，在 A 榜单排第一，在 B 榜单排第七，两边都很自信。
原因不复杂：榜单题目、提示词模板、评分方式都能影响结果。谁组织评测，谁就有空间。
榜单分数变广告，这个过程有迹可循。
先是题库被公开，然后是题库被训练，最后是题库被背下来。
三步走完，分数还在涨，能力没变。这时候榜单唯一的作用是营销。
二、三个该看的东西
第一，题目公开不公开。公开题目可以被针对性训练，分数就不代表泛化能力。
第二，评测用的是零样本还是少样本。少样本会显著抬高分数，但实际使用中未必能带那么多示例。
第三，评分是人评还是模型评。模型评便宜，但会偏向某类表达风格。
题目来源决定参考价值。公开题库的分数，只能当趋势看。
评测方式决定误差。模型评模型，误差会叠加；人工评，成本高但可信。
失败样本最有信息量。不公布错题的榜单，建议直接跳过。
三、自己建一个小评测集
我给自己建了三十道题，覆盖日常最常用的场景：摘要、改写、抽取、推理、格式输出。
每题写清楚输入、期望输出、判定标准。判定标准要能二元判断，别写"是否通顺"这种。
这套题每季度更新一次，每次换掉表现得最好的五道，防止过拟合。
三个该看的东西，按重要性排：题目来源、评测方式、失败样本。
题目来源决定它考的是不是你要的东西。公开题库，参考价值会打折。
评测方式决定分数可信度。人工评、模型评、规则匹配，三种误差完全不同。
失败样本最有信息量。只公布总分、不公布错题的榜单，建议别看。
我自己的习惯是，先翻错题，再看总分。错题能告诉我它的边界在哪。
四、跑评测的三个规矩
一、同一天跑完所有模型。跨天跑，服务端版本可能变了。
二、同一套提示词。不改模板，只看模型差异。
三、记录失败原文。只看通过率，你不知道错在哪。
自建评测集的关键是「小而准」。五十条覆盖你的真实场景，比一万条通用题有用。
四类各二十条：常规问答、边界输入、多步推理、拒答。四类能把模型的性格测出来。
每换一个模型跑一遍，记分。半年下来，判断会比榜单准得多。
五、榜单还能怎么用
把它当"候选池"，不当结论。
榜单前二十里挑三四个，用你自己的题跑一遍，留下两个进实际项目。
这样既借了榜单的广度，又保住了自己的判断。
自己建小评测集，是这两年我觉得最值的一件事。
规模不用大，五十到一百条就够，关键是覆盖你真实会遇到的情形。
我分了四类：常规问答、边界输入、多步推理、拒答。四类各二十条。
每换一个模型，跑一遍，记分。半年下来，你对模型的判断会比看榜单准得多。
这套东西还有个副作用：写提示词的水平会明显提高，因为你知道它到底在哪错。
六、一句提醒
看到"全面超越"这种表述，先找它的评测设置。设置里藏着的，往往就是结论。
一句提醒：榜单可以当筛选，不能当结论。
筛掉明显不行的，剩下的靠自己的评测集排。
顺序反过来，你会花很多时间在追分，而不是在解决问题。
跑评测的三个规矩：同一提示词、同一温度、同一评分标准。
三条里最容易被破的是第三条。评分标准一变，前后数据就没法比。
所以评分标准要先写下来，写成人能看懂的细则，别留在脑子里。
再补一个观察：榜单的排名经常在一周内剧烈变化，而实际体验并没有变。
原因通常是题目更新或评测脚本改了。这种波动对使用者毫无意义，对刷榜者意义重大。
再补一句：榜单的分数要看你自己的题型。考数学的和写文案的，看同一个榜没意义。
找到你这个任务类型的专榜，比看总榜有用。
再补一句：评测要看「坏例子」。好例子都好，坏例子才分高低。
所以看测评文章，先翻它列出的失败案例。
只有好话的测评，参考价值有限。
再补一句：评测最好自己跑一遍。别人测的，是别人的环境。
同一句提示词，你跑出来可能完全不同。
自己跑十次，比看十篇测评有用。
延伸参考
术语这块，前端 Wiki 的条目写得克制，一个词配一句解释，查概念比看长文快。
留一句：榜单告诉你谁在跑，你的题告诉你谁能到终点。
