梦晨发自凹非寺
量子位公众号 QbitAI
如果试题太简单，学霸和学渣都能考 90 分，拉不开差距……
随着 Claude 3、Llama 3 甚至之后 GPT-5 等更强模型发布，业界急需一款更难、更有区分度的基准测试。
大模型竞技场背后组织 LMSYS 推出下一代基准测试 Arena-Hard，引起广泛关注。
Llama 3 的两个指令微调版本实力到底如何，也有了最新参考。
与之前大家分数都相近的 MT Bench 相比，Arena-Hard 区分度从 22.6% 提升到 87.4%，孰强孰弱一目了然。
Arena-Hard 利用竞技场实时人类数据构建，与人类偏好一致率也高达 89.1%。
除了上面两个指标都达到 SOTA 之外，还有一个额外的好处：
实时更新的测试数据包含人类新想出的、AI 在训练阶段从未见过的提示词，减轻潜在的数据泄露。
并且新模型发布后，无需再等待一周左右时间让人类用户参与投票，只需花费 25 美元快速运行测试管线，即可得到结果。
有网友评价，使用真实用户提示词而不是高中考试来测试，真的很重要。
新基准测试如何运作？
简单来说，通过大模型竞技场 20 万个用户查询中，挑选 500 个高质量提示词作为测试集。
首先，挑选过程中确保多样性，也就是测试集应涵盖广泛的现实世界话题。
为了确保这一点，团队采用 BERTopic 中主题建模管道，首先使用 OpenAI 的嵌入模型（text-embedding-3-small）转换每个提示，使用 UMAP 降低维度，并使用基于层次结构的模型聚类算法(HDBSCAN)来识别聚类，最后使用 GPT-4-turbo 进行汇总。
同时确保入选的提示词具有高质量，有七个关键指标来衡量：
具体性：提示词是否要求特定的输出？ 领域知识：提示词是否涵盖一个或多个特定领域？ 复杂性：提示词是否有多层推理、组成部分或变量？ 解决问题：提示词是否直接让 AI 展示主动解决问题的能力？ 创造力：提示词是否涉及解决问题的一定程度的创造力？ 技术准确性：提示词是否要求响应具有技术准确性？ 实际应用：提示词是否与实际应用相关？
使用 GPT-3.5-Turbo 和 GPT-4-Turbo 对每个提示进行从 0 到 7 的注释，判断满足多少个条件。然后根据提示的平均得分给每个聚类评分。
高质量的问题通常与有挑战性的话题或任务相关，比如游戏开发或数学证明。
新基准测试准吗？
Arena-Hard 目前还有一个弱点：使用 GPT-4 做裁判更偏好自己的输出。官方也给出了相应提示。
可以看出，最新两个版本的 GPT-4 分数高过 Claude 3 Opus 一大截，但在人类投票分数中差距并没有那么明显。
其实关于这一点，最近已经有研究论证，前沿模型都会偏好自己的输出。
研究团队还发现，AI 天生就可以判断出一段文字是不是自己写的，经过微调后自我识别的能力还能增强，并且自我识别能力与自我偏好线性相关。
那么使用 Claude 3 来打分会使结果产生什么变化？LMSYS 也做了相关实验。
首先，Claude 系列的分数确实会提高。
但令人惊讶的是，它更喜欢几种开放模型如 Mixtral 和零一万物 Yi，甚至对 GPT-3.5 的评分都有明显提高。
总体而言，使用 Claude 3 打分的区分度和与人类结果的一致性都不如 GPT-4。
所以也有很多网友建议，使用多个大模型来综合打分。
除此之外，团队还做了更多消融实验来验证新基准测试的有效性。
比如在提示词中加入“让答案尽可能详尽”，平均输出长度更高，分数确实会提高。
但把提示词换成“喜欢闲聊”，平均输出长度也有提高，但分数提升就不明显。
此外在实验过程中还有很多有意思的发现。
比如 GPT-4 来打分非常严格，如果回答中有错误会狠狠扣分；而 Claude 3 即使识别出小错误也会宽大处理。
对于代码问题，Claude 3 倾向于提供简单结构、不依赖外部代码库，能帮助人类学习编程的答案；而 GPT-4-Turbo 更倾向最实用的答案，不管其教育价值如何。
另外即使设置温度为0，GPT-4-Turbo 也可能产生略有不同的判断。
从层次结构可视化的前 64 个聚类中也可以看出，大模型竞技场用户的提问质量和多样性确实是高。
这里面也许就有你的贡献。
Arena-Hard GitHub：
https://github.com/lm-sys/arena-hard
Arena-Hard HuggingFace：
https://huggingface.co/spaces/lmsys/arena-hard-browser
大模型竞技场：
参考链接：
