斯坦福研究：给 AI 打分的基准测试可能测错了东西

斯坦福研究人员用测量科学与心理测量学方法检验 56 个常用 AI 基准测试，发现这些测试并不总能测出它们声称的能力，且声称测量同一属性的基准之间经常互相矛盾。研究以 BBQ 偏见测试举例，指出该测试实际更接近阅读理解而非偏见测量；另一项研究显示，多数安全基准以英文编写，翻译成西班牙语或斯瓦希里语后模型防护可能变弱、测试本身也可能失真。相关论文已发布在 arXiv。