Llama 等 17 个模型中类脑注意力头与因果重要性排序几乎无关

阿姆斯特丹与普林斯顿研究者用同一套抽象推理任务对比 17 个模型的注意力头，按“脑相似度”和“因果重要性”排序后删除，发现两种排序几乎无关。在主模型 Llama 中删除少量因果重要头就让准确率从约七成跌到低于猜的水平，而删除最像人脑的头与随机删除接近。研究还发现重复头和 novelty 头两类注意习惯，但无法区分人与模型是被“异常词”还是“答案词”吸引。