Sakana AI的AI评审系统 73%核心主张错误可检出

73.43%——这是Sakana AI新推出的多层面评审系统（MLR）在核心主张错误上的检出率。对比测试里最好的基准系统只有14.81%，差了整整5倍。

MLR是啥？

它来自Sakana AI发表在TMLR上的论文《Beyond Imitation》，核心是给AI评审换了考核逻辑——不是看它写的评审像不像人类，而是看它能不能找到人为植入的错误。整个系统不用GPU，不用微调现成大模型，只靠Claude Sonnet 4和Haiku 3.5的API就能跑，每轮评审成本才0.47美元（可选的文献代理不算）。测试用的是专门做的「矛盾基准」：从ACL、AISTATS、CVPR、ICML2025、NeurIPS2024这5个 venues的257篇论文里，插了1164个分等级的矛盾，核心主张的错误是最严重的（属于距离0级）。

它为啥能抓这么多错？

核心两点，都是可复用的经验。一是设计，三个智能体分工明确：附录代理读论文附录里的实验和实现细节，可选的文献代理搜论文定位相关研究，最关键的评审代理用Keshav的三pass流程——先写整体大纲，再细查找弱点、假设和缺口，最后合并成完整的评审意见。这个设计单轮就能比其他系统多提25个百分点的核心错误检出率。二是模型选得对，测试里把Claude Sonnet 4换成GPT-4.1，核心错误检出率直接从14.56%升到35.4%，说明模型本身的能力影响很大。另外，它能直接处理PDF，图表和公式都能完整保留，不会像有些系统那样转文本就丢了关键信息。

对行业的实际意义

对做研究代理的开发者来说，教训很实在：系统设计和模型选择，对错误检出的影响都很大，不能只靠堆大模型。但也不能乐观太早：在真实撤回的论文上，它的精确匹配错误检出率只有16.11%，虽然比部分基准系统高，但远不如核心主张的检出率。更棘手的是，所有测试的AI评审都躲不开隐藏的提示注入——还是会被误导。还有，它和人类评审的关注点不一样：AI更看重实验有效性，人类更看重清晰度和创新性，作者说这是互补关系，不是替代。

目前看，这个系统的实际价值，在于给学术审稿加个「核心错误筛查」的辅助工具，不是要代替审稿人。

你觉得，未来的学术评审里，AI应该只做「挑错的工具」，还是能成为平等的评审成员？

素材来源：MarkTechPost · AI情报、大模型、科研前沿
查看报道原文