情报简报：LLM智能体审稿 vs. 人类审稿——社区实证对比需求
TL;DR
这是一篇来自 r/MachineLearning 的讨论帖，作者以一线研究者的身份，向同时经历过顶会（NeurIPS/CVPR/ECCV）人工评审与斯坦福等机构推出的 LLM 智能体审稿系统的同行征集对比经验，核心诉求是获取两类评审体系在判断质量、反馈深度与结果一致性上的第一手实证数据。帖子本身尚未沉淀具体对比结论，但其提问框架本身就折射出社区对 AI 介入学术评审的普遍关切与观望情绪。
核心观点与技术细节
- 核心问题设定：作者明确将”人类审稿人”与”LLM 智能体审稿人”置于对立比较框架下，关注二者评审意见的差异度（how different），而非孰优孰劣的单向判断。
- 对象锚定：“斯坦福那种智能体审稿人”——指向斯坦福团队提出的 AgentReview 等基于多智能体协作的论文评审框架，此类系统通过模拟审稿人角色对论文进行多维度评估，已在小范围内被研究者用作投稿前的自检工具。
- 经验驱动的方法论：帖子以 [D]（讨论）标签发布，采用”邀请制”经验收集策略，而非技术方案探讨，说明作者认为现有基准测试（如静态数据集）不足以评估 LLM 审稿系统的真实表现，需要真实投稿场景下的交叉验证。
- 双轨投稿策略的兴起：帖子隐含地确认了一个正在扩散的工作流——研究者同时将论文提交给人类会议评审和 LLM 审稿工具，形成”双轨反馈”机制，这本身是学术出版流程中前所未有的现象。
核心痛点
- 评审可信度危机：顶会人工评审素以随机性高、质量参差著称（社区常调侃”reviewer 2”现象），研究者期望 LLM 审稿能提供更稳定、可复现的反馈，但 LLM 是否只是”另一种随机性”仍是未知数。
- 反馈的可操作性落差：人类审稿人往往能捕捉领域内的隐性惯例和实验设计漏洞，而 LLM 审稿容易流于表面或产生幻觉性批评；反之，LLM 的细致程度又可能暴露人类审稿的疏漏——两套体系的误差来源截然不同，研究者难以取舍。
- 评判标准的系统性缺失：截至该帖发出时，社区尚无公认的评估框架来衡量”LLM 审稿质量”，因为其参照系（人类审稿）本身就不稳定，导致任何对比结论都缺乏统计效力。
- 流程性焦虑：随着 LLM 审稿工具渗透投稿前自查环节，研究者面临新的不确定性——若 LLM 意见与人类审稿人冲突，应信谁？若顶会未来引入 AI 辅助评审，当前的经验积累是否还有价值？这本质上是学术权力结构正在被技术重塑所带来的身份焦虑。