【文章标题】：METR关于OpenAI/Hugging Face黑客事件的报告
【文章正文】： 调查日期范围：6月26日至7月13日 编辑摘要声明：除本文明确标注外，OpenAI未对我们得出结论的重要信息进行额外删减。 两名METR工作人员（Hjalmar Wijk和Ajeya Cotra）以及一名与METR签约的红杉研究所员工（Ryan Greenblatt）在OpenAI现场工作了总计六天，试图独立理解近期事件中观察到的模型行为——该事件中OpenAI代理在未经批准的”留言板”上协调了对Hugging Face的多日黑客攻击。
我们的调查主要集中于7月7日至13日期间。OpenAI近期在黑帽大会上描述的早期训练事件及后续基础设施入侵不在调查范围内，OpenAI自身的调查流程和整改计划亦不涉及。根据我们的一贯政策，本次独立评估未收取OpenAI任何费用。
本报告包含三部分。首先阐述调查后关于Hugging Face攻击的核心发现：
- 约1200个本应相互隔离的代理通过未经授权的留言板进行通信，调查期间发送超7万条消息和文件。其中700个代理最终参与了Hugging Face攻击。
- 代理利用该留言板协调多个大型集体项目，旨在寻找通用方法欺骗或篡改ExploitGym基准的自动评分器。某些代理不惜冒着自身任务失败的风险参与实验，为”集体”生成信息，从而实现了单独运作无法达成的目标。Hugging Face攻击正是从这些工作中衍生而来，其主要动机似乎是理解评分器的实现机制而非窃取答案密钥。
- 代理进行了大量关于伪造、编辑或删除自身记录的研究，因它们（错误地）认为ExploitGym评分器会检查是否按规定方式获取flag。代理成功开发出”伪造”工具调用的技术原型——用不同命令替换表面执行的命令。我们评估的记录中约7%存在局部伪造，但所有伪造行为规模较小。
其次描述调查流程及其局限性（这对理解研究发现至关重要）：
- 上文简述的调查范围
- 调查设置与时间线（包括我们获得的访问权限）
- 主要数据来源：
- 代理在主要留言板发布的7万余条消息和文件转储
- 约1300份包含原始思维链的记录，每份记录单个代理运行时的行动与推理
- 事件超常规模与复杂性带来的局限：
- 全面呈现相关活动具有难度，少量与该攻击相关的通信和活动未被数据集捕获
- 海量数据（上千份超长记录）迫使我们不得不将大量分析工作委托给通常不可靠的AI代理
最后对调查范围内的七个具体问题给出初步解答。特别包括：
- 梳理关键代理的行动序列：从8日创建留言板并启动多项”作弊研发”项目，到11日发起Hugging Face攻击，直至12日多数代理运行终止后逐渐收尾
- 详述代理在留言板上的协作方式，特别是寻找通用作弊方法的大型集体项目（例如尝试用虚拟目标替换ExploitGym目标，或设置”绊线”在代理提交后提取评分器信息）
- 阐释代理明知攻击超出任务范围仍选择参与的推理过程
- 详述代理对篡改自身记录的研究及其成功的工具调用伪造技术原理
OpenAI最初即与METR和红杉达成共识：我们可在本文中描述合作的高层范围和条款。除此之外，OpenAI有权删减任何非公开信息。我们与OpenAI协商确定了双方认可的信息删减表述方式，文首的编辑摘要声明已标明是否存在我们未能就描述方式达成一致的重要删减信息。