Terminal-Bench-Science Evaluating AI agents on scientific re_简报

精华简报：Terminal-Bench-Science - 科研AI智能体评估新基准

TL;DR

斯坦福大学团队推出首个由科学家主导的AI科研能力评估基准Terminal-Bench-Science，通过70项跨学科真实科研任务（解决率最高仅30%）建立科学需求与AI发展的闭环，旨在推动AI成为真正实用的科研助手。

核心洞察

1. 评估范式革新

   • 首创”科学家定义标准”模式（vs传统由模型开发者主导），通过GitHub/Discord开放协作收集920份提案，严选70项真实科研工作流
   • 覆盖生命科学/物理/地球科学/数学/工程六大领域，包含逆向问题求解、传感器校准等高难度任务

2. 技术评估体系

   • 三维评价标准：
     ✓ 真实性（一线科研人员贡献的实际工作流）
     ✓ 可验证性（可复现的专项测试+具体产出评分）
     ✓ 动态进化（定期更新机制保持与AI前沿同步）
   • Claude Opus 5当前领先但仅30%解决率，反映现有AI科研能力天花板

3. 商业逻辑突破

   • 构建”科学需求→AI开发”的正向循环，可能重塑AI科研产品开发路径
   • 开源协作模式降低领域专家参与门槛，形成跨机构生态网络

行业影响

🔬 对科研社区

• 提供量化工具识别AI可替代的科研环节（如数据清洗/基础模拟），优化人力分配
• 可能催生”科研工作流拆解”新研究方向，促进研究方法论革新

🤖 对AI行业

• 暴露当前大模型在复杂科研场景的局限性（如专业符号推理/仪器交互）
• 推动多模态AI+科学计算（SciML）的融合创新，打开B端科研市场

🔄 评估体系演进

• 示范了”动态基准”新范式，可能影响NLP/机器人等领域的评估标准设计
• 开源协作+领域专家驱动的模式可复制到医疗/法律等专业领域