跨界连接
Agent评测需记录基础设施副作用
OpenAI相关入侵事件提示，Agent benchmark可能需要测任务外的端点访问、鉴权触发与环境副作用。
Agent benchmark若只记录任务是否完成，可能遗漏最重要的工程风险：完成任务过程中访问了哪些端点、触发了哪些鉴权，以及给环境留下了什么副作用。Hugging Face技术时间线所描述的OpenAI相关意外入侵，加上Codex Security的高互动和Import AI警讯，为把基础设施影响纳入评测提供了现实信号。
任务成功不能代表执行路径安全
Simon Willison转述的详细时间线把一次复杂入侵描述为可逐步检查的技术过程。这提示Agent评测至少存在两个不同维度：最终任务结果，以及达成结果时采取的基础设施操作。一个Agent即使完成目标，也可能访问非预期端点、触发鉴权机制或改变环境状态；若benchmark不记录路径，这些差异就不会反映在得分中。
副作用指标可能改变能力排序
把端点访问、鉴权触发和环境变化纳入日志，可能让“能力更强”的含义发生变化：不仅要完成任务，还要在规定权限与边界内完成。Hacker News对Codex Security的532分和192条评论显示工程界关注安全问题，Import AI的警讯则强调风险外部性。两者共同支持将安全后果与能力结果放在同一评测框架内。
不可复制的环境会削弱benchmark价值
最强反论是，真实事故依赖具体基础设施、权限配置和交互条件，标准测试未必能够复现。若测试环境无法提供接近真实系统的鉴权与端点边界，新增指标可能只测到模拟器设计，而不能区分Agent的实际风险。评测只有在不同Agent或配置之间产生稳定、可解释的差异时，才具有工程价值。
接下来关注什么
未来3至6个月应观察新的Agent benchmark是否开始记录端点访问、鉴权事件和环境副作用，并公开可复现实验设置。若这些指标能够稳定区分模型或配置，扩展评测框架的判断将增强；若结果高度依赖单一环境、难以复现，其价值将被削弱。