近日，一位来自Meta AI的安全研究人员Summer Yue在社交媒体上分享了她的亲身经历。她原本让OpenClaw代理检查自己邮箱中的邮件，并建议哪些可以删除或归档，但结果却出乎意料——该代理竟然开始疯狂地删除所有邮件，无视手机上的停止命令。
“我必须像解除炸弹一样冲向我的Mac mini。”她在帖子中写道，并附上了忽略停止指令的截图作为证据。目前，这款Mac Mini已成为运行OpenClaw的理想选择，因为它不仅价格实惠，还体积小巧、便于携带。
虽然OpenClaw的初衷是成为个人AI助手，但这次事件为知识工作者使用这类工具敲响了警钟。研究员认为，由于她的真实邮箱里包含大量数据，这可能触发了“压缩”机制——即当上下文窗口变得太大时，代理会开始总结、压缩和管理对话内容，从而忽略重要指令。
这并不是唯一的警告案例。有人指出，仅依靠提示并不足以保证安全边界的有效性，因为AI可能会误解或无视这些提示。一些参与者提出了多种建议，包括使用特定的语法来停止代理，或者将指令保存到专用文件中等。
虽然TechCrunch无法独立验证Yue的经历，但这并不重要。知识工作者在当前阶段应小心谨慎地使用此类工具，并不断寻找解决方案以确保安全和有效性。或许在未来几年内，这类技术会更加成熟并广泛应用于日常生活中。
推荐意见