腾讯云回应AI智能体越狱事件后,技术社区讨论了一阵子。事件的具体经过、时间线和官方表述,应以腾讯云官方公告或可靠媒体报道为准。本文更关心另一件事:越狱攻击通常怎么发生,搭建智能体的人应该在哪些环节设防。

越狱(jailbreak)指通过特定提示词,或者通过多轮对话慢慢引导,让模型或智能体绕开原有的安全规则,去做本来不允许做的事。这类手法并不新鲜。以前大家更多担心它说出不该说的话,现在智能体能调用工具、读写数据,问题的性质变了。
说错话和做错事,差别在哪里
普通对话模型出问题,多半是输出不当内容,影响一般停留在对话框里。智能体不一样,它可能查询订单、调用接口、执行代码。规则被绕过之后,后果是真实的操作,比如改了一条记录,或者导出了一批数据。这时候很难再靠“让模型别说错话”来兜底。
一个假设的场景
假设有一个企业客服智能体,接入了订单查询和退款接口。攻击者先装成公司内部人员,用几轮对话铺垫,让模型相信“测试模式”已经打开,然后要求批量查询别人的订单。问题出在哪里?如果权限判断只靠模型自己“想清楚”,而接口本身不做独立校验,越权就有机会发生。这个例子是为说明机制而构造的,不代表任何真实事件。
这个场景里,模型不是最后一道关。它被骗了,系统还是应该拦住。
3道防线分别守什么
- 输入识别:对进入智能体的内容做风险检测,重点看角色伪装、指令覆盖、“忽略之前的规则”这类常见句式。它能挡住一部分明显的尝试,但挡不住所有变体,所以不能单独依赖。
- 权限最小化:智能体只拿完成当前任务必需的权限。比如只做订单查询,就不要给它批量导出的能力。敏感操作在接口层单独鉴权,校验用户身份和数据归属,不要把判断交给模型。
- 行为审计与复核:完整记录工具调用链路,包括谁发起、调用了什么、参数是什么。对批量查询、资金变动这类高风险动作设置阈值,超过就暂停,等人工确认。
三道防线里,权限最小化通常是改动成本和效果比最划算的一道。模型的判断可能被话术带偏,接口的权限校验不会因为一段对话而改变结果。
上线前可以先查什么
如果你正在做或刚上线一个智能体,可以先停下来查几件具体的事。第一,列出它能调用的每一个工具,问自己:如果这个工具被滥用,最坏会发生什么。第二,看看哪些接口只靠模型传来的参数判断身份,身份应当从会话的登录状态里取,而不是从对话内容里取。第三,给高风险操作设一个上限,例如单次查询条数、单日退款金额,超过就转人工。
审计日志也要能用。出了问题时,你需要能回答三个问题:这次调用是谁触发的,模型当时传了什么参数,接口最后返回了什么。如果这三个问题查不清,前面的防线就没法复盘,下一次也很难改进。这些改动不复杂,但通常比换一个更强的模型更有效。
结语
智能体越狱事件提醒的是,智能体能做的事情越多,边界越要在设计阶段就定下来。不管用哪家云服务,安全责任最后都落在自己的权限配置、审计记录和操作流程上。模型可能被误导,这件事应当作为前提来设计。