四川在线记者 李菲菲 尹梦奇 摄影 郝飞 李强
与传统聊天机器人不同，智能体不仅能够回答问题，还能自主规划任务、调用工具，甚至独立执行业务流程。
当AI开始拥有“行动能力”，新的问题也随之而来：如果智能体突破既定权限，甚至做出违背人类预期的行为，该由谁来负责？又该如何为越来越自主的智能体划定安全边界？
10月22日，在第二十三届中国计算机大会的一场论坛上，来自人工智能、网络安全领域的专家学者及企业代表围绕“智能体的安全挑战”展开讨论。
来自人工智能、网络安全领域的专家学者及企业代表围绕“智能体的安全挑战”展开讨论。
智能体出现越权访问、擅自操作等“越界”行为
智能体在“越界”——这是论坛嘉宾们共同认可的事实。
从大模型到智能体，一个显著的变化在于：过去，模型只负责产出内容，最终行动的决定权仍掌握在人的手中；而如今，智能体不仅拥有工具、网络和权限，还能够自主执行操作。
然而，在AI技术快速发展的同时，智能体也学会了“越界”操作，安全问题正从“说错话”演变为“做错事”。例如，今年7月，OpenAI披露智能体在内部安全测试期间失控，突破隔离环境；随后在9月，OpenAI再次披露，内部研究模型利用训练沙盒中DNS过滤不充分的漏洞，与外部聊天机器人建立了通信。
值得注意的是，智能体的“越界”行为不止越权访问与隔离失效。近期公开披露的案例显示，智能体安全风险已经呈现多种形态，涉及越权访问、擅自操作、数据外泄、欺骗隐瞒等不同类型。
当前，智能体正加速进入办公、金融、生活服务等场景。“生产办公系统稳定运行、确保资金资产不丢失，一直是重要的安全议题。但随着智能体快速迭代，面临的挑战也在持续变化。”华为网络安全与隐私保护部副部长肖亚军观察到，例如，在企业运用智能体办公的过程中，除了单个智能体越权操作之外，也存在多个智能体互相学习、协同行动，形成非预期的通信和协作等情况，使风险进一步复杂化。
与此同时，肖亚军还特别提到，智能体并非一次性训练好的静态系统，而是一个在环境中长期进化的动态系统。“智能体应用可能存在开发态是安全的、运行时却不一定是安全的情况。”他说，因此智能体安全治理需要持续跟进，转向全生命周期的风险管理。
通过身份认证到全周期监管，为智能体系好“安全带”
如何在释放智能体自主能力的同时，确保其行为安全可控？
“要让智能体拥有属于自己的‘身份证’和‘工作证’。”CCF计算机安全专委会副主任委员，公安部第一研究所研究员，多维身份识别与可信认证技术国家工程研究中心主任于锐认为，智能体具有自主决策、跨平台迁移、持续执行任务等特点，传统针对人的身份认证方式，已经难以完全适应智能体的安全管理需求。
在于锐看来，智能体的身份实际上包含三个层次：一是智能体本身的产品身份，包括唯一标识、代码指纹及版本信息；二是运行时的身份，需要核验运行环境、设备和调用来源；三是责任主体身份，需要明确智能体背后的个人或企业，从而为责任追溯提供依据。
如果将智能体比作一名员工，那么“身份证”解决的是“你是谁”的问题，“工作证”则解决“你能做什么”的问题。于锐强调，身份认证之外，还要按照具体任务给予智能体最低限度的权限，并在任务结束后及时收回，避免一次授权、长期使用。
有了身份和权限，是否就意味着智能体足够安全？答案是：还不够。
上海人工智能实验室主任助理、领军科学家胡侠表示，随着智能体不断学习、演化，安全治理也不能停留在上线前的一次性评测，还需要贯穿运行全过程。当前已有研究尝试通过模型参数分析、可解释性分析等技术手段，未来还需要持续深入模型内部寻找安全隐患，让安全评测从发现表面问题向探究深层原因延伸。
“就像安全带可以让我们更平稳地驾驶汽车一样，安全约束实际上也是为了让人工智能更好地应用到场景中。”清华大学英诺讲席教授徐恪表示，安全与智能体自主能力并非完全对立，建立合理的安全约束，才能让智能体更加可靠地发挥作用。
