当AI从“聊天”走向“干活”,工业场景的智能体必须回答一个关键问题

发布时间 : 2026/05/18

从“AI助手”到“数字员工”,智能体正加速进入车间、产线和仓库。但一个根本性问题随之浮现:当智能体自主做出决策时,谁来为它的行为负责?

一、政策破冰:智能体迎来首部系统性治理规范

2026年5月8日,国家网信办、国家发展改革委、工信部联合印发《智能体规范应用与创新发展实施意见》。这是国家层面对“智能体”第一次做系统性治理铺底,标志着智能体正式告别“野蛮生长”,进入“有规可循”的监管周期。

《实施意见》首次对智能体作出明确定义:“具备自主感知、记忆、决策、交互与执行能力的智能系统”。这五个关键词精确对应当前智能体的核心技术要素,并以“智能系统”而非“软件”或“模型”来定性,为未来将具身智能机器人、自动驾驶系统等“软硬一体”形态纳入同一治理框架预留了接口。

在基本原则方面,文件确立了“安全可控、规范有序、创新驱动、应用牵引”四大方向,强调将智能体安全、可靠、可信作为发展的底线要求,贯穿技术研发、应用部署与推广的全过程。

二、核心关切:智能体的“责任归属”问题

这是政策的核心要点之一。

当AI从“聊天”走向“干活”,工业场景的智能体必须回答一个关键问题:它敢不敢为自己的行为负责?

《实施意见》明确提出了三种决策权限模式的划分:

  1. 仅限用户本人决策:必须由用户亲自完成的操作

  2. 需由用户授权决策:需要用户事先授权方可执行

  3. 智能体自主决策:在授权范围内可自主执行的操作

核心原则是:确保用户对智能体自主决策享有知情权和最终决策权,智能体执行操作不得超出用户授权范围。

这意味着,在智能体进入产线之前,企业必须厘清“哪些事AI可以自己定、哪些事必须人点头”。这也是目前智能体在工业场景从试点走向规模化的第一道门槛。

从国际经验来看,类似的责任界定问题在全球范围内都处于探索阶段。IBM在相关研究中指出,合规框架要求人类问责和记录推理过程,当AI智能体自主决策时,审计员仍然期望同样的文档记录——包括决策归属、决策理由追溯、以及明确的问责主体。

三、工业场景:智能体正从“工具”进化为“数字员工”

政策明确列出了19个典型应用场景,其中智能制造位居产业发展首位。

具体包括:研发生产管理智能体,动态优化生产排程、资源分配和工序衔接,推动智能体在工业互联网领域应用,提升企业精细化管理水平。

对制造企业而言,工业AI Agent不再是实验室里的技术demo,而是正在走入车间、产线、仓库的“数字员工”——它们能写代码、能配参数、能排产,甚至能自主决策。

但随之而来的安全风险也不容忽视。奇安信近期对某制造企业的AI安全评估显示,大模型系统整体安全性被判定为高风险,暴露出的问题包括:基础设施权限配置漏洞、知识库投毒风险、提示词注入攻击、模型越狱等AI原生安全问题。

四、安全底线:智能体的“行为管控”机制

在智能体大规模进入工业场景之前,企业必须构建有效的安全防护体系。这需要从三个层面入手:

  1. 输入验证层:建立指令白名单机制和语义合法性检查,防止恶意构造的提示词触发指令注入攻击

  2. 处理隔离层:采用沙箱环境限制模型访问权限,将智能体可操作范围从全厂区缩减至特定工段

  3. 输出审计层:部署决策日志追溯系统,确保每一次智能体行为都可追溯、可验证

五、智能体如何“安全上路”?

对于即将或已经引入工业智能体的制造企业,建议从以下四个方面做好准备:

1. 厘清权责边界
根据《实施意见》的要求,梳理企业内各场景的决策权限——哪些仅限人决策、哪些需人授权、哪些可AI自主,并在系统设计中固化。

2. 建立行为围栏
部署规则内嵌、行为管控等技术手段,确保智能体行为不越界;同时建立可追溯的决策日志系统,满足合规审计要求。

3. 强化供应链安全
对模型接入、API调用、扩展工具使用等环节加强安全管理,防止供应链漏洞成为攻击入口。

4. 参与行业自律
关注行业组织的自律规则和信用评价机制,主动参与合规自测和第三方评测,提升智能体的可信度。