AI安全领域的挑战与机会点
author: 周均扬
date: 2026.07.24
观点判断
AI安全正在从单一的“模型安全”升级为覆盖数据、模型、软件、设备、人员、流程、组织和监管的系统工程。
可以分为三个层级：
- 模型级安全：鲁棒性、幻觉、偏差、越狱、对抗攻击、可解释性。
- 系统级安全：Agent权限、工具调用、数据泄露、模型供应链、运行监控、版本治理。
- 物理与功能安全：AI与机器人、AGV、车辆、医疗设备、工业控制系统结合后，是否会造成人身、设备和环境风险。
NIST AI RMF采用“Govern、Map、Measure、Manage”四个函数组织AI风险管理；ISO/IEC 42001把AI治理提升为组织级管理体系；ISO/IEC TR 5469则专门讨论AI与功能安全系统之间的关系。(NIST AI Resource Center)
1. AI安全面临的主要挑战
1. 模型能力快速提升，但行为仍然不稳定
2026年《国际AI安全报告》指出，通用AI在数学、编程和自主操作方面持续增强，但能力呈现明显的“锯齿性”：能够完成部分复杂任务，却仍可能在看似简单的任务上失败。也就是说，基准测试高分不等于现场可靠运行。(International AI Safety Report)
主要表现包括：
- 同一输入可能产生不同输出；
- 小幅环境变化导致结果突变；
- 复杂场景出现不可预测行为；
- 无法仅通过传统单元测试覆盖全部状态；
- 模型升级后可能出现能力回退。
对于工业系统，这意味着不能把“检测率95%”直接等同于“安全完整性95%”。
2. 概率型AI与确定性安全机制存在根本矛盾
传统功能安全强调：
- 明确输入与输出；
- 可重复验证；
- 确定性状态转换；
- 故障可检测；
- 系统进入已定义的安全状态；
- 需求、设计、测试和证据可追溯。
而AI模型具有：
- 概率性输出；
- 数据依赖；
- 难以穷举的内部状态；
- 分布外行为不确定；
- 模型更新可能改变行为边界。
因此，AI通常不适合未经隔离就直接承担急停、安全门联锁、高压断电等最终安全功能。ISO/IEC TR 5469把应用模式区分为“AI位于安全相关功能内部”“非AI安全功能保护AI控制设备”以及“AI辅助安全功能开发”等不同类型。(ISO)
3. 长尾场景与分布漂移难以覆盖
AI在实验数据集上表现良好，不代表在真实现场长期可靠。
典型问题包括：
- 光照、反射、粉尘、烟雾和遮挡变化；
- 人员服装、姿态、工具和行为变化；
- 设备改造、工位调整和产线换型；
- 传感器老化或安装位置偏移；
- 新车型、新物料、新机器人程序进入现场；
- 多个偶发因素组合形成从未见过的场景。
真正困难的不是正常工况检测，而是低概率、高损失事件的识别和处置。
4. 可解释性不能直接转化为安全证据
热力图、注意力图、自然语言解释通常只能说明模型“可能关注了什么”，并不能证明：
- 为什么触发了安全动作；
- 当前结果是否可信；
- 哪条安全规则生效；
- 模型是否处于适用范围内；
- 同样条件下是否能够重复；
- 模型错误是否会被独立安全机制捕获。
安全系统需要的是可审计证据链，而不只是可视化解释：Hazard → Safety Goal → Safety Requirement → Design Control → Test Case → Runtime Trace → Evidence → Residual Risk
ISO/IEC 42001要求组织建立AI政策、风险管理、数据治理、生命周期控制、监控和持续改进机制；ISO/IEC 42005进一步聚焦AI系统影响评估。(ISO)
5. Agent自主执行扩大了风险边界
传统AI通常输出分类、检测或预测结果；Agent则可能进一步：
- 调用数据库；
- 修改配置；
- 执行代码；
- 操作业务系统；
- 下发控制命令；
- 调用其他Agent；
- 长时间自主运行。
因此，风险从“错误答案”升级为“错误动作”。
关键挑战包括：
- 权限是否过大；
- 多步任务中是否逐渐偏离目标；
- 是否会被提示注入操纵；
- 是否能够识别高风险操作；
- 操作失败后能否回滚；
- 多Agent冲突由谁仲裁；
- 人员何时必须介入。
Agent安全的重点不是只让模型“更听话”，而是建立最小权限、动作审批、工具隔离、执行预算、状态检查、异常终止和可回滚机制。
6. AI扩大了网络安全和供应链攻击面
AI系统增加了新的攻击入口：
- 提示注入和间接提示注入；
- 训练数据投毒；
- 模型后门；
- 对抗样本；
- 模型文件篡改；
- 恶意插件和工具调用；
- 模型窃取；
- 敏感数据泄露；
- 第三方基础模型、数据集和推理服务依赖；
- 云端模型不可用或版本突然变化。
尤其是在OT环境中，IT网络、模型服务和工业控制网络之间必须建立严格边界，不能让通用Agent直接获得PLC、机器人或安全控制设备的无限制写权限。
7. 人机责任边界不清晰
“人在回路中”并不天然等于安全。
常见问题包括：
- 人员只是形式上确认，实际上无法判断；
- 告警过多导致告警疲劳；
- AI建议看起来专业，使人员产生自动化偏信；
- 操作员没有足够时间干预；
- 系统没有明确说明何时必须人工接管；
- 事故后无法判断责任属于模型、开发者、部署方还是使用者。
有效的人机协同必须定义：
- 哪些动作允许AI自动执行；
- 哪些动作需要单人确认；
- 哪些动作需要双人复核；
- 哪些动作禁止AI执行；
- 人员具备多长时间和哪些信息完成判断；
- 人员不响应时系统进入什么状态。
8. 法规、标准和工程实践尚未完全打通
AI治理正在从原则性要求转向可执行合规。
欧盟AI法案采用风险分级方法，并分阶段实施；多项透明度要求从2026年8月2日起适用，高风险AI的部分实施日期仍受到配套标准和简化立法进程影响。企业需要持续跟踪最终适用范围和时间表。(数字战略欧盟)
当前常用框架各自解决不同问题：
| 框架或标准 | 主要作用 |
|---|---|
| NIST AI RMF | AI风险识别、评估和管理方法 |
| ISO/IEC 42001 | 组织级AI管理体系 |
| ISO/IEC 23894 | AI风险管理指导 |
| ISO/IEC 42005 | AI系统影响评估 |
| ISO/IEC TR 5469 | AI与功能安全关系 |
| IEC 61508 | 通用功能安全 |
| ISO 13849 / IEC 62061 | 机械安全控制系统 |
| IEC 62443 | 工业控制系统网络安全 |
| EU AI Act | 风险分级与法律合规 |
真正困难的是把这些要求转化为软件需求、接口、测试、日志、审批、发布和运行时控制。
9. 安全、性能与成本之间存在持续矛盾
更严格的安全控制通常会带来：
- 推理延迟增加；
- 人工审核成本增加；
- 误报和停机次数增加；
- 开发周期延长；
- 测试数据量扩大；
- 算力与存储成本增加；
- 模型升级速度下降。
工业AI安全的核心优化目标不是单纯提高准确率，而是综合优化：
漏检风险 + 误停损失 + 响应时延 + 维护成本 + 合规成本 + 事故损失
2. AI安全领域的核心机会点
1. AI Assurance Platform：AI安全保障平台
未来企业需要的不只是模型管理平台，而是覆盖完整生命周期的AI保障平台。
核心能力包括：
- AI系统资产清单；
- 风险分级；
- ODD适用范围管理；
- 数据集和模型版本管理；
- 模型卡、数据卡和风险卡；
- 测试用例与评估结果管理；
- 红队测试；
- 偏差、漂移和性能监控；
- 发布审批和回滚；
- 事件报告；
- 合规映射；
- Safety Case证据管理。
其商业价值在于把AI治理从Word、Excel和人工审批，转化为平台化、机器可读、持续运行的工程能力。
2. Runtime Safety Supervisor：运行时安全监督器
这是工业AI、机器人和Agent系统中最具价值的技术方向之一。
安全监督器不依赖单个AI模型，而是独立执行：
- 输入有效性检查；
- 时间戳和数据新鲜度检查；
- 模型置信度检查；
- 多源一致性检查；
- ODD边界检查；
- 风险状态机；
- 命令权限控制；
- 冲突仲裁；
- 超时处理；
- 降级运行；
- Recovery Check；
- Safe State切换。
推荐架构为：
AI感知与预测层
↓
独立Safety Supervisor
↓
确定性规则与安全策略
↓
PLC / Safety PLC / 安全继电器
↓
减速 / 暂停 / 联锁 / 急停请求
原则是：AI提供增强信息，Safety Supervisor进行安全约束，固有安全回路承担最终保护。
3. 自动化V&V、数字孪生和故障注入
AI系统无法主要依赖静态测试集，需要建立持续验证能力：
- 场景化仿真；
- 合成数据；
- 边界条件生成；
- 对抗场景生成；
- Monte Carlo测试；
- Sensor-in-the-loop；
- Hardware-in-the-loop；
- Shadow Mode；
- 故障注入；
- 事故回放；
- 模型版本回归；
- 自动生成测试证据。
重点故障场景包括：
- 传感器数据中断；
- 数据延迟和乱序；
- PTP失步；
- 模型推理超时；
- PLC通信失败；
- 控制命令未确认；
- 多传感器结论冲突；
- 模型置信度突然下降；
- 设备状态与空间感知不一致。
这将形成“AI测试即安全证据生产”的新型工具链。
4. 3D空间安全与多模态融合
传统二维视觉主要回答“看到了什么”；工业空间安全还需要回答：
- 人在哪里；
- 与设备距离多远；
- 正在向哪里移动；
- 多长时间后可能发生冲突；
- 是否进入危险空间；
- 是否被遮挡；
- 当前检测结果是否具备足够几何可信度。
因此，3D ToF、立体视觉、激光雷达、AGV位置、Robot状态、PLC状态和环境传感器融合，将成为工业AI安全的重要增长点。
高价值应用包括：
- 人员—AGV碰撞预测；
- 人员—机器人动态安全区；
- 高压测试区联锁；
- 重载搬运风险监控；
- 危险区域电子围栏；
- 人员跌倒和滞留检测；
- 设备异常运动检测；
- 多工位统一空间建模。
5. 不确定性感知和主动降级
传统AI输出“人员/非人员”；安全AI还应输出：
- 预测结果；
- 置信度；
- 不确定度；
- 数据质量；
- 输入完整性；
- ODD匹配度；
- 当前模型版本；
- 是否允许参与安全决策。
系统不应把低置信度结果简单视为“没有风险”，而应根据不确定程度采取：
- 请求其他传感器确认；
- 降低设备速度；
- 扩大安全区；
- 转入Degraded状态；
- 要求人工确认；
- 暂停高风险动作。
因此，“知道自己不知道”将成为安全AI产品的核心竞争力。
6. Compliance-as-Code与机器可读证据链
法规和标准要求正在催生新的工程市场：
- 将法规条款映射到控制项；
- 将控制项映射到需求；
- 将需求映射到代码和配置；
- 将测试结果自动映射到证据；
- 发布时自动检查证据完整性；
- 运行事件自动更新风险记录；
- 自动生成审计包和合规报告。
典型对象可以统一为：
Requirement
Hazard
SafetyGoal
RiskControl
Model
Dataset
Configuration
TestCase
TestResult
Incident
Approval
Evidence
ResidualRisk
这将推动AI安全从“文档合规”转向“持续合规”。
7. AI安全Agent
Agent本身存在风险，但也可以用于提升安全运营效率。
适合的应用包括：
- 自动分析告警和运行日志；
- 汇总模型漂移情况；
- 检查版本组合一致性；
- 生成事故初步分析；
- 自动关联需求、测试和证据；
- 检查发布包是否缺少审批；
- 生成V&V测试场景；
- 辅助Hazard分析；
- 推荐但不直接执行高风险控制动作。
安全Agent应采用：
- 只读优先；
- 最小权限；
- 高风险动作人工审批；
- 工具白名单；
- 输入输出过滤；
- 完整操作Trace；
- 执行超时和预算；
- 沙箱运行；
- 可撤销和可回滚。
8. AI安全数据与行业Benchmark
通用数据集难以覆盖工业安全长尾场景，因此存在明显的数据资产机会：
- 工业人员行为数据；
- 人车混行数据；
- 机器人区域入侵数据；
- 高压区域安全数据；
- 遮挡、反光、粉尘和逆光数据；
- 传感器失效数据；
- 危险近失事件数据；
- 多设备时序状态数据；
- 故障和恢复过程数据。
真正高价值的不是普通检测数据，而是包含以下信息的场景数据：环境条件 + 人员行为 + 设备状态 + 空间关系 + 风险等级 + 控制动作 + 设备确认 + 最终结果。
9. 第三方AI安全评测与认证服务
随着AI进入制造、汽车、医疗、金融和基础设施，企业需要独立的：
- AI风险评估；
- 红队测试；
- 鲁棒性测试；
- 偏差测试；
- 模型安全评估；
- Agent权限审计；
- AI供应链审计；
- 数据治理审计；
- 功能安全影响分析；
- ISO/IEC 42001体系建设；
- EU AI Act准备度评估。
这将形成类似网络安全测评、功能安全咨询和质量认证的新服务市场。
3. 针对工业AI安全最值得优先投入的方向
结合工业空间安全、3D ToF、AGV、Robot、PLC和Safety OS，建议优先级如下。
P0：形成可证明的安全闭环
目标是做到：
- Raw数据可获取；
- 深度结果可解释；
- 时间戳可追溯；
- 标定参数可追溯；
- 风险判定可复现；
- 控制命令可确认；
- 现场事件可回放；
- 软件、配置和模型可回滚；
- 测试证据可归档。
重点建设：
- 统一数据契约；
- Safety Supervisor状态机；
- ODD及降级规则；
- 版本组合Manifest；
- 事件Trace与Evidence Manifest；
- 仿真、回放和故障注入工具。
P1：形成规模化验证能力
重点建设：
- 数字孪生场景库；
- 自动化V&V平台；
- 多传感器一致性验证；
- 3D空间安全算法；
- 模型漂移监控；
- 安全指标Dashboard；
- 标准条款—需求—测试—证据映射。
P2：形成平台和商业壁垒
重点建设：
- AI Safety OS；
- 跨工厂安全知识库；
- 行业安全数据集；
- AI安全Agent；
- 合规即代码平台；
- Safety Case自动生成；
- 第三方评测和认证工具链。
4. 具商业价值的产品组合
| 产品方向 | 客户价值 | 技术壁垒 |
|---|---|---|
| 工业AI Safety Supervisor | 防止AI错误直接转化为危险动作 | 状态机、降级、控制仲裁 |
| AI V&V平台 | 降低测试和认证成本 | 仿真、故障注入、证据自动化 |
| 3D空间安全系统 | 解决人车、人机和危险区风险 | 3D感知、多源融合、时空预测 |
| AI治理与模型管理平台 | 管理数据、模型、规则和审批 | 生命周期治理、版本组合 |
| Safety Case证据平台 | 支持客户验收、审计和认证 | 全链路追溯、机器可读证据 |
| AI安全Agent | 提高安全运营和事故分析效率 | 权限隔离、工具治理、审计 |
| AI安全评测服务 | 帮助企业应对法规和采购要求 | 标准理解、测试方法、行业Know-how |
5. 结论
AI安全领域最大的机会，不是再开发一个准确率更高的模型，而是建立一套能够回答以下问题的系统：
- AI在什么范围内可以使用？
- 当前输入是否可信？
- 模型结果是否允许参与决策？
- AI发生错误时谁能发现？
- 系统如何自动降级？
- 高风险动作由谁授权？
- 事故是否能够完整复现？
- 模型和配置是否能够回滚？
- 安全性是否有可审计证据？
对于工业场景，最有竞争力的定位不是“AI替代传统安全”，而是：以固有安全和确定性安全控制为基础，以AI增强空间感知、风险预测和安全运营，以Safety Supervisor实现隔离、仲裁、降级和恢复，以Safety Case形成可证明、可审计的安全闭环。