0

微软提议将 AI 代理视为内部威胁 推出Guardian Agents 防护体系

微软发布新的安全提案,建议企业在部署 AI 代理时将其视为潜在的内部威胁。公司提出 Guardion Agents 防护体系,用于实时监控和管理拥有高权限的组织级 AI 代理行为。

内部威胁定位

微软认为,运行在企业内部的 AI 代理即使未被恶意操控也可能因不可预测的行为而成为风险源。这些被赋予大量特权的代理可访问敏感数据并自主执行关键决策,被称为”agentic insiders”(代理式内部人员)。

Guardion Agents 运作机制

微软推出的 Guardian Agents 能够实时监视其他代理的行为并在异常时介入。该项目基于 Project Perception 框架,通过多层级的传感器网络与信号聚合来识别企业中的各类 AI 代理。

三层防御架构

该系统从三个层面实施安全管理:首先是 Sensors/Signals/Actuators(传感器/信号/执行器),整合身份、数据、云端、终端、网络和运行时信号;其次是 Context(情境),动态计算代理行为的关联风险;最后是 Harness/agents/models,由蓝队和绿队组成监控小组实时响应风险升级。

模型透明度要求

微软呼吁 AI 提供商提升”模型透明度”,要求披露模型的思考过程和思维链标记。这一举措有助于安全防御者理解代理决策动机,验证其行为意图是否与任务目标一致。

企业安全建议

对于依赖高自由度 AI 代理做出关键决策的组织,微软建议重新评估现有系统并实施相应的安全防护措施。在大规模 AI 应用日益普及的背景下,主动预防优于事后补救。

via Neowin

0 评论
最旧
最新 最多投票
0
希望看到您的想法,请您发表评论x