阿里云与Omdia联合发布AI安全报告,引领构建全新AI安全范式
2025-10-13 15:27:39AI云资讯1512
9月26日,在2025云栖大会「AI安全前沿攻防技术」分论坛上,阿里云和国际领先咨询机构Omdia联合发布报告《On the Radar: Alibaba Cloud champions holistic approach to AI safety and security》。报告系统介绍了AI安全威胁的现状,并提出全新AI安全框架。
报告显示,将安全与数据隐私视为采用AI主要障碍的企业比例,已从2023年的11%急剧上升至2024年的43%。
这一趋势正在促使行业构建更完善的AI防护体系。
推出全新AI安全范式
实现“全局可控与主动防御”
Omdia首席分析师苏廉节在论坛演讲时表示,企业在构建、部署与使用AI技术的过程中,安全威胁正呈现“纵向贯穿全链路,横向蔓延多场景”的复合演进趋势,AI系统需要全方位防护与覆盖。
为此报告提出了全新的AI安全范式,该框架通过打破基础设施、平台和应用之间的壁垒,构建统一的防护体系,覆盖从数据输入到模型输出的AI全生命周期,并可与现有云安全解决方案实现无缝集成,减少安全盲点,同时增强对复杂威胁的响应与防御能力,使企业从被动应对安全事件,转向主动掌控AI系统安全。
AI安全范式
该AI安全范式的核心在于AI驱动,使安全能力“跑在攻击前面”,具体体现为:
•自主响应:AI驱动的安全模型和自动响应机制简化不同安全产品的协调。面对提示注入或IP泄漏事件时,自动响应可将处置时间从数小时缩短至数分钟,无需人工干预。
•持续评估:企业通过系统化方法持续评估AI系统。红队智能体模拟真实攻击,对漏洞进行压力测试,及时发现潜在弱点。
•先发制人:AI安全系统在潜在威胁形成前识别风险,通过系统化评估从提示输入到模型决策及工具调用的完整操作序列,使组织在攻击者利用漏洞前进行检测与缓解。
该AI安全范式的另一核心是实现“全局可控”:
•跨环境管理:支持企业在公有云、私有云及混合环境中部署AI,实现跨环境的统一安全防护。
•端到端可视化:对AI系统从数据输入到模型输出的全链路进行监控,整合威胁情报、运营和云安全,实现对潜在攻击的实时检测与响应。
•态势感知:基于图分析关联碎片化AI系统中的数据,跨系统整合孤立警报,形成全面事件,更清晰掌握整体攻击面,减少业务中断。
2025「AI安全」全球挑战赛
核心洞察首次披露
基于阿里巴巴与阿里云联合举办的全球首个AI通用大模型安全攻防赛事——2025「AI安全」全球挑战赛的实战攻防成果,报告首次系统性披露了当前大模型在真实对抗场景中暴露出的关键风险与新兴攻击手法,这为AI安全框架的设计提供了重要参考。
赛事核心发现
赛道一「大模型安全攻防双向对抗赛」主要聚焦在大模型越狱攻击。比赛数据显示,70%以上的攻击样本采用“角色扮演”策略,30%利用“思维劫持”诱导模型忽略系统指令,20%以上通过“加密混淆”绕过检测,且选手倾向于使用组合策略而非单一方法。比赛首次观察到“无思考攻击”(nothink attack)这一新型攻击模式,即通过自然语言指令诱导混合推理模型关闭链式思维机制,从而绕过内置安全逻辑。测试结果表明,强化内部加固与外挂防护可显著提升模型的鲁棒性。
赛道二「模型应用线上环境漏洞赏金赛」则提示生成式AI与传统系统集成后引发的新风险不容小觑。AI深入业务领域后,可能会打破原来封闭的业务生态,从而引入新的攻击面,比如最近针对邮件智能体的攻击就是典型的大模型场景攻击。
赛道三「AI安全产品挑战赛」构建了企业应用最常见三个靶场环境(智能问答助手、代码开发助手、AI Agent平台),预埋当前最具代表性的AI风险问题,如提示词攻击、恶意代码执行与MCP供应链攻击等,设置不同AI安全产品,让选手层层闯关。比赛结果验证一个显性的结论,接入安全产品的场景,防御成功率显著更高;而没有接入的,明显更容易被攻破。
同时,有些攻击方式超出预期,比如“链式组合攻击”——提示词攻击绕过护栏,再利用工具污染调用非预期工具,最后结合业务逻辑漏洞完成攻击。这种复合攻击像“拼装炸弹”,每一环单独看风险都比较小,但叠加在一起就形成致命打击。这对AI安全产品防御最大的启发是:AI防御体系不能只看单点,而要从端到端的链路思维设计防护。
相关文章
- 阿里云 2025首届「AI安全」全球挑战赛完美收官,展现大模型安全攻防新高度
- 模型即服务,应用即未来:阿里云助力中小企业AI应用规模化落地
- 叫叫与阿里云达成全栈AI战略合作 让教育更“懂孩子”
- Zenlayer 亮相 2025 云栖大会,荣获阿里云首批云网络产品能力认证伙伴
- 在阿里云上,跑出中小企业AI应用规模化的“加速度”
- 亚信科技、阿里云达成“能力中心”合作,联办大模型论坛
- 德明利亮相阿里云栖大会,首秀企业级存储产品及解决方案
- 英特尔助力阿里云推出多款云实例与存储方案,共筑AI时代云端算力基石
- 方直科技与阿里云达成AI全栈战略合作, 开启儿童智能陪伴新征程
- BetterYeah AI联手阿里云推出电商行业AI Agent解决方案
- 汉数科技携手阿里云,打造 AI 大模型时代的高质量数据云
- 德勤、SAP、阿里云联手发布“智企三百计划“
- 值得买科技携“海纳”MCP Server亮相阿里云栖大会,驱动AI应用生态协同创新发展
- 阿里云发布全新AI员工“万小智”,赋能中小微企业开启智能经营时代
- 科技向善 AI兴实 | 中兴通讯亮相2025云栖大会 携手阿里云共建云生态
- 阿里云扩建全球基础设施,将新增巴西、法国和荷兰数据中心