人工智能机器人平台被发现安全漏洞,后果可能会是灾难性的
2024/10/18 09:12AI云资讯162069

(AI云资讯消息)据宾夕法尼亚大学工程学院的研究人员称,他们发现了多个由人工智能控制的机器人平台的先前未被发现的安全漏洞。
电气与系统工程UPS基金会运输教授乔治·帕帕斯(George Pappas)表示,“我们的研究表明,目前将大型语言模型与现实世界结合起来并不足够安全。”
帕帕斯和他的团队开发了一种名为RoboPAIR的算法,这是第一个专门设计用于破解由LLM控制的机器人的算法。与现有针对聊天机器人的即时工程攻击不同,
RoboPAIR是专门为从LLM控制的机器人引发有害的物理行为而设计的,比如波士顿动力公司和TRI正在开发的双足机器人平台。
据报道,RoboPAIR在破解三个流行的机器人研究平台方面取得了100%的成功率:四足机器人平台Unitree Go2、四轮机器人平台Clearpath Robotics Jackal以及用于自动驾驶的Dolphins LLM模拟器。RoboPAIR算法仅用了几天时间就完全获得了对这些系统的访问权限,并开始绕过安全限制。一旦研究人员利用了这些平台,他们就可以诱导这些平台采取危险的行动,例如不减速闯红灯通过马路十字路口。
研究人员表示,“我们的研究结果首次表明,被破解的LLM的风险远不止于文本生成,鉴于破解的机器人在现实世界中完全有可能造成物理伤害。”
目前宾夕法尼亚大学的研究人员正在与平台开发人员合作,以加强系统防止被进一步的入侵,但他们担心说,这些安全问题具有系统性。
宾夕法尼亚大学的研究者维杰·库马尔(Vijay Kumar)表示:“我们的研究结果充分表明,采取安全第一的做法对于实现负责任的创新至关重要。在将具备人工智能的机器人投入现实世界使用之前,我们必须解决其固有的弱点。”
该项研究的第一作者亚历山大·罗比补充说:“实际上,对人工智能系统进行潜在威胁和漏洞的测试(即AI红队)是保护生成型人工智能系统的必要安全实践。因为一旦发现漏洞,就可以对这些系统进行测试甚至训练以修补这些漏洞。”
相关文章
- 人工智能产业投资峰会举行 社邻AI创始人程一民荣获 “人工智能年度最佳创新“
- 第二十一届中博会在广州启幕 人工智能赋新能 中小企业共逐“专精特新”路
- 八方企业聚中博,人工智能启新篇
- 深化 “人工智能 +” 价值落地,用友领跑企业智能化下半场
- 塔猴科技正式加入重庆市人工智能学会,共筑AI内容商业新生态!
- 上海智位机器人助力青少年AI教育实践:40名中学生走进蘑菇云创客空间探索人工智能
- DNV 亮相 2026 AGIC 深圳国际通用人工智能产业博览会
- 热度不减|天宝于深圳人工智能展会现场高光不断,共探AI电源新机遇
- 人气爆棚!华秋亮相深圳国际人工智能展,用 “全链引擎“ 引爆 AI 硬件创新热潮
- 省级推荐!云工场科技入选2026年度江苏省人工智能重点服务商推荐目录
- 东软赋能「常州居民健康数据空间:重塑健康管理新模式」斩获 2026 IDC 中国人工智能创新奖
- 聚力AI创新,赋能千行百业!AI Show 2026杭州人工智能与机器人展将于9月9日启幕
- 华南理工大学校友会到访十方融海围绕人工智能产品探索与场景延展展开交流
- 高校英语教师人工智能应用能力现状及提升策略
- 数智龙江 智启新程|黑龙江省“人工智能+”赋能行业高质量发展峰会成功举办
- 北京知达客信息技术有限公司入选丰台区人工智能首批拟支持企业名单
AI企业
更多>>AI硬件
更多>>AI产业
更多>>AI技术
更多>>- 全球最强开源模型 Kimi K3 发布,参数规模 3 万亿,真的是强!
- 范式变革!东软发布AI原生软件工程白皮书,重构软件产业底层逻辑
- KAT-Coder-Pro V2.5正式发布:从“写代码”迈向“做工程”,Agentic能力全面升级
- 自变量机器人王昊:训练世界模型需付出“时间税”,解决模态对齐是当务之急
- 腾讯发布CodeBuddy Security,用AI Agent实现更高效的代码审计
- Twinkle x昇腾,率先实现Deepseek-V4系列模型高效训练
- 高德发布鸿蒙首个生成式 UI 开源框架 AGenUI,告别传统 UI 开发模式
- 发布即适配| 天数智芯全力支持腾讯混元Hy3 preview 开源落地,共推国内大模型产业普惠









