人工智能机器人平台被发现安全漏洞,后果可能会是灾难性的
2024-10-18 09:12:11AI云资讯151715
(AI云资讯消息)据宾夕法尼亚大学工程学院的研究人员称,他们发现了多个由人工智能控制的机器人平台的先前未被发现的安全漏洞。
电气与系统工程UPS基金会运输教授乔治·帕帕斯(George Pappas)表示,“我们的研究表明,目前将大型语言模型与现实世界结合起来并不足够安全。”
帕帕斯和他的团队开发了一种名为RoboPAIR的算法,这是第一个专门设计用于破解由LLM控制的机器人的算法。与现有针对聊天机器人的即时工程攻击不同,
RoboPAIR是专门为从LLM控制的机器人引发有害的物理行为而设计的,比如波士顿动力公司和TRI正在开发的双足机器人平台。
据报道,RoboPAIR在破解三个流行的机器人研究平台方面取得了100%的成功率:四足机器人平台Unitree Go2、四轮机器人平台Clearpath Robotics Jackal以及用于自动驾驶的Dolphins LLM模拟器。RoboPAIR算法仅用了几天时间就完全获得了对这些系统的访问权限,并开始绕过安全限制。一旦研究人员利用了这些平台,他们就可以诱导这些平台采取危险的行动,例如不减速闯红灯通过马路十字路口。
研究人员表示,“我们的研究结果首次表明,被破解的LLM的风险远不止于文本生成,鉴于破解的机器人在现实世界中完全有可能造成物理伤害。”
目前宾夕法尼亚大学的研究人员正在与平台开发人员合作,以加强系统防止被进一步的入侵,但他们担心说,这些安全问题具有系统性。
宾夕法尼亚大学的研究者维杰·库马尔(Vijay Kumar)表示:“我们的研究结果充分表明,采取安全第一的做法对于实现负责任的创新至关重要。在将具备人工智能的机器人投入现实世界使用之前,我们必须解决其固有的弱点。”
该项研究的第一作者亚历山大·罗比补充说:“实际上,对人工智能系统进行潜在威胁和漏洞的测试(即AI红队)是保护生成型人工智能系统的必要安全实践。因为一旦发现漏洞,就可以对这些系统进行测试甚至训练以修补这些漏洞。”
相关文章
- 智汇瓯江 智引未来:2025中国人工智能数字创新大会在温州成功举办
- 苹果人工智能服务器芯片Baltra或将用于执行人工智能推理任务
- 人工智能数据处理和质量测评中心全栈服务体系正式发布
- 中国开发区协会人工智能产业专业委员会在京成立
- 中国信通院政策与经济研究所李强治:我国人工智能治理迈入务实新阶段,场景与工具同步落地
- 中国信通院产业与规划研究所张桢:人工智能与城市全域数字化转型融合,正成为推动城市高质量发展的核心引擎
- 中国信通院产业与规划研究所徐志发:人工智能驱动数字消费深度变革,“十五五”时期将进入壮大发展的关键阶段
- 中国信通院云计算与大数据研究所栗蔚:智能算力重塑计算和网络架构,普惠化服务人工智能
- 中国信通院信息化与工业化融合研究所刘默:人工智能技术创新赋能制造业智能化迈入新阶段
- 中国信通院人工智能研究所魏凯:人工智能正从工具升级为伙伴,全面赋能高质量发展
- 中国心理科技园开园暨中国心理人工智能算力中心在京成立 心理产业迈入2.0时代:“心理AI产教融合生态”
- 蘑菇云荣膺教育强国论坛2025年度科技创新教育品牌 以创新产品赋能人工智能通识教育
- 英伟达在AI图形处理器上部署训练OpenAI的GPT-5.2,为人工智能产业提速
- 2025 全国人工智能应用场景创新挑战赛AI Agent全球专项赛线下半决赛新闻发布会在深圳召开
- 美图公司RoboNeo入选2025人工智能年度榜单
- 贵港移动公司共建人工智能联合实验室,推动产学研融合与产业数字化









