人工智能机器人平台被发现安全漏洞,后果可能会是灾难性的
2024-10-18 09:12:11AI云资讯151906

(AI云资讯消息)据宾夕法尼亚大学工程学院的研究人员称,他们发现了多个由人工智能控制的机器人平台的先前未被发现的安全漏洞。
电气与系统工程UPS基金会运输教授乔治·帕帕斯(George Pappas)表示,“我们的研究表明,目前将大型语言模型与现实世界结合起来并不足够安全。”
帕帕斯和他的团队开发了一种名为RoboPAIR的算法,这是第一个专门设计用于破解由LLM控制的机器人的算法。与现有针对聊天机器人的即时工程攻击不同,
RoboPAIR是专门为从LLM控制的机器人引发有害的物理行为而设计的,比如波士顿动力公司和TRI正在开发的双足机器人平台。
据报道,RoboPAIR在破解三个流行的机器人研究平台方面取得了100%的成功率:四足机器人平台Unitree Go2、四轮机器人平台Clearpath Robotics Jackal以及用于自动驾驶的Dolphins LLM模拟器。RoboPAIR算法仅用了几天时间就完全获得了对这些系统的访问权限,并开始绕过安全限制。一旦研究人员利用了这些平台,他们就可以诱导这些平台采取危险的行动,例如不减速闯红灯通过马路十字路口。
研究人员表示,“我们的研究结果首次表明,被破解的LLM的风险远不止于文本生成,鉴于破解的机器人在现实世界中完全有可能造成物理伤害。”
目前宾夕法尼亚大学的研究人员正在与平台开发人员合作,以加强系统防止被进一步的入侵,但他们担心说,这些安全问题具有系统性。
宾夕法尼亚大学的研究者维杰·库马尔(Vijay Kumar)表示:“我们的研究结果充分表明,采取安全第一的做法对于实现负责任的创新至关重要。在将具备人工智能的机器人投入现实世界使用之前,我们必须解决其固有的弱点。”
该项研究的第一作者亚历山大·罗比补充说:“实际上,对人工智能系统进行潜在威胁和漏洞的测试(即AI红队)是保护生成型人工智能系统的必要安全实践。因为一旦发现漏洞,就可以对这些系统进行测试甚至训练以修补这些漏洞。”
相关文章
- 人工智能终端迎来“国家标尺” 联想以规模化产品实践助力标准编制
- SpaceX拟在得克萨斯州建设人工智能芯片工厂,总耗资达1190亿美元
- 微软放弃Xbox Copilot人工智能
- 人工智能助力新型工业化 第九届数字中国建设峰会工业智能产业生态大会成功举办
- 中兴通讯携手印尼XLSMART 在雅加达正式启动联合创新中心加速印尼 5G-Advanced 与人工智能发展与应用
- 马斯克出庭作证,诉讼指控OpenAI违背了打造惠及全人类的通用人工智能的核心使命
- 实力登榜!思特奇入选2026全国企业“人工智能+”行动创新案例TOP100
- 汽车设计借助人工智能大幅缩短了研发周期
- 无锡市人工智能数据标注产业先导区,无锡高新区获批!
- 科大讯飞佛山人工智能产业基地正式启用,助力南海构建AI产业生态
- 苹果的继任CEO约翰·特努斯面临的第一个大难题是人工智能
- 海康存储亮相2026人工智能基础设施峰会 加速布局AI推理存储新赛道
- 荣登三榜!思特奇成功入选2026人工智能分类排行榜多项榜单
- 谷歌推出Mac版Gemini人工智能应用
- 人工智能教育实验室落地武汉 点猫科技与武汉携手共促AI教育发展
- ESIE 2026圆满收官:远景以“人工智能资产”定义新时代,引领储能从价格战走向价值战
人工智能企业
更多>>人工智能硬件
更多>>人工智能产业
更多>>人工智能技术
更多>>- 高德发布鸿蒙首个生成式 UI 开源框架 AGenUI,告别传统 UI 开发模式
- 发布即适配| 天数智芯全力支持腾讯混元Hy3 preview 开源落地,共推国内大模型产业普惠
- Seedance 2.0面向企业公测,豆包大模型日均Token使用量突破120万亿
- 端到端OCR模型第一!百度千帆Qianfan-OCR正式发布
- 云知声Unisound U1-OCR大模型发布!首个工业级文档智能基础大模型,开启OCR 3.0时代
- 基石智算上线 MiniMax M2.5,超强编程与智能体工具调用能力
- 昇腾原生支持,科学多模态大模型Intern-S1-Pro正式发布并开源
- 百度千帆深度研究Agent登顶权威评测榜单DeepResearch Bench









