人工智能算法教机器人学走路:从零开始,耗时两小时
2019-01-03 14:28:04爱云资讯
2018年12月,来自加利福尼亚大学伯克利分校和谷歌大脑的科学家们开发出了一套人工智能系统,它可以让机器人自己学会走路。这一成果发表于预印本网站arXiv.org上,论文题为《通过深度强化学习来学习走路》(Learning
to Walk via Deep Reinforcement Learning)。
在整个训练过程中,研究人员需要“手动”把走到缓坡尽头的机器人“请”回缓坡的起点以重新开始新一轮的练习,这一手动复位的过程稍显繁琐。不过,从结果来看,这一耗时2小时的学步过程实属高效,不少网友就此评价称“AI真是个好老师”。
在人工智能领域中经常提到“强化学习”的概念,这是一种使用奖励或惩罚的驱动来实现特定目标的人工智能方法,目的是获得一个策略以指导行动。比如围棋博弈中,这个策略可以根据盘面形势指导每一步应该在哪里落子。而在四足机器人Minitaur学习走路的过程中,这个策略可以根据地形等要素告诉机器人下一步应该怎么走。
强化学习会从一个初始的策略开始。通常,初始策略不一定很理想,正如四足机器人Minitaur在刚开始学走路的时候所表现的那样。不过。在学习的过程中,作为决策主体的四足机器人Minitaur会通过行动和环境进行交互,不断获得反馈,即回报或者惩罚,并根据反馈调整优化策略。
强化学习是一种非常强大的学习方式。持续不断的强化学习甚至能够获得比人类更优的决策机制。最好的例子就是阿尔法狗。2016年,谷歌通过深度学习训练的阿尔法狗( AlphaGo)程序以4比1的比分战胜了曾经的围棋世界冠军李世石。它的改进版更在2017年战胜了当时世界排名第一的中国棋手柯洁,其令世人震惊的博弈能力就是通过强化学习训练出来的。
但强化学习也有其局限性。它需要大量数据,在某些情况下需要数万个样本才能获得良好的结果。这就需要四足机器人Minitaur像阿尔法狗那样进行多次训练,但过多的训练可能会对四足机器人造成损坏。
因此,这项“学习走路”的研究选择了强化学习的“升级版”——深度强化学习的方法,将深度学习的感知能力和强化学习的决策能力相结合。这种方法可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法。
用研究人员的话说,为了“使一个系统在没有模拟训练的情况下学习运动技能成为可能”,他们采用了一种名为“最大熵RL”强化学习框架。最大熵RL可以优化学习策略,以最大化预期收益。在这个框架中,人工智能代理通过从策略中抽取某些行动并接收奖励的方式不断地寻找最佳的行动路径。
研究人员表示,“据我们所知,本实验是在现实世界中不经过模仿和预训练而直接学习欠驱动四足运动的第一个深度强化学习算法案例。
2018年5月,同个课题组的研究人员曾在arXiv.org上发表了另一篇关于四足机器人Minitaur的研究论文。当时,研究人员使用深度强化学习的方法使Minitaur从零开始学习四足运动,并最终实现了小跑和疾驰。
在研究人员公布的视频资料中,四足机器人Minitaur试图走过一个平整的缓坡。在视频开头,时间显示为0,这是四足机器人学习走路的开始。此时的四足机器人Minitaur如一个蹒跚学步的婴儿,时而摇晃、时而原地踏步,它尝试着迈开“腿”前进,但身体却“诚实”地留在原地,整个行走过程进展缓慢。转变发生在Minitaur学习走路的第18分钟,这时它已经可以持续性地前进了,但平衡性稍显不足。后续的练习中,Minitaur的步伐逐渐变得稳定且迅速。54分钟、72分钟、108分钟,不到2小时的时间,Minitaur基本学会了快速且平稳地走过缓坡。
这就是四足机器人Minitaur学习走路的全过程。加利福尼亚大学伯克利分校和谷歌大脑的科学家们研发出的人工智能算法“教”会了这个四足机器人穿越熟悉或陌生的地形。在整个训练过程中,研究人员需要“手动”把走到缓坡尽头的机器人“请”回缓坡的起点以重新开始新一轮的练习,这一手动复位的过程稍显繁琐。不过,从结果来看,这一耗时2小时的学步过程实属高效,不少网友就此评价称“AI真是个好老师”。
在人工智能领域中经常提到“强化学习”的概念,这是一种使用奖励或惩罚的驱动来实现特定目标的人工智能方法,目的是获得一个策略以指导行动。比如围棋博弈中,这个策略可以根据盘面形势指导每一步应该在哪里落子。而在四足机器人Minitaur学习走路的过程中,这个策略可以根据地形等要素告诉机器人下一步应该怎么走。
强化学习会从一个初始的策略开始。通常,初始策略不一定很理想,正如四足机器人Minitaur在刚开始学走路的时候所表现的那样。不过。在学习的过程中,作为决策主体的四足机器人Minitaur会通过行动和环境进行交互,不断获得反馈,即回报或者惩罚,并根据反馈调整优化策略。
强化学习是一种非常强大的学习方式。持续不断的强化学习甚至能够获得比人类更优的决策机制。最好的例子就是阿尔法狗。2016年,谷歌通过深度学习训练的阿尔法狗( AlphaGo)程序以4比1的比分战胜了曾经的围棋世界冠军李世石。它的改进版更在2017年战胜了当时世界排名第一的中国棋手柯洁,其令世人震惊的博弈能力就是通过强化学习训练出来的。
但强化学习也有其局限性。它需要大量数据,在某些情况下需要数万个样本才能获得良好的结果。这就需要四足机器人Minitaur像阿尔法狗那样进行多次训练,但过多的训练可能会对四足机器人造成损坏。
因此,这项“学习走路”的研究选择了强化学习的“升级版”——深度强化学习的方法,将深度学习的感知能力和强化学习的决策能力相结合。这种方法可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法。
用研究人员的话说,为了“使一个系统在没有模拟训练的情况下学习运动技能成为可能”,他们采用了一种名为“最大熵RL”强化学习框架。最大熵RL可以优化学习策略,以最大化预期收益。在这个框架中,人工智能代理通过从策略中抽取某些行动并接收奖励的方式不断地寻找最佳的行动路径。
研究人员表示,“据我们所知,本实验是在现实世界中不经过模仿和预训练而直接学习欠驱动四足运动的第一个深度强化学习算法案例。
2018年5月,同个课题组的研究人员曾在arXiv.org上发表了另一篇关于四足机器人Minitaur的研究论文。当时,研究人员使用深度强化学习的方法使Minitaur从零开始学习四足运动,并最终实现了小跑和疾驰。
相关文章
- 光明日报专访:华胜天成打造应用场景,让人工智能走进“千行百业”
- 云知声荣登“2024福布斯中国人工智能科技企业TOP 50”榜单
- 从高山奔向大海,智慧眼迈向通用人工智能重要一步
- 人工智能热潮,像需要英伟达NVIDIA一样需要维谛技术Vertiv
- 新质力·新智造 |“2024福布斯中国人工智能科技企业评选”结果正式发布
- 超擎数智重磅发布擎天、锋锐、元景系列AI服务器,打造人工智能新质生产力强劲引擎
- 第四届中央企业熠星创新创意大赛“人工智能”赛道项目对接路演(成都站)圆满举办
- 《2024人工智能与职场研究报告》发布: AI已多领域渗透,就业模式将被重塑
- HID 2024年安防趋势报告:人工智能的应用日益增多
- AI FOR ENGINEERS研讨会:推动人工智能技术赋能工程仿真创新
- 思科重新构想人工智能时代的数据中心与云端安全
- AI赋能出版新质生产力发展 蜜度承办人工智能与出版新质生产力论坛
- 小影科技参编《生成式人工智能数据应用合规指南》团体标准正式发布
- 云天励飞助力深圳高级中学启用人工智能联合实验室,共绘智慧教育新篇章
- 中国人工智能发明专利企业排行榜揭晓 OPPO位列第九
- 聚焦人工智能编程教育,点猫科技亮相第83届中国教育装备展
热门文章
头条文章
重点文章
推荐文章
热点文章