人工智能算法教机器人学走路:从零开始,耗时两小时
2019-01-03 14:28:04爱云资讯
2018年12月,来自加利福尼亚大学伯克利分校和谷歌大脑的科学家们开发出了一套人工智能系统,它可以让机器人自己学会走路。这一成果发表于预印本网站arXiv.org上,论文题为《通过深度强化学习来学习走路》(Learning
to Walk via Deep Reinforcement Learning)。
在整个训练过程中,研究人员需要“手动”把走到缓坡尽头的机器人“请”回缓坡的起点以重新开始新一轮的练习,这一手动复位的过程稍显繁琐。不过,从结果来看,这一耗时2小时的学步过程实属高效,不少网友就此评价称“AI真是个好老师”。
在人工智能领域中经常提到“强化学习”的概念,这是一种使用奖励或惩罚的驱动来实现特定目标的人工智能方法,目的是获得一个策略以指导行动。比如围棋博弈中,这个策略可以根据盘面形势指导每一步应该在哪里落子。而在四足机器人Minitaur学习走路的过程中,这个策略可以根据地形等要素告诉机器人下一步应该怎么走。
强化学习会从一个初始的策略开始。通常,初始策略不一定很理想,正如四足机器人Minitaur在刚开始学走路的时候所表现的那样。不过。在学习的过程中,作为决策主体的四足机器人Minitaur会通过行动和环境进行交互,不断获得反馈,即回报或者惩罚,并根据反馈调整优化策略。
强化学习是一种非常强大的学习方式。持续不断的强化学习甚至能够获得比人类更优的决策机制。最好的例子就是阿尔法狗。2016年,谷歌通过深度学习训练的阿尔法狗( AlphaGo)程序以4比1的比分战胜了曾经的围棋世界冠军李世石。它的改进版更在2017年战胜了当时世界排名第一的中国棋手柯洁,其令世人震惊的博弈能力就是通过强化学习训练出来的。
但强化学习也有其局限性。它需要大量数据,在某些情况下需要数万个样本才能获得良好的结果。这就需要四足机器人Minitaur像阿尔法狗那样进行多次训练,但过多的训练可能会对四足机器人造成损坏。
因此,这项“学习走路”的研究选择了强化学习的“升级版”——深度强化学习的方法,将深度学习的感知能力和强化学习的决策能力相结合。这种方法可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法。
用研究人员的话说,为了“使一个系统在没有模拟训练的情况下学习运动技能成为可能”,他们采用了一种名为“最大熵RL”强化学习框架。最大熵RL可以优化学习策略,以最大化预期收益。在这个框架中,人工智能代理通过从策略中抽取某些行动并接收奖励的方式不断地寻找最佳的行动路径。
研究人员表示,“据我们所知,本实验是在现实世界中不经过模仿和预训练而直接学习欠驱动四足运动的第一个深度强化学习算法案例。
2018年5月,同个课题组的研究人员曾在arXiv.org上发表了另一篇关于四足机器人Minitaur的研究论文。当时,研究人员使用深度强化学习的方法使Minitaur从零开始学习四足运动,并最终实现了小跑和疾驰。
在研究人员公布的视频资料中,四足机器人Minitaur试图走过一个平整的缓坡。在视频开头,时间显示为0,这是四足机器人学习走路的开始。此时的四足机器人Minitaur如一个蹒跚学步的婴儿,时而摇晃、时而原地踏步,它尝试着迈开“腿”前进,但身体却“诚实”地留在原地,整个行走过程进展缓慢。转变发生在Minitaur学习走路的第18分钟,这时它已经可以持续性地前进了,但平衡性稍显不足。后续的练习中,Minitaur的步伐逐渐变得稳定且迅速。54分钟、72分钟、108分钟,不到2小时的时间,Minitaur基本学会了快速且平稳地走过缓坡。
这就是四足机器人Minitaur学习走路的全过程。加利福尼亚大学伯克利分校和谷歌大脑的科学家们研发出的人工智能算法“教”会了这个四足机器人穿越熟悉或陌生的地形。在整个训练过程中,研究人员需要“手动”把走到缓坡尽头的机器人“请”回缓坡的起点以重新开始新一轮的练习,这一手动复位的过程稍显繁琐。不过,从结果来看,这一耗时2小时的学步过程实属高效,不少网友就此评价称“AI真是个好老师”。
在人工智能领域中经常提到“强化学习”的概念,这是一种使用奖励或惩罚的驱动来实现特定目标的人工智能方法,目的是获得一个策略以指导行动。比如围棋博弈中,这个策略可以根据盘面形势指导每一步应该在哪里落子。而在四足机器人Minitaur学习走路的过程中,这个策略可以根据地形等要素告诉机器人下一步应该怎么走。
强化学习会从一个初始的策略开始。通常,初始策略不一定很理想,正如四足机器人Minitaur在刚开始学走路的时候所表现的那样。不过。在学习的过程中,作为决策主体的四足机器人Minitaur会通过行动和环境进行交互,不断获得反馈,即回报或者惩罚,并根据反馈调整优化策略。
强化学习是一种非常强大的学习方式。持续不断的强化学习甚至能够获得比人类更优的决策机制。最好的例子就是阿尔法狗。2016年,谷歌通过深度学习训练的阿尔法狗( AlphaGo)程序以4比1的比分战胜了曾经的围棋世界冠军李世石。它的改进版更在2017年战胜了当时世界排名第一的中国棋手柯洁,其令世人震惊的博弈能力就是通过强化学习训练出来的。
但强化学习也有其局限性。它需要大量数据,在某些情况下需要数万个样本才能获得良好的结果。这就需要四足机器人Minitaur像阿尔法狗那样进行多次训练,但过多的训练可能会对四足机器人造成损坏。
因此,这项“学习走路”的研究选择了强化学习的“升级版”——深度强化学习的方法,将深度学习的感知能力和强化学习的决策能力相结合。这种方法可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法。
用研究人员的话说,为了“使一个系统在没有模拟训练的情况下学习运动技能成为可能”,他们采用了一种名为“最大熵RL”强化学习框架。最大熵RL可以优化学习策略,以最大化预期收益。在这个框架中,人工智能代理通过从策略中抽取某些行动并接收奖励的方式不断地寻找最佳的行动路径。
研究人员表示,“据我们所知,本实验是在现实世界中不经过模仿和预训练而直接学习欠驱动四足运动的第一个深度强化学习算法案例。
2018年5月,同个课题组的研究人员曾在arXiv.org上发表了另一篇关于四足机器人Minitaur的研究论文。当时,研究人员使用深度强化学习的方法使Minitaur从零开始学习四足运动,并最终实现了小跑和疾驰。
相关文章
- Viettel开设越南最大的数据中心,通过部署绿色技术,为人工智能发展做好准备
- Cognex 推出全新人工智能 3D 视觉系统
- Enine亿玖携手技嘉GIGABYTE如约亮相2024深圳(国际)人工智能计算大会
- 生成式人工智能雅思培训项目引行业关注
- 震撼来袭,精彩前瞻|2024人工智能大模型产业发展大会即将召开
- 昆仑万维发布面向人工智能时代的六条人才宣言
- “人工智能+出海”大有可为,钛动科技以AI驱动企业降本增效
- 美图公司吴欣鸿:推动人工智能在影像与设计领域的应用落地
- 为新质生产力“添柴加薪”,呼和浩特与百度共建人工智能基础数据产业基地
- 昇思人工智能框架峰会2024圆满落幕|软通动力大模型一体机发布
- 明途工作大脑垂直行业模型WorkBrain V3.5,落实“人工智能+”行动
- 思科最新研究:全球超四分之一企业因数据隐私和安全考虑禁止使用生成式人工智能
- 智能校对大模型文修2.0重磅发布:赋能“人工智能+办公”转型升级
- 昇思MindSpore 2.3全新发布 | 昇思人工智能框架峰会2024圆满举办
- 卓翼智能无人机+人工智能助力森林防灭火,科技赋能守护绿色林海
- 上海人工智能实验室发布自动驾驶视频生成模型GenAD
热门文章
头条文章
重点文章
推荐文章
热点文章