Startup Kindred为AI在机器人技术方面带来了希望

总部位于旧金山的创业公司Kindred概述了使用深度学习的人工智能来训练现实世界中机器人的挑战。该研究提供了希望，通过设定基准，机器学习真的可以在某个时刻训练机器人。

通过所谓的深度学习来训练机器人完成简单的任务取得了有限的成功，但旧金山的一家初创公司为未来的工作提供了一线希望。

Kindred是一家有三年历史的创业公司，周四在瑞士苏黎世召开的第二届机器人学习会议上发表了一篇研究论文。

该论文的主旨是，机器人专家需要建立一些关于机器学习，尤其是深度学习，在实现真实世界之前的表现的基本基准。

本文并未证明机器学习可以教导机器人移动; 相反，它表明有办法系统地确定这样做的挑战，作为未来工作的基础。

在报告“真实世界机器人的强化学习算法基准”中，作者，Rupam Mahmood，Dmytro Korenkevych，Gautham Vasan，William Ma和James Bergstra 在9月20日在arXiv上发布了三个商用机器人和让他们在太空中移动到目标位置。

强化学习是一种人工神经网络，其中系统改进了误差函数，因为它被赋予“奖励”，被用于四种不同的风格。关键在于看看这三个机器人在这些基本的运动功能测试的多个版本中如何使用四种不同的算法。

正如作者所指出的那样，迄今为止的研究主要是在软件程序中模拟机器人，他们没有测试过真正的机器人运动。例如，加州大学伯克利分校电气工程和计算机科学系的Duan等人2016年的一项研究试图建立深度学习的基准，这是通过在一种视频游戏环境中移动的计算机生成的自动机模拟的。

正如Mahmood及其同事在当前论文中所写的那样，“使用真实世界机器人进行强化学习研究尚未完全接受并使用最纯粹最简单的强化学习问题陈述 - 一个代理人通过学习第一手资料来最大化其奖励世界经验。

该研究使用超过950小时的机器人进行了450次实验。

他们测试的机器人是“UR5”，一种通用机器人“协作臂”，一种可以在空间中弯曲和移动的电枢; 来自Robotis的“MX-64AT Dynamixel”，一种用于控制多种不同机器人的“执行器”，以及iRobot的“Roomba”吸尘器的精简版“iRobot Create2”。

一个主要的发现是，深度学习落后于以传统方式训练机器人，使用脚本。“总体而言，RL解决方案的表现优于脚本解决方案，在某些任务中大幅度提升，此类解决方案已经很好地建立或易于编写脚本。”

报告指出，所使用的机器学习模型的“超参数”变量必须非常仔细地进行调整。事实上，如果没有一些实质性的工作调整这些变量，深度学习模型就无法完成任何事情。

作者写道：“所有算法的性能都对其超参数值非常敏感，需要重新调整新任务才能获得最佳性能。”

这听起来令人沮丧，但作者指出，在不同的任务中使用相同的超参数导致结果并没有太大的不同，这给了一些希望，深度学习最终可以贡献一些东西。

正如作者所说，“基于一个任务的[超参数]的良好配置仍然可以为另一个任务提供良好的基线性能。” 因此，他们得出结论，深度学习的强化风格对于“基于真实世界的机器人实验”的研究是“可行的”。

这里也有一些幽默的细节，关于物理机器人出现的现实问题。一些DXL装置经历了过热，导致它们在夜间实验中失败。而iRobot的Create2系统因为电缆缠绕而一夜之间就遇到了问题