Google的ClearGrasp AI模型可帮助机器人更好地识别透明物体
2020-03-11 21:48:35爱云资讯
光学传感器(例如相机和激光雷达)是现代机器人平台的基本组成部分,但它们有一个共同的缺陷:玻璃容器之类的透明物体容易使它们混淆。这是因为分析来自这些传感器的数据的大多数算法都假定所有表面都是朗伯型的,或者它们在各个方向和各个角度均均匀地反射光。相反,透明物体既折射又反射光,从而使深度数据无效或充满噪声。
为了寻找解决方案,一组Google研究人员与哥伦比亚大学和综合AI(一种用于计算机视觉的数据生成平台)合作开发了ClearGrasp。这是一种能够从RGB图像估计透明对象的准确3D数据的算法,重要的是,该算法可与任何标准RGB相机的输入配合使用,使用AI重构透明对象的深度并将其推广到训练期间看不到的对象。
正如研究人员所指出的那样,训练复杂的AI模型通常需要大量的数据集,并且由于不存在透明物体的主体,他们创建了自己的包含超过50,000个逼真的渲染的图像,这些渲染具有相应的深度,边缘,表面法线(代表表面曲率),和更多。每个图像最多显示五个透明物体,这些物体可以放在平坦的地平面上,也可以放在装有各种背景和照明的手提袋中。一个带有相应地面真实深度的286张真实世界图像的单独集合用作测试集。
ClearGrasp总共包括三种机器学习算法:一种用于估计表面法线的网络,一种用于遮挡边界(深度不连续)的网络以及一种用于遮盖透明对象的网络。此蒙版会删除属于透明对象的所有像素,以便可以填充正确的深度,因此优化模块可以使用预测的表面法线来扩展表面的深度,以指导重建的形状。(预测的遮挡边界有助于保持不同对象之间的分离。)
在实验中,研究人员在其自定义数据集以及开放源代码Matterport3D和ScanNet语料库中的真实室内场景中训练了模型。他们说,ClearGrasp设法为保真度比基线方法高得多的透明对象重建深度,并且其输出深度可以直接用作使用图像的操纵算法的输入。当使用机器人的平行颚爪抓臂时,透明物体的抓握成功率从12%提高到74%,并且通过吸力从64%提高到86%。
- Google发布AI领域新进展:涉及抗灾、生成式AI和语言模型
- Google Pixel Fold显示屏规格曝光
- Aqara绿米亮相Google I/O大会,支持Matter协议助力智能家居互通互联
- Google发布搭载Tensor处理器的Pixel 6a 售价449美元
- Google正在使用人工智能“更准确地检测更广泛的个人危机搜索”
- 飞书深诺荣膺三项Google 2021年优秀合作伙伴大奖,在出海营销机构中独占鳌头
- 神州数码旗下GoPomelo荣获Google Cloud年度合作伙伴大奖
- Google推出第四代定制AI芯片TPU v4
- Google AI再曝黑人女员工离职,这是所有科技公司都将面对的问题
- Google实验允许“听到颜色的声音”
- 谷歌开发的双击手势操作 可触发Google Assistant
- VR/AR大战或一触即发,苹果/Google/微美全息等布局5G商用的竞速赛
- 取代Android TV!谷歌或在3月推出全新的Google TV
- 诺基亚与Google签约以构建基于云的5G网络
- Google和苹果,为什么都想让你安装新系统
- Google最新的AR化妆功能曝光,微美全息AR+AI人脸识别精确解锁