谷歌使用AI追踪2D视频中的物体 或可用于自动驾驶汽车物体识别
2020-04-02 11:50:06爱云资讯795
(图片来源:ai.googleblog.com)
追踪3D物体是一项复杂的工作,特别是当计算资源有限时。当仅有的可用图像为2D时,由于缺乏数据以及物体外观和形状多种多样,这会变得更加困难。
为此,Objectron研发团队开发了一种工具,可以使注释器通过分屏视角显示2D视频帧,来标记物体的3D边界框(即矩形边框)。这些3D边界框将叠加在点云数据、摄像头位置和识别到的平面上。注释器在3D视图中绘制3D边界框后,再通过查看2D视频帧中的投影来验证其位置。而对于静态物体,注释器只需在单个帧中标记目标物体象即可。该工具还使用AR会话数据中的实际摄像头姿态信息,将物体的位置传输到所有帧。
(图片来源:ai.googleblog.com)
为了补充真实世界的数据,以提高AI模型预测的准确性,该团队开发了一个引擎,将虚拟物体放入包含AR会话数据的场景中。这允许使用相机姿态信息、检测到的平面,以及估算的照明,生成物理上可能的、并具有与场景匹配的照明的位置,从而产生高质量的合成数据,其中的渲染物体符合场景的几何形状,并无缝融入真实背景。在验证试验中,合成数据的运用使AI模型预测准确性提高了约10%。
此外,该团队表示,当前版本的Objectron模型足够轻巧,可以在旗舰移动设备上实时运行。借助LG V60 ThinQ,三星Galaxy S20 +和Sony Xperia 1 II等手机中的Adreno 650移动图形芯片,该模型能够每秒处理约26帧。
Objectron在MediaPipe中可用,MediaPipe是一个框架,用于构建跨平台的AI管道,该管道包括快速推理和媒体处理(如视频解码)。提供训练有素的识别鞋子和椅子的模型,以及端到端演示应用程序。
该团队表示,未来计划与研发社区共享其他解决方案,以刺激新的用例、应用和研究工作。此外,该团队打算将Objectron模型进行扩展,以识别更多类别的物体,并进一步提高其在设备中的性能。
相关文章
- 谷歌搜索的AI模式升级,新增作业识别功能
- 谷歌CEO桑达尔·皮查伊表示,人工智能对谷歌每个领域的业务都产生了积极影响
- 谷歌持续加码人工智能领域导致碳排放量再次攀升 较2019年激增51%
- 谷歌发布新一代AR眼镜 立讯精密深度赋能
- “5G核心网络即服务”时代来临:爱立信携手谷歌云共谱AI新篇章
- 云从科技超越谷歌、OpenAI问鼎全球多模态榜单 中国自研AI实现历史性突破
- 谷歌与大朋VR 聚焦AI 眼镜赛道,技术布局凸显行业新方向
- 苹果推进智能眼镜暗战谷歌,Meta/微美全息深耕AR赛道抢占XR市场新机遇
- 海信通过谷歌Home API拓展ConnectLife平台,实现第三方设备兼容
- 谷歌推出专为UI设计打造的人工智能编程工具Stitch
- 谷歌Gemini人工智能助手即将登陆Chrome
- 谷歌升级Find My生态,自在科技引领苹果谷歌双系统产品方案
- 谷歌Gemini将进军车载和电视平台
- 谷歌近十年来首次修改品牌Logo 四色块字母G变成了渐变色
- 谷歌I/O大会将聚焦AI战略转型布局,腾讯/微美全息力推大模型与核心产业深度融合
- 谷歌的人工智能概览月活用户已达15亿
人工智能技术
更多>>人工智能公司
更多>>人工智能硬件
更多>>- 兼顾纤薄、耐用与可持续 Galaxy Z Flip7展现三星卓越的产品设计能力
- 新石器无人车部署超7500辆,成全球最大规模无人车队
- 未来式智能亮相 WAIC 2025,以人机协同范式引领产业智能变革
- 全球首例!康诺思腾手术机器人完成临床场景下自主手术验证,研究成果登上顶级期刊《Science Robotics》
- 超能AI+折叠大屏 新一代三星Galaxy Z Fold7|Z Flip7邂逅沈阳
- 技嘉 M27Q2 QD 高清2K 量子点电竞显示器正式上市
- 新型Xsens Avior OEM IMU,体积小、重量轻,可在苛刻的工作条件下提供高精度和高稳定性
- 从 “认知优势” 到现实赋能:DPVR AI Glasses 重构智能穿戴价值