揭秘首个数实融合开幕式AR互动背后，中国移动咪咕科技观赛助跑亚运

9月23日晚20时,第19届亚运会开幕式在杭州市奥体中心主体育场(大莲花)准时拉开帷幕,向世界献上了一场极具中国文化特色的艺术盛宴。当晚,由中国移动咪咕受邀参与打造的“开幕式AR互动特别环节”,也是本届开幕式核心亮点之一,以元宇宙的创新场景应用,为场内外观众带来耳目一新的互动体验。

作为亚运会历史上首场开幕式数实融合AR互动,AR互动特别环节贯穿开幕式全程,紧密结合开幕式节目内容展开,场内外观众通过咪咕视频实时参与,浸享行业首次、大场景、直播态的AR互动玩法。

《灯火耀古今》的诗雨江南氛围里,海内外朋友们通过咪咕视频AR互动一同放飞亚运华灯,看一盏盏孔明灯承载着祝福飞入夜空;

和着《新潮向未来》的生机与澎湃,在咪咕视频以AR的形式召唤出亚运吉祥物“江南忆”,享受与亚运吉祥物“江南忆”的专属互动时间;

绿色亚运、健康亚运,以《山水共清晖》的秀丽杭州为景,在9款AI绘制的、带有亚运九国标志建筑的3D立体亚运明信片里,选择最爱的一款寄送,永存此刻亚运记忆。

还有开幕式高潮环节“助燃亚运火炬”,在现场用户和咪咕视频线上用户的数实同屏助力下,用户一下下敲击而成的火苗向 “潮涌”汇聚,点亮亚运火炬。这场数字点火仪式不仅打破了亚运会传统的单人传递火炬点火方式,更将数实融合、万众参与和世界共此时的氛围推向了高潮。

不少用户纷纷将AR互动DIY的卡片分享到朋友圈,与家人、朋友分享亚运开幕式这一刻的感动。“我看过很多场开幕式,但像这样有真实感在参与其中的,是第一次。AR互动看开幕式,很美很震撼!”“在今天之前,我从没想过有一天我也能助燃火炬,我想再过很多年,我依然能记得今天的感动。”

数实同屏,瞬时定位,实时互动的AR互动创新玩法更是吸引到罗云熙、孙悦、芦玉菲等名人明星纷纷秀出自己的开幕式火炬助跑员编号,在社交媒体引起#科技看亚运体验数智化#的热点讨论。

“高光”时刻的背后,是中国移动咪咕对内容+科技+融合创新的技术攻坚,是对为用户提供极致体验的始终追求。据中国移动咪咕相关负责人介绍,自3月接到导演组把AR结合到杭州亚运会开幕式的设想需求后,便迅速成立项目团队,开始了前期筹备工作。直到距离开幕式举办不到2个月,导演组最终敲定把AR互动加入开幕式表演中。

借助中国移动强大的5G+云算力能力,融合人工智能、AI空间定位、AR云渲染、AI数字建模等技术,项目组在一个月时间里,完成了这样一场拥有美轮美奂舞台视觉融合效果、影视级细腻水准的AR互动演绎。

作为一场数实融合的交互体验,在长达两小时的亚运会开幕式表演中,存在纹理角度相似、夜晚灯光变化大、节目场景动态变化等各式影响AR识别和交互体验的因素。如何让AR画面和舞台节目无缝融合,并且让“大莲花”场馆内不同角度的观众都能够精准识别进行互动,是项目组在执行过程中面临的挑战。

项目预备期,基于调研测试结果,结合过往丰富的夜光场景项目经验,咪咕在两周的时间内便实现了算法验证demo开发,并在模拟演练中,初步实现算法效果。项目启动后,为了给算法提供更为丰富的数据,让AI能够更精准地识别舞台,团队克服重重困难完成了为期一个月的数据采集工作。

“亚运彩排内容保密要求高,我们只能在每天彩排结束后的凌晨2点到3点半左右的开展工作,可以说数据采集是在多个凌晨‘一个半小时’和现场蹲点等候节目的过程中,一点一点完成的。”咪咕公司相关负责人介绍。

在完成现场测量和1:1空间模型复刻工作后,最终项目团队制定出端定位+云定位+GPS融合的多重保障AI空间定位方案。依托中国移动5G+算力网络,结合咪咕业内首创的云边端协同的AR云渲染,基于高精模型和点云融合定位技术,项目组最终解决了高相似及动态演绎场景的识别问题。

在23日开幕式当晚,演出的全流程定位成功率达99%,实现了AR互动玩法在场内外用户的全覆盖,现场观众在不同位置都能体验上最佳的AR互动效果,结合3DMIMO(大规模天线阵列)、多频分层、超大上行等先进通信技术,中国移动全球首创了具备超密组网能力的5G自呼吸弹性网络构架,打造“双路由、双机房、双设备”网络安全保障体系,为杭州亚运开幕式提供算力保障。

杭州亚运会的序幕才刚刚拉开。在接下来的15天里,作为杭州亚运会官方通信服务合作伙伴、官方持权转播商,中国移动将以咪咕视频+视频彩铃+移动高清组成的视频“铁三角”,打造更丰富的科技观赛体验,带领用户以更沉浸的方式看亚运,为亚运健儿加油。