腾讯苏奎峰：数字孪生与生成式AI融合加速认知孪生进化

近年来，在数实融合的大背景下，数字孪生以其全息映射、仿真推演、分析预测、实时交互等能力，正成为企业全面深化数字化转型的核心支撑技术之一。生成式人工智能(AIGC, AI-generated content）则为人类社会打开了创造世界的大门，有望在各个领域带来生产力的革命性飞跃。数字孪生与AIGC相互加持，建立一个彼此驱动的优化迭代“飞轮”体系，必将为世界的发展带来巨大加速度。

在近日举行的2023界面REAL科技大会上，腾讯数字孪生产品部/自动驾驶业务总经理苏奎峰受邀出席，发表了题为《数字孪生与生成式AI闭环迭代进化》的主题演讲。

数字孪生：“可视、可算和可用”的价值

数据显示，2022-2029年数字孪生中国市场规模年均增速达42%，已成为工业、航空航天、交通、能源等行业数字化转型的核心支撑技术。政策层面，数字孪生已被纳入国家关键技术战略，各部委、各地方、各行业政策设计加速完善，形成“技术+应用”的双轮驱动体系。

数字孪生到底具备怎样的价值，何以得到如此重视？

实际上，当前市面上对数字孪生应用价值的理解存在一些误区。苏奎峰认为，首先，数字孪生并不是一个单一的二三维可视化系统，而一定具备更深层次的洞察能力，具有交互和体验价值；其次，数字孪生和传统的模拟仿真也有不同，当然“仿真”是孪生的灵魂，是数字孪生的价值高地，“无仿真不孪生”，但只有仿真也不能称之为孪生。用一句话来概括，实时数据驱动的仿真才是数字孪生；此外，数字孪生要和VR、AR、MR等3D数字媒介区分开来，XR为数字孪生提供了非常好的交互体验，同时数字孪生又是XR的内容基础。数字孪生之所以获得方方面面的关注，在于它所具备的价值更巨大、前景更广阔。

对于数字孪生的价值，苏奎峰将其总结为三点：对真实世界的“可视、可算和可用”。

· “可视”在于对现实世界的看见、看懂、洞察；

· “可算”体现在将物理世界模型化和参数化，以实时数据驱动和推演，以获得更强和更大规模的计算能力；

· “可用”是指数字孪生可以提供沉浸式、游戏化的交互体验，大规模复杂系统的在线协同，以及数据驱动下的闭环优化和控制。

全真互联是下一代互联网的重要趋势，也是以数实融合助力产业发展的重要战略和路径。而数字孪生作为全真互联的核心技术之一，已成为腾讯全真互联网战略下的关键一环。

围绕数字孪生的三大价值要素，腾讯基于游戏科技、云计算/云渲染、人工智能、模拟仿真、高精地图、全息感知以及音视频传输等核心技术，打造出空间构造、物联感知、时空计算、逼真渲染、仿真推演5大核心能力，形成一站式数字孪生平台，并联合众多生态伙伴打造出面向城市、交通、建筑、制造、能源、文旅等多个行业场景下的数字化解决方案，构筑起开放共创的数字孪生行业生态。

数字孪生+生成式AI：双螺旋式的闭环迭代进化

去年底，随着ChatGPT一声炮响，AIGC因其具备分析和创造文本、图像、视频以及三维数据而备受广泛关注，人工智能也由判别式向生成式快速切换，为各行各业应用创造出巨大潜力。AIGC作为一种能够创造新内容的AI技术，在数字孪生领域中，AIGC也能够提供更多的助力作用。

苏奎峰总结指出，AI技术尤其是AIGC技术提升数字孪生能力主要体现在5个方面：工作机理模型和三维模型构建、实时数据驱动的模型更新、生成式模型增强、数据分析、仿真预测以及智能决策。

同时采用AIGC技术还可以创造出更多的合成数据，尤其是一些敏感或高安全领域的数据和长尾数据，从而填补真实数据中的缺口，提升孪生模型精度；AIGC可以快速产生多种设计和运行方案，让工程师或决策者从中选择最优解，减少传统方法下的尝试和错误。借助ChatGPT这种大语言模型，可以实现更友好的人机协同。

反过来，数字孪生同样也能为AIGC“丰满血肉”。

· 首先，数字孪生模型可以提供大量高质量、结构化的数据，这对于训练AIGC模型，特别是需要大量数据的模型如GANs，非常有价值；

· 其次，数字孪生为AIGC提供了一个无风险、高逼真的验证环境，可以尝试和测试新的策略或方法，验证更多的极端情况，融合实时孪生数据，还能够确保实际应用的准确性和可靠性；

· 第三，数字孪生模型可以为AIGC提供实时或近实时的反馈，使其能够不断优化和改进生成的内容或模型；

· 第四，数字孪生提供一个可交互的三维可视化平台，有助于人在环参与其中，帮助解释和理解AIGC的输出，增加透明度和可信性；

· 最后，数字孪生可以为AIGC提供特定的场景或应用，使AI能够更有针对性地生成内容或做出决策。

生成式AI+数字孪生=认知孪生，加速自动驾驶研发落地

AI正在给世界带来巨大改变，AI技术本身也在不断的演进中。随着AIGC的逐步成熟，人工智能除了具备学习和重复能力外，还能够创造，让我们在从描述世界向编辑世界和创造世界演进。

过去，AI和数字孪生是两个相对独立的体系。而在当下，数字孪生和AI的融合越来越多。数字孪生绝大多数都是多孪生体的集成，比如，自动驾驶测试中的基于多智能体的交通流模拟，在孪生构建过程中更希望每个孪生体具备可信的人类驾驶行为或真实实体的行为模拟，而且需要具备交互能力。实验表明，利用大语言模型驱动生成式智能体的行为，可以支持智能体具备更长时间的一致性，管理动态进化的记忆能力和递归生成能力。AIGC与数字孪生的结合，能够产生更复杂的，具备记忆、检索、反思和推理等能力的虚拟或虚实融合环境，这就是我们所称的认知孪生。

自动驾驶是典型的四维空间计算问题，其核心是在四维空间下的感知、建图、定位和决策规划的实现。在BEV+OCC框架或正在被验证的端到端自动驾驶计算框架下，无论是算法训练还是测试验证，数字孪生与AIGC相结合的认知孪生体系，对自动驾驶落地都是不可或缺。

· 首先，认知孪生依然强调虚实融合，虚实互动以及虚实一致等问题，不是完全脱离现实而自动生成，而是通过传感器采集真实数据，通过AI和数字孪生技术建模，然后再以此为基础进行生成编辑；

· 其次，动态场景具备四维特征，是多智能体，具有记忆、检索、追溯和推理能力，充分利用这些特性，可以提升复杂场景构建精度，降低构建成本；

· 最后，为自动驾驶构建的认知孪生体，以AIGC支撑的多智能体，具有博弈和对抗能力，能够更有效地模拟现实驾驶的博弈策略，提升系统决策规划能力。同时，这种体系在解决自动驾驶数据生产效率、长尾或极端case以及样本均衡等问题一定会有显著的收益。

认知孪生（Cognitive Digital Twins，CDT）是数字孪生的一种扩展形式，除了基本DT功能外，还具备认知功能，如记忆、检索、反思和推理。其核心思想是利用先进的数据分析、机器学习和人工智能技术，使模型具备自我学习、推理和决策能力。一个完整的认知孪生，具备感知、记忆、学习、注意力、推理以及最终问题求解能力，并依赖于云端存储、数据分析、知识图谱、仿真优化等技术驱动实现这些能力。

可以看出，二者的融合正在不断升级人类和世界的交互模式：从描述世界到编辑世界，再到创造世界，获得更强的自主认知、思考、决策能力，最终实现“认知孪生”。展望未来，苏奎峰表示：数字孪生与AIGC的融合能构成一个闭环迭代的体系。一旦这样的闭环体系构建起来，将具有生命体的特征，为各行各业的数字化、智能化，提供可持续迭代的智慧助力。