北京大学与影谱科技联合论文入选ICIS2019

第18届计算机与信息科学国际会议（ICIS，International Conference on Computer and Information Science）于6月17日至19日在北京举行。来自计算机与信息科学领域的科学家、工程师和计算机从业人员等，共同分享了经验和新思考，以及包括理论、应用和工具的研究成果。作为会议焦点之一，由北京大学、影谱科技和美国印第安纳大学联合研究发表的论文《智慧图书馆中的自动化系统分析与虚拟现实应用》在会上进行了展示报告。

随着计算机与信息技术的快速发展，自动化系统和虚拟现实技术已成为当今社会与经济发展的重要支柱。图书馆作为存储书籍和信息资料，开发信息资源和提供知识支持的重要机构，正在构建并不断优化其系统。论文分析了在“智能+”时代，图书馆尤其是智慧图书馆在自动化系统和虚拟现实应用中的发展趋势，对VR技术在图书馆自动化建设中的应用进行了概述、探讨和展望，概括了VR的三类应用，即虚拟场景设计、数字资源管理和呈现以及创新型服务，这些均与智能影像生产密切相关。

图书的文本特质，在数字化的背景下，会借影像得以增强；而VR作为新一代的人机交互载体，会把这种增强的体验传达给读者。对于海量的图书馆藏，如何进行影像化？

“必须通过自动方式进行工业化生产。” 影谱科技创新研发中心负责人吉长江认为，智能影像技术解决的问题之一，就是解决大规模的跨模态转化，实现由文本到图像以及视频的全自动内容生产。通过对于原始文本的NLP处理，以及影像素材的检索和匹配，完成影像内容的合成，最终用视觉语言去更好的诠释当前的文本内容。

智能影像生产不仅解决和丰富了数字资源的管理和呈现问题，还可以为图书馆检索等核心服务提供创新的形式。

“正像是科幻电影《头号玩家》中那位无所不知的馆长一样，在VR平台上的虚拟图书中，虚拟馆员将为读者提供推荐、引导等各种服务。”吉长江表示，在VR中实现这样的“虚拟馆长”、并与读者进行自然的交流互动，其中一个关键问题就是文本驱动的Avatar技术。影谱科技正在研发的虚拟主播技术，用深度学习的办法，生成与读音对应的逼真的口型，同时合成自然流畅的面部以及全身的动作影像，正可以在VR平台中去扮演那位“虚拟馆长”。

“不仅限于VR平台，我相信，在更广阔的的图书馆数字化、智能化进程中，我们的智能影像生产技术，还将在更多维的方面提供支撑。”吉长江说。