一种基于虚拟人的多模态交互处理方法及系统技术方案

本申请提供的一种基于虚拟人的多模态交互处理方法及系统，通过获取被模仿者的多模态数据，然后从所述多模态数据中提取所述被模仿者的三维人脸图像，再对所述三维人脸图像进行解析，确定所述三维人脸图像的关键点，将所述关键点与虚拟人的三维人脸模型的对应节点进行绑定，实时获取所述被模仿者的三维人脸图像并解析，根据解析得到的所述被模仿者的三维人脸图像的关键点，在所述虚拟人的三维人脸模型的节点上进行映射，生成并输出模仿数据，使得所述虚拟人的三维人脸模型可以呈现逼真、流畅的人机交互效果，提升用户体验。

【技术实现步骤摘要】
一种基于虚拟人的多模态交互处理方法及系统
本申请涉及人工智能
，特别涉及一种基于虚拟人的多模态交互处理方法及系统、一种虚拟人及一种存储介质。
技术介绍
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。目前机器人包括具备实体的实体机器人和搭载在硬件设备上的虚拟机器人。现有技术中的虚拟机器人无法进行多模态交互，且一直呈现出固定不变的状态，无法实现逼真、流畅、拟人的交互效果。因此，提升虚拟机器人的交互能力和呈现能力，是现在亟需解决的重要问题。
技术实现思路
有鉴于此，本申请提供一种基于虚拟人的多模态交互处理方法及系统、一种虚拟人及一种存储介质，以解决现有技术中存在的技术缺陷。一方面，本申请提供一种基于虚拟人的多模态交互处理方法，所述虚拟人在智能设备运行，包括：获取被模仿者的多模态数据；从所述多模态数据中提取所述被模仿者的三维人脸图像本文档来自技高网...

【技术保护点】
一种基于虚拟人的多模态交互处理方法，其特征在于，所述虚拟人在智能设备运行，包括：获取被模仿者的多模态数据；从所述多模态数据中提取所述被模仿者的三维人脸图像；对所述三维人脸图像进行解析，确定所述三维人脸图像的关键点；将所述关键点与虚拟人的三维人脸模型的对应节点进行绑定；实时获取所述被模仿者的三维人脸图像并解析；根据解析得到的所述被模仿者的三维人脸图像的关键点，在所述虚拟人的三维人脸模型的节点上进行映射，生成模仿数据；输出模仿数据。

【技术特征摘要】
1.一种基于虚拟人的多模态交互处理方法，其特征在于，所述虚拟人在智能设备运行，包括：获取被模仿者的多模态数据；从所述多模态数据中提取所述被模仿者的三维人脸图像；对所述三维人脸图像进行解析，确定所述三维人脸图像的关键点；将所述关键点与虚拟人的三维人脸模型的对应节点进行绑定；实时获取所述被模仿者的三维人脸图像并解析；根据解析得到的所述被模仿者的三维人脸图像的关键点，在所述虚拟人的三维人脸模型的节点上进行映射，生成模仿数据；输出模仿数据。2.根据权利要求1所述的方法，其特征在于，所述获取被模仿者的多模态数据之前，包括：唤醒虚拟人，使所述虚拟人显示在预设的显示区域内。3.根据权利要求1所述的方法，其特征在于，所述虚拟人通过3D高模构建生成，并且具备预设的形象及技能；所述虚拟人包括运行在所述智能设备上的应用程序、可执行文件或通过所述智能设备投射出的全息影像。4.根据权利要求1所述的方法，其特征在于，所述智能设备使用的系统包括WINDOWS系统、MACOS系统或全息设备内置系统。5.根据权利要求2所述的方法，其特征在于，所述预设的显示区域包括所述智能设备的显示界面或所述智能设备的投射区域。6.根据权利要求1所述的方法，其特征在于，所述输出模仿数据包括：使所述虚拟人的三维人脸模型根据接收到的模仿数据对所述被模仿者进行模仿，同时输出多模态交互数据。7.根据权利要求1所述的方法，其特征在于，所述从所述多模态数据中提取被模仿者的三维人脸图像包括：对所述被模仿者的多模态数据进行解析，以决策输出多模态交互数据，所述解析包括：语义理解、视觉识别、情感计算、认知计算；当所述解析的结果中包含模仿技能的意图时，开启模仿技能并启动获取装置获取所述被模仿者的三维人脸图像。8.根据权利要求1所述的方法，其特征在于，当根据解析确定所述被模仿者的头部旋转或面部转动时，所述根据解析得到的所述被模仿者的三维人脸图像的关键点在所述虚拟人的三维人脸模型节点上进行映射，生成模仿数据包括：根据解析得到的被模仿者的头部旋转前后的三维人脸图像对应的关键点之差确定旋转矩阵；根据所述旋转矩阵，确定出所述被模仿者的头部旋转的旋转角度；根据所述旋转角度控制所述虚拟人的三维人脸模型对所述被模仿者头部旋转进行模仿。9.根据权利要求1所...

【专利技术属性】
技术研发人员：尚小维，马帅，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11