一种虚拟人物表情驱动方法及系统技术方案

本发明专利技术公开了一种虚拟人物表情驱动方法及系统，该方法包括以下步骤：采集人类面部表情的色彩信息和深度信息；合成所述人类面部表情深度与色彩信息，并提取关键信息节点；将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件；中间件对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；将经过处理的权重数据驱动虚拟人物表情变化。通过本发明专利技术的技术方案，与传统的三维生产工具纯录像再后期渲染相比，能够实时驱动虚拟人物，这就为直播节目或者实时互动表演等提供了技术支持。

【技术实现步骤摘要】
一种虚拟人物表情驱动方法及系统
本专利技术虚拟动画显示
，具体涉及一种虚拟人物表情驱动方法及系统，是一种在虚拟内容中实时反映人物面部表情、神态、情绪、气氛的技术，应用于一切虚拟内容中的表情生产。
技术介绍
随着虚拟内容制作领域的技术成熟与市场对虚拟内容载体的逐步接受，市场迫切需要内容生产领域的高效和低成本的动画/表情生产方式。传统的动画师使用传统手工方法制作表情动画的效率已经无法满足现有非电影行业的内容制作效率需求；与此同时，旅游、广电、游戏以及虚拟等行业对于实时互动的需求逐渐增加。因此，如何快速、高效且准确地制作面部表情动画，在行业应用中的重要性日渐突显。目前传统方法制作的表情动画对动画师的技术水准要求较高，所以并不是所有的动画师都能够快速地制作出准确自然的面部表情；此外，传统方法制作周期长、耗时耗力且成本奇高，无法满足市场需求；更重要的是，传统的制作方法完全不能应用于实时互动的环境，这就给节目/演出的创意发挥带来了局限性。本专利技术在研发过程中涉及到图形图像学、数学算法、红外图像捕捉、光学图像捕捉、三维引擎、实时渲染和面部心理学等众多领域，并实现了跨平台使用。系统可以满足影视制作、动画电影制作、广播电视领域中的高效且低成本的面部表情制作的需求。不仅如此，在游戏领域与娱乐互动领域中，也可满足行业在面部表情实时性上的应用需求。
技术实现思路
为解决上述技术问题，本专利技术提供了一种虚拟人物表情驱动方法，该方法包括以下步骤：(1)采集人类面部表情的色彩信息和深度信息；(2)合成所述人类面部表情深度与色彩信息，并提取关键信息节点；(3)将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件；(4)中间件对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；(5)通过经过处理的权重数据驱动虚拟人物表情变化。根据本专利技术的实施例，优选的，所述关键信息节点包括但不限于嘴角、鼻尖的人类面部表情特征点，根据关键信息节点通过空间拓扑关系可以鉴别人类面部表情。根据本专利技术的实施例，优选的，所述步骤(3)之前，采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板并存储于云端存储器以便后续调用。根据本专利技术的实施例，优选的，所述采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板是指：根据采集的人类面部表情深度信息，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧，该表情关键帧的组合用于在另一个模型上复现人脸表情。根据本专利技术的实施例，优选的，所述权重数值是指人类高级肌肉表情动画在0-1区间，展示不同人类面部表情的动画状态值。为解决上述技术问题，本专利技术提供了一种虚拟人物表情驱动系统，该系统包括：色彩摄像机、深度摄像机、关键信息节点提取模块、表情对比分析模块、中间件模块、引擎驱动模块；所述色彩摄像机采集人类面部表情的色彩信息；所述深度摄像机采集人类面部表情的深度信息；所述关键信息节点提取模块合成所述人类面部表情深度与色彩信息，并提取关键信息节点；表情对比分析模块将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件模块；所述中间件模块对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；引擎驱动模块将经过处理的权重数据驱动虚拟人物表情变化。根据本专利技术的实施例，优选的，所述关键信息节点包括但不限于嘴角，鼻尖的人类面部表情特征点，根据关键信息节点通过空间拓扑关系可以鉴别人类面部表情。根据本专利技术的实施例，优选的，该系统还包括：人脸表情深度学习训练模块、云端存储器，所述人脸表情深度学习训练模块采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板并存储于云端存储器以便后续调用。根据本专利技术的实施例，优选的，所述人脸表情深度学习训练模块根据采集的人类面部表情深度信息，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧，该表情关键帧的组合用于在另一个模型上复现人脸表情。根据本专利技术的实施例，优选的，所述人脸表情细分为72种；所述表情对比分析模块根据人脸肌肉群的位移，与之前学习的人类面部表情模板进行分析对比，得到不同的权重数值；所述引擎驱动模块根据不同的权重数值，找到与其最相近的表情，从而驱动虚拟人物的面部表情变化。通过本专利技术的技术方案取得了以下技术效果：(1)拥有独立自主知识产权的全新算法；利用全新算法，使中间件降低了传输延时，实现了各平台间数据的实时传输与互动。(2)效率高，延时低；通过特有算法把权重中间件的传输效率做到业界最高。(3)实时性好，捕捉准确；系统表情采集采用深度学习算法，在大量实际训练后得到的稳定的权重倾向，保证捕捉准确稳定。(4)成本低；不需要专业人员操作，降低人员成本；不需要高算力硬件，降低硬件成本。(5)操作简便，无需标记点，此外算法已经内置在系统中，操作人员无需过多考虑操作流程，复杂的操作流程已经被内置在系统内，不需人为干预。附图说明图1是本专利技术的虚拟人物表情驱动方法流程图图2是本专利技术的虚拟人物表情驱动系统构成图具体实施方式动画制作中行业遇到的最大问题在于专业的内容制作人员在成本与管理中所付出的成本：首先，动画制作本身所需的技术积累与养成需要普通动画师付出巨大努力，从行业角度而言，优秀的动画师数量稀少；其次对于项目而言，动画师的单位时间成本和管理成本在整个项目中的占比相对较大，不利于项目的推广。因此，动画制作环节，特别是面部表情制作环节在整个行业中的升级迭代需求极其迫切。为解决上述技术问题，提供了如下技术解决方案：(1)优秀的动画师，尤其是表情动画师的培养成本极高且数量少，为了让我们的系统的制作与录制效果达到甚至超越动画师的水准，我们在演员录制环节之前，对演员的面部进行系统扫描和比对，以达到采集标准；(2)为了让整体录制的表情可以复用，我们对录制数据采取了标准化处理，确保所有数据满足行业标准，方便之后在其他环节重复调用；(3)我们的数据可使用标准编辑平台对录制的数据进行修改，满足创意部门对最终效果与核心创意的匹配，同时修正创意中某些夸张表情无法被表情演员所原汁原味还原的问题；(4)本专利技术考虑到了具体行业应用。为了满足影视、广播电视、互动娱乐、游戏等行业的具体需求，特别为不同的内容下游制作了简易中间件。中间件采用全自动处理模式，不需要用户人为干预。中间件支持的下游系统类型有三维生产工具(Maya、Max、C4D等)、引擎类工具(Unity、Unreal等)、广电与影视制作工具(奥微、维姿等系统)；(5)为了保证数据传输的实时性，我公司对算法采集和传输进行了深度优化，以做到数据在解算与传输上的低延时。在算法优化层面，我们在图形图像学算法与数学算法上进行了大胆创新，以做到行业最优状态。<虚拟人物表情驱动方法>如图1，本专利技术公开了一种虚拟人物表情驱动方法，该方法包括以下步骤：(1)采集人类面部表情的色彩信息和深度信息；(2)合成所述人类面部表情深度与色彩信息，并提取本文档来自技高网...

【技术保护点】
一种虚拟人物表情驱动方法，该方法包括以下步骤：(1)采集人类面部表情的色彩信息和深度信息；(2)合成所述人类面部表情深度与色彩信息，并提取关键信息节点；(3)将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件；(4)中间件对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；(5)将经过处理的权重数据驱动虚拟人物表情变化。

【技术特征摘要】
1.一种虚拟人物表情驱动方法，该方法包括以下步骤：(1)采集人类面部表情的色彩信息和深度信息；(2)合成所述人类面部表情深度与色彩信息，并提取关键信息节点；(3)将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件；(4)中间件对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；(5)将经过处理的权重数据驱动虚拟人物表情变化。2.根据权利要求1所述的方法，所述关键信息节点包括但不限于嘴角、鼻尖的人类面部表情特征点，根据关键信息节点通过空间拓扑关系鉴别人类面部表情。3.根据权利要求1所述的方法，所述步骤(3)之前，采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板并存储于云端存储器以便后续调用。4.根据权利要求3所述的方法，所述采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板是指：根据采集的人类面部表情深度信息，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧，该表情关键帧的组合用于在另一个模型上复现人脸表情。5.根据权利要求1-4之一所述的方法，所述权重数值是指在0-1区间，展示不同人类面部表情的动画状态值。6.一种虚拟人物表情驱动系统，该系统包括：色彩摄像机、深度摄像机、关键信息节点提取模块、表情对比分析模块、中间件模块、引擎驱动模块；所述色彩摄像机采集人类面部表情...

【专利技术属性】
技术研发人员：刘福菊，樊乙，刘星辰，常江，
申请(专利权)人：北京德火新媒体技术有限公司，
类型：发明
国别省市：北京,11