虚拟角色的驱动控制方法和系统技术方案

本申请实施例提供了一种虚拟角色的驱动控制方法和装置，其中，所述的方法包括：将虚拟角色的图像发送至云端；接收所述云端对所述虚拟角色的图像进行特征提取之后返回的图像特征信息；获取用户图像对应的面捕姿态参数；根据所述图像特征信息和面捕姿态参数确定光流特征信息；基于所述光流特征信息进行光流形变处理，以驱动所述虚拟角色的脸部进行姿态变换。从而可以借助云端强大的计算能力的优势，捕捉易于驱动的图像特征，通过云端下发图像特征信息到移动端，移动端结合面捕姿态参数轻松实现实时驱动虚拟角色的脸部。而且，用户仅需要提供一张图像，就可以实现虚拟角色的脸部的驱动，降低虚拟角色的脸部驱动的使用门槛。降低虚拟角色的脸部驱动的使用门槛。降低虚拟角色的脸部驱动的使用门槛。

【技术实现步骤摘要】
虚拟角色的驱动控制方法和系统


[0001]本申请实施例涉及图像处理
，尤其涉及一种虚拟角色的驱动控制方法、系统、计算机设备及计算机可读存储介质。

技术介绍

[0002]现有技术中，动漫角色的脸部驱动的方案主要有如下两种：
[0003](1)使用MMD、Live 2D等3D/2.5D模型进行角色驱动，这种方案的优势是在移动端渲染速度快、计算量小、效果优质。但是存在如下缺点：每个模型需要专业的设计者进行绘画和编辑创作，受众面积小，如果想要批量实现，需要消耗大量的时间和人力成本。
[0004](2)仅需要输入一张动漫人物的脸部图片,通过神经网络可实现角色驱动，这种方案的优势是通过模型压缩、剪枝等过程实现一定的加速，通常不在移动端而是部署到PC端的GPU上进行驱动。但是存在缺点是：对用户使用的设备有较高的硬件要求，需要使用具有GPU的电脑进行处理，普及度较低。

技术实现思路

[0005]本申请实施例的目的是提供一种虚拟角色的驱动控制方法、系统、计算机设备及计算机可读存储介质，用于解决以下问题：如何降低动漫角色的脸部驱动方案的制作成本，减少驱动过程对设备性能的消耗。
[0006]本申请实施例的一个方面提供了一种虚拟角色的驱动控制方法，包括：
[0007]将虚拟角色的图像发送至云端；
[0008]接收所述云端对所述虚拟角色的图像进行特征提取之后返回的图像特征信息；
[0009]获取用户图像对应的面捕姿态参数；
[0010]根据所述图像特征信息和面捕姿态参数确定光流特征信息；
[0011]基于所述光流特征信息进行光流形变处理，以驱动所述虚拟角色的脸部进行姿态变换。
[0012]可选地，所述根据所述图像特征信息和面捕姿态参数确定光流特征信息，包括：
[0013]对所述图像特征信息和面捕姿态参数进行矩阵相乘处理，以确定所述光流特征信息。
[0014]可选地，所述获取用户图像对应的面捕姿态参数，包括：
[0015]实时获取用户图像对应的面捕姿态参数；或，
[0016]按照预设周期获取用户图像对应的面捕姿态参数。
[0017]可选地，所述获取用户图像对应的面捕姿态参数，包括：
[0018]获取摄像设备采集的用户图像；
[0019]对所述用户图像进行识别以得到所述面捕姿态参数。
[0020]可选地，在所述将用户输入的虚拟角色的图像发送至云端的步骤之前，还包括：
[0021]在所述云端部署预置的图像处理模型；所述预置的图像处理模型用于对所述虚拟
角色的图像进行特征提取以得到图像特征信息。
[0022]本申请实施例的一个方面又提供了一种虚拟角色的驱动控制装置，包括：
[0023]图像发送模块，用于将虚拟角色的图像发送至云端；
[0024]图像特征接收模块，用于接收所述云端对所述虚拟角色的图像进行特征提取之后返回的图像特征信息；
[0025]面捕姿态获取模块，用于获取用户图像对应的面捕姿态参数；
[0026]光流特征确定模块，用于根据所述图像特征信息和面捕姿态参数确定光流特征信息；
[0027]光流形变处理模块，用于基于所述光流特征信息进行光流形变处理，以驱动所述虚拟角色的脸部进行姿态变换。
[0028]可选地，所述光流特征确定模块，包括：
[0029]矩阵相乘处理子模块，用于对所述图像特征信息和面捕姿态参数进行矩阵相乘处理，以确定所述光流特征信息。
[0030]可选地，所述面捕姿态获取模块，包括：
[0031]第一姿态获取子模块，用于实时获取用户图像对应的面捕姿态参数；或，
[0032]第二姿态获取子模块，用于按照预设周期获取用户图像对应的面捕姿态参数。
[0033]可选地，所述面捕姿态获取模块，包括：
[0034]用户图像获取子模块，用于获取摄像设备采集的用户图像；
[0035]姿态识别子模块，用于对所述用户图像进行识别以得到所述面捕姿态参数。
[0036]可选地，所述装置还包括：
[0037]模型部署模块，用于在所述云端部署预置的图像处理模型；所述预置的图像处理模型用于对所述虚拟角色的图像进行特征提取以得到图像特征信息。
[0038]本申请实施例的一个方面又提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述的虚拟角色的驱动控制方法的步骤。
[0039]本申请实施例的一个方面又提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行所述计算机程序时实现如上述的虚拟角色的驱动控制方法的步骤。
[0040]本申请实施例提供的虚拟角色的驱动控制方法、系统、设备及计算机可读存储介质，通过将虚拟角色的图像发送至云端；接收所述云端对所述虚拟角色的图像进行特征提取之后返回的图像特征信息；获取用户图像对应的面捕姿态参数；根据所述图像特征信息和面捕姿态参数确定光流特征信息；基于所述光流特征信息进行光流形变处理，以驱动所述虚拟角色的脸部进行姿态变换。从而可以借助云端强大的计算能力的优势，捕捉易于驱动的图像特征，通过云端下发图像特征信息到移动端，移动端结合面捕姿态参数轻松实现实时驱动虚拟角色的脸部。而且，用户仅需要提供一张图像，就可以实现虚拟角色的脸部的驱动，降低虚拟角色的脸部驱动的使用门槛，能够轻松实现批量制作，节省制作过程需要消耗的时间和人力成本。
附图说明
[0041]图1示意性示出了根据本申请实施例的虚拟角色的驱动控制方法的应用环境图；
[0042]图2示意性示出了根据本申请实施例一的虚拟角色的驱动控制方法的流程图；
[0043]图3示意性示出了根据本申请实施例一的一种角色图像的示意图；
[0044]图4示意性示出了根据本申请实施例一的虚拟角色的驱动控制方法的框架示意图；
[0045]图5示意性示出了根据本申请实施例二的虚拟角色的驱动控制装置的框图；及
[0046]图6示意性示出了根据本申请实施例三的适于实现虚拟角色的驱动控制方法的计算机设备的硬件架构示意图。
具体实施方式
[0047]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0048]需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟角色的驱动控制方法，其特征在于，包括：将虚拟角色的图像发送至云端；接收所述云端对所述虚拟角色的图像进行特征提取之后返回的图像特征信息；获取用户图像对应的面捕姿态参数；根据所述图像特征信息和面捕姿态参数确定光流特征信息；基于所述光流特征信息进行光流形变处理，以驱动所述虚拟角色的脸部进行姿态变换。2.根据权利要求1所述的虚拟角色的驱动控制方法，其特征在于，所述根据所述图像特征信息和面捕姿态参数确定光流特征信息，包括：对所述图像特征信息和面捕姿态参数进行矩阵相乘处理，以确定所述光流特征信息。3.根据权利要求1所述的虚拟角色的驱动控制方法，其特征在于，所述获取用户图像对应的面捕姿态参数，包括：实时获取用户图像对应的面捕姿态参数；或，按照预设周期获取用户图像对应的面捕姿态参数。4.根据权利要求1或3所述的虚拟角色的驱动控制方法，其特征在于，所述获取用户图像对应的面捕姿态参数，包括：获取摄像设备采集的用户图像；对所述用户图像进行识别以得到所述面捕姿态参数。5.根据权利要求1所述的虚拟角色的驱动控制方法，其特征在于，在所述将用户输入的虚拟角色的图像发送至云端的步骤之前，还包括：在所述云端部署预置的图像处理模型；所述预置的图像处理模型用于对所述虚拟角色的图像进行特征提取以得到图像特征信息。6.一种虚拟角色的驱动控制装置，其特征在于，包括：图像发送模块，用于将虚拟角色的图像发送至云端；图像特征接收模块，用于接收所述云端对所述虚拟角色的图像进行特征提取之后返回的图像特征信息；面捕姿态获取模块，用于获取用户图像对应的面捕姿态参数；光流特征确定模块，用于根据所述图像特征信息和面捕姿态...

【专利技术属性】
技术研发人员：尹名玉，何涛，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：