本申请提供了一种虚拟人物面部驱动方法、装置、终端设备和可读存储介质，其中方法包括获取用户的面部图像，对面部图像进行人脸关键点检测，得到用户人脸关键点；对用户人脸关键点进行平滑处理；对平滑处理后的用户人脸关键点与标准人脸关键点采用最小二乘法进行对齐处理，得到对齐后的人脸关键点矩阵；对对齐后的人脸关键点矩阵按照人脸部位进行划分，得到各部位关键点矩阵；对各表情基按照人脸部位进行划分，得到各部位表情基矩阵；将各部位表情基矩阵输入到对应的部位关键点矩阵进行稀疏编码，计算出各编码系数；采用各编码系数来驱动虚拟人物面部。该方法可以使虚拟人物表情驱动的效果更加平滑和细腻，以及面部驱动效果更加逼真。加逼真。加逼真。
【技术实现步骤摘要】
虚拟人物面部驱动方法、装置、终端设备和可读存储介质
[0001]本申请涉及人脸识别与驱动
，具体涉及一种虚拟人物面部驱动方法、装置、终端设备和可读存储介质。
技术介绍
[0002]随着通信方式不断地发展，信息的传输也越来越快；与此同时虚拟人物也在借此机会不断地突破创新。虚拟人物可以使得人与人之间在地理位置的距离在感知层面上逐渐的缩短，从而实现实时互动，因此面向客户端用户的虚拟人物的相关应用也愈发增多。目前，相关产品例如Kalidokit、ARkit都可以实现对虚拟人物进行驱动。
[0003]传统的虚拟人物驱动一般依赖于大型动捕设备，即需要多个摄像头或深度摄像头（例如ARkit）对人脸面部进行特征提取，比较难在低运算能力的平台（例如低配置PC、手机）进行广泛地应用，并保持较好的效果。并且目前虚拟人物大部分都是通过人脸面部关键点来驱动的，即通过计算待测人物关键点相对于正常表情下的关键点偏移，并基于关键点偏移和一些预设好的规则来驱动虚拟人物。然而，通过该驱动方法得到的虚拟人物表情不够细腻，从而导致显示效果不佳。
技术实现思路
[0004]有鉴于此，本申请实施例中提供了一种虚拟人物面部驱动方法、装置、终端设备和可读存储介质，以克服现有技术中驱动得到的虚拟人物表情不够细腻，从而导致显示效果不佳的问题。
[0005]第一方面，本申请实施例提供了一种虚拟人物面部驱动方法，该方法包括：获取用户的面部图像，对所述面部图像进行人脸关键点检测，得到用户人脸关键点；对所述用户人脸关键点进行平滑处理；对平滑处理后的用户人脸关键点与标准人脸关键点采用最小二乘法进行对齐处理，得到对齐后的人脸关键点矩阵；对所述对齐后的人脸关键点矩阵按照人脸部位进行划分，得到各部位关键点矩阵；对各表情基按照人脸部位进行划分，得到各部位表情基矩阵；将各所述部位表情基矩阵输入到对应的所述部位关键点矩阵进行稀疏编码，计算出各编码系数；采用各所述编码系数来驱动虚拟人物面部。
[0006]第二方面，本申请实施例提供了一种虚拟人物面部驱动装置，该装置包括：面部图像获取模块，用于获取用户的面部图像；关键点检测模块，用于对所述面部图像进行人脸关键点检测，得到用户人脸关键点；
平滑处理模块，用于对所述用户人脸关键点进行平滑处理；对齐模块，用于对平滑处理后的用户人脸关键点与标准人脸关键点采用最小二乘法进行对齐处理，得到对齐后的人脸关键点矩阵；第一划分模块，用于对所述对齐后的人脸关键点矩阵按照人脸部位进行划分，得到各部位关键点矩阵；第二划分模块，用于对各表情基按照人脸部位进行划分，得到各部位表情基矩阵；编码系数计算模块，用于将各所述部位表情基矩阵输入到对应的所述部位关键点矩阵进行稀疏编码，计算出各编码系数；驱动模块，用于采用各所述编码系数来驱动虚拟人物面部。
[0007]第三方面，本申请实施例提供了一种终端设备，包括：存储器；一个或多个处理器，与所述存储器耦接；一个或多个应用程序，其中，一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于执行上述第一方面提供的虚拟人物面部驱动方法。
[0008]第四方面，本申请实施例提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，程序代码可被处理器调用执行上述第一方面提供的虚拟人物面部驱动方法。
[0009]本申请实施例提供的虚拟人物面部驱动方法、装置、终端设备和可读存储介质，首先获取用户的面部图像，对面部图像进行人脸关键点检测，得到用户人脸关键点；然后对用户人脸关键点进行平滑处理；对平滑处理后的用户人脸关键点与标准人脸关键点采用最小二乘法进行对齐处理，得到对齐后的人脸关键点矩阵；再对对齐后的人脸关键点矩阵按照人脸部位进行划分，得到各部位关键点矩阵；对各表情基按照人脸部位进行划分，得到各部位表情基矩阵；将各部位表情基矩阵输入到对应的部位关键点矩阵进行稀疏编码，计算出各编码系数；最后采用各编码系数来驱动虚拟人物面部。
[0010]本申请实施例提供的虚拟人物面部驱动方法，对用户人脸关键点进行平滑处理，可以使得虚拟人物表情驱动的效果更加平滑和细腻，并且采用了基于最小二乘法的关键点对齐和稀疏编码方法，能提高计算精度和速度，使得虚拟人物的面部驱动效果更加逼真，进一步提高了显示效果。
附图说明
[0011]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0012]图1为本申请实施例提供的虚拟人物面部驱动方法的应用场景示意图；图2为本申请一个实施例提供的虚拟人物面部驱动方法的流程示意图；图3为本申请一个实施例提供的确定标准人脸关键点的示意图；图4为本申请一个实施例提供的向量合成方法的结构示意图；图5为本申请一个实施例提供的选取锚定点的结构示意图；图6为本申请一个实施例中提供的虚拟人物面部驱动装置的结构示意图；
图7为本申请一个实施例中提供的终端设备的结构示意图；图8为本申请一个实施例中提供的计算机可读存储介质的结构示意图。
具体实施方式
[0013]下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0014]为了更详细说明本申请，下面结合附图对本申请提供的一种虚拟人物面部驱动方法、装置、终端设备和计算机可读存储介质，进行具体地描述。
[0015]请参考图1，图1示出了本申请实施例提供的虚拟人物面部驱动方法的应用场景的示意图，该应用场景包括本申请实施例提供的终端设备100，终端设备100可以是具有显示屏的各种电子设备（如102、104、106和108的结构图），包括但不限于智能手机和计算机设备，其中计算机设备可以是台式计算机、便携式计算机、膝上型计算机、平板电脑等设备中的至少一种。终端设备可以安装有摄像头或图像采集模块，主要用于采集用户的视频图像，其中用户的视频图像用于来识别图像识别出用户的面部图像，然后基于用户的面部图像来进行虚拟人物面部驱动。终端设备100可以泛指多个终端设备中的一个，本实施例仅以终端设备100来举例说明。本领域技术人员可以知晓，上述终端设备的数量可以更多或更少。比如上述终端设备可以仅为几个，或者上述终端设备为几十个或几百个，或者更多数量，本申请实施例对终端设备的数量和类型不加以限定。终端设备100可以用来执行本申请实施例中提供的一种虚拟人物面部驱动方法。
[0016]可选地，终端设备100可以包括视频采集模块、人脸检测模块、人脸关键点平滑对齐模块、基于稀疏编码的BlenderShape重组模块、BlenderShape顶点解析与存储模块和unity驱动模块，其中视频采集模本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种虚拟人物面部驱动方法，其特征在于，所述方法包括：获取用户的面部图像，对所述面部图像进行人脸关键点检测，得到用户人脸关键点；对所述用户人脸关键点进行平滑处理；对平滑处理后的用户人脸关键点与标准人脸关键点采用最小二乘法进行对齐处理，得到对齐后的人脸关键点矩阵；对所述对齐后的人脸关键点矩阵按照人脸部位进行划分，得到各部位关键点矩阵；对各表情基按照人脸部位进行划分，得到各部位表情基矩阵；将各所述部位表情基矩阵输入到对应的所述部位关键点矩阵进行稀疏编码，计算出各编码系数；采用各所述编码系数来驱动虚拟人物面部。2.根据权利要求1所述的方法，其特征在于，所述获取用户的面部图像，包括：获取用户的视频图像；对所述视频图像采用人脸检测模型进行检测，得到用户的面部图像。3.根据权利要求1所述的方法，其特征在于，所述对所述用户人脸关键点进行平滑处理，包括：采用向量合成方法来对所述用户人脸关键点进行平滑处理。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述对平滑处理后的用户人脸关键点与标准人脸关键点采用最小二乘法进行对齐处理，包括：对所述平滑处理后的用户人脸关键点采用仿射变换矩阵进行处理，得到变换后的用户人脸关键点；其中所述仿射变换矩阵采用所述最小二乘法计算得到；从所述标准人脸关键点中筛选出锚定点；基于所述锚定点将所述变换后的用户人脸关键点与标准人脸关键点进行对齐处理。5.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述将各所述部位表情基矩阵输入到对应的所述部位关键点矩阵进行稀疏编码，计算出各编码系数，包括：采用各所述部位表情基矩阵来对对应的部位关键点矩阵进行稀疏表示，以得到各所述编码系数。6.根据权利要求5所述的方法，其特征在于...
【专利技术属性】
技术研发人员：张顺四，卢增，赵寒枫，张强，
申请(专利权)人：广州趣丸网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。