一种优化人脸驱动参数的方法及电子设备技术

本申请涉及三维重建技术领域，提供一种优化人脸驱动参数的方法及电子设备，应用于远程三维通信系统，在远程三维交互前，将目标对象的初始人脸图像中识别的性别和年龄作为先验知识，加载对应的皱纹信息，将皱纹信息加入初始参数化头部模型中，增加面部皱纹细节描述，提升人脸的重建精度；在远程三维交互过程中，用皱纹信息，优化用于根据目标对象的当前面部表情对初始参数化头部模型进行驱动的参数，使得目标对象的各个表情基包含皱纹的描述特征，实现通过增加皱纹的方式，进一步提高面部表情的驱动精度，从而更好的表现人脸表情驱动的细节精度，提高人脸表情表达的真实性。提高人脸表情表达的真实性。提高人脸表情表达的真实性。

【技术实现步骤摘要】
一种优化人脸驱动参数的方法及电子设备


[0001]本申请涉及三维重建
，提供一种优化人脸驱动参数的方法及电子设备。

技术介绍

[0002]三维数字人是远程三维通信系统呈现的基础，通过将交互双方的三维数字人放置在同一虚拟环境中，从而实现面对面的沉浸式交互方式。在人与人交互过程中，通过一个人的脸部特征，可以获得其性别、年龄、肤色等基础属性信息，且通过人脸丰富的姿势和表情变化，可以知晓其情绪变化。因此，人脸重建作为远程三维通信系统中人体重建的最重要的部分之一。
[0003]在远程三维通信系统中，为保证交互的流畅性，一般采用驱动参数化头部模型运动的方式完成人脸的三维重建，该重建方式在人脸大幅度运动的情况下有较好的重建效果，例如张嘴、抬眉、微笑等动作，以及头部旋转、平移等刚性运动的情况下。然而，由于参数化头部模型的驱动参数中忽略了人脸上的细节信息，例如微笑时脸颊的法令纹和眼旁的眼角纹、以及抬眉毛时的抬头纹等，导致重建的人脸三维模型的精细程度较低，使得远程三维通信过程中交互双方不能很好的理解对方的表情，降低了沉浸式体验。

技术实现思路

[0004]本申请实施例提供了一种优化人脸驱动参数的方法及电子设备，用于提高三维数字人面部表情的驱动精度。
[0005]一方面，本申请实施例提供一种优化人脸驱动参数的方法，应用于远程三维通信系统，所述方法包括：
[0006]在远程三维交互前，获取目标对象的初始人脸图像，从所述初始人脸图像中提取初始人脸关键点以及识别出所述目标对象的性别和年龄；
[0007]根据所述目标对象的性别和年龄，加载对应的皱纹信息；
[0008]根据所述皱纹信息，获得标准参数化头部模型；
[0009]根据所述初始人脸关键点和所述标准参数化头部模型，确定所述目标对象的初始参数化头部模型；
[0010]在远程三维交互过程中，获取目标对象的目标人脸图像，从所述目标人脸图像中提取目标人脸关键点；
[0011]根据所述初始参数化头部模型和所述目标人脸关键点，确定目标驱动参数；
[0012]根据所述皱纹信息优化所述目标驱动参数，以使渲染显示终端根据优化后的目标驱动参数驱动预先存储的所述初始参数化头部模型运动，得到所述目标对象的目标参数化头部模型。
[0013]另一方面，本申请实施例提供一种电子设备，应用于远程三维通信系统，包括处理器、存储器和通信接口，所述存储器、所述通信接口和所述处理器通过总线连接；
[0014]所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
[0015]在远程三维交互前，获取目标对象的初始人脸图像，从所述初始人脸图像中提取初始人脸关键点以及识别出所述目标对象的性别和年龄；
[0016]根据所述目标对象的性别和年龄，加载对应的皱纹信息；
[0017]根据所述皱纹信息，获得标准参数化头部模型；
[0018]根据所述初始人脸关键点和所述标准参数化头部模型，确定所述目标对象的初始参数化头部模型；
[0019]在远程三维交互过程中，获取目标对象的目标人脸图像，从所述目标人脸图像中提取目标人脸关键点；
[0020]根据所述初始参数化头部模型和所述目标人脸关键点，确定目标驱动参数；
[0021]根据所述皱纹信息优化所述目标驱动参数，并通过所述通信接口，将优化后的目标驱动参数发送给渲染显示终端，以使所述渲染显示终端根据优化后的目标驱动参数驱动预先存储的所述初始参数化头部模型运动，得到所述目标对象的目标参数化头部模型。
[0022]另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本申请实施例提供的优化人脸驱动参数的方法步骤。
[0023]本申请实施例提供的优化人脸驱动参数的方法及电子设备，应用于远程三维通信系统，在远程三维交互前，将目标对象的初始人脸图像中识别的性别和年龄作为先验知识，加载对应的皱纹信息，将皱纹信息加入初始参数化头部模型中，增加面部皱纹细节描述，提升人脸的重建精度；在远程三维交互过程中，用皱纹信息，优化用于根据目标对象的当前面部表情对初始参数化头部模型进行驱动的参数，使得目标对象的各个表情基包含皱纹的描述特征，实现通过增加皱纹的方式，进一步提高面部表情的驱动精度，从而更好的表现重建人脸的细节精度，提高人脸重建的真实性。
附图说明
[0024]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本申请实施例提供一种远程三维交互系统的架构图；
[0026]图2为本申请实施例提供另一种远程三维交互系统的架构图；
[0027]图3为本申请实施例提供的一种驱动参数的优化方式示意图；
[0028]图4为本申请实施例提供的另一种驱动参数的优化方式示意图；
[0029]图5为本申请实施例提供的远程三维交互前皱纹信息加入方式示意图；
[0030]图6为本申请实施例提供的远程三维交互过程中皱纹信息加入方式示意图；
[0031]图7为本申请实施例提供的优化人脸驱动参数的方法流程图；
[0032]图8为本申请实施例提供的人脸皱纹类型示意图；
[0033]图9为本申请实施例提供的常见的人脸皱纹示意图；
[0034]图10为本申请实施例提供的电子设备的结构图。
具体实施方式
[0035]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
[0036]研究发现，对于人类来说，情感表露＝7％的言词+38％的声音+55％的脸部表情，由此可见人脸表情的重要性。并且，人脸的表情动作虽然只有43块表情肌肉来驱动，但可以表达上万种表情，是心理学、艺术、哲学等各领域的重要研究对象。
[0037]人脸作为远程三维通信系统中呈现的三维数字人情感表露的重要部分，其精细程度直接影响远程三维交互体验。
[0038]目前，重建的人脸三维模型主要分为过程式参数模型、生理结构模型和数据驱动参数模型三种。其中：
[0039]过程式参数模型主要通过人脸构造参数与人脸动画参数来描述人脸外观和形状的变化，影响最大的是MPEG
‑
4人脸动画标准。该标准通过静态参数和动态参数来表示不同个体和不同表情的人脸形状变化。但该模型仅通过简单的表面几何形状模拟人脸运动，真实感较差，缺乏生理角度的运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种优化人脸驱动参数的方法，其特征在于，应用于远程三维通信系统，所述方法包括：在远程三维交互前，获取目标对象的初始人脸图像，从所述初始人脸图像中提取初始人脸关键点以及识别出所述目标对象的性别和年龄；根据所述目标对象的性别和年龄，加载对应的皱纹信息；根据所述皱纹信息，获得标准参数化头部模型；根据所述初始人脸关键点和所述标准参数化头部模型，确定所述目标对象的初始参数化头部模型；在远程三维交互过程中，获取目标对象的目标人脸图像，从所述目标人脸图像中提取目标人脸关键点；根据所述初始参数化头部模型和所述目标人脸关键点，确定目标驱动参数；根据所述皱纹信息优化所述目标驱动参数，以使渲染显示终端根据优化后的目标驱动参数驱动预先存储的所述初始参数化头部模型运动，得到所述目标对象的目标参数化头部模型。2.如权利要求1所述的方法，其特征在于，根据所述目标对象的性别和年龄加载对应的皱纹信息之前，所述方法还包括：获取所述目标对象的语音数据，并从所述语音数据中识别所述目标对象的性别和年龄；将所述语音数据和所述初始人脸图像中分别识别出的所述目标对象的性别进行加权，以及对所述语音数据和所述初始人脸图像中分别识别出的所述目标对象的年龄进行加权，以对所述初始人脸图像中识别出的所述目标对象的性别和年龄分别进行优化。3.如权利要求1或2所述的方法，其特征在于，所述皱纹信息包含皱纹数量、皱纹密度、皱纹长度和皱纹类型中的至少一项。4.如权利要求1或2所述的方法，其特征在于，所述目标驱动参数包含目标形状参数、目标姿态参数和目标表情参数；所述根据所述皱纹信息优化所述目标驱动参数，以使渲染显示终端根据优化后的目标驱动参数驱动预先存储的所述初始参数化头部模型运动，得到所述目标对象的目标参数化头部模型，包括：根据所述皱纹信息优化所述目标形状参数，以使渲染显示终端根据所述目标姿态参数、所述目标表情参数和优化后的目标形状参数驱动预先存储的所述初始参数化头部模型运动，得到所述目标对象的目标参数化头部模型。5.如权利要求4所述的方法，其特征在于，优化过程公式表示如下：其中，base是自然状态下所述初始参数化头部模型对应的初始驱动参数，自然状态下所述初始驱动参数中的初始形状参数和初始表情参数为0，β
i
表示当前表情下第i个表情基的目标形状参数，ψ
i
当前表情下第i个表情基的目标表情参数，n为表情基的总数。6.如权利要求1所述的方法，其特征在于，向渲染显示终端发送优化后的目标驱动参数之前，所述方法还包括：根据优化后的目标驱动参数，设置所述目标对象面部的各个表情...

【专利技术属性】
技术研发人员：刘帅，吴连朋，
申请(专利权)人：聚好看科技股份有限公司，
类型：发明
国别省市：