表情跟踪方法、装置、设备以及存储介质制造方法及图纸

本申请提供了一种表情跟踪方法、装置、设备以及存储介质，涉及人工智能的计算机视觉领域，该方法包括：获取目标人物的中立脸模型和该中立脸模型对应的M个表请基BS，M＞0；在多个视角方向上采集该目标人物的人脸，得到与该多个视角分别对应多个当前图像；利用表情跟踪算法，计算用于跟踪该多个当前图像中的人脸表情且与该M个BS分别对应的M个BS系数；基于该中立脸模型、该M个BS以及该M个系数，构建多个当前图像的跟踪图像。本申请提供的表情跟踪方法能够提升表情跟踪效果。够提升表情跟踪效果。够提升表情跟踪效果。

【技术实现步骤摘要】
表情跟踪方法、装置、设备以及存储介质
[0001]本申请要求于2021年12月06日提交专利局、申请号为202111478236.2、专利技术名称为“表情跟踪方法、装置、设备以及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请实施例涉及人工智能的计算机视觉领域，并且更具体地，涉及表情跟踪方法、装置、设备以及存储介质。

技术介绍

[0003]三维(three dimensional)人脸表情跟踪指对视频中的人物角色进行表情跟踪，并以此驱动不同3D人脸模型，使得3D人脸模型表现出与视频中的人物的对应的表情。通常情况下，3D人脸模型可以实现为三维可变形人脸模型(3D Morphable Face Model，3DMM)，3DMM为一个通用的三维人脸参数化模型，用固定的点数来表示人脸。3DMM的核心思想是将人脸可以在三维空间中进行一一匹配并对数据库中的多幅人脸进行正交基加权线性相加得到人脸模型，以实现表情跟踪。
[0004]具体而言，可以基于3DMM的思想，基于平均脸模型构建多幅人脸，即平均脸模型对应的表情基(BS)；基于此，需要进行表情跟踪时，可以先基于平均脸模型对应的表情基(BS)的初始系数，利用3DMM构建出带有表情的人脸模型，然后，将构建出的人脸模型投影至待跟踪图像上，得到投影图像；接着，可以根据投影图像的人脸关键点和待跟踪图像的人脸关键点之间的差异，调整该平均脸模型对应的BS的初始系数直至结果收敛，使得3DMM最终能够构建出的人脸模型更贴合待跟踪图像的人脸表情。
[0005]但是，由于不同人脸图像之间的差异性，例如不同年龄段的人物的人脸形状存在差距，采用平均脸模型，很有可能会导致平均脸模型和视频中人物的轮廓不像，进而会影响投影结果的贴合程度，降低了表情跟踪效果。此外，BS的表达能力同样会影响表情跟踪效果，使用平均脸模型对应的BS进行跟踪，会导致BS的表达能力欠佳，进一步降低了表情跟踪效果。

技术实现思路

[0006]本申请实施例提供了一种表情跟踪方法、装置、设备以及存储介质，能够提升表情跟踪效果。
[0007]一方面，本申请提供了一种表情跟踪方法，包括：
[0008]获取目标人物的中立脸模型和该中立脸模型对应的M个表请基BS，M＞0；
[0009]在多个视角方向上采集该目标人物的人脸，得到与该多个视角分别对应多个当前图像；
[0010]利用表情跟踪算法，计算用于跟踪该多个当前图像中的人脸表情且与该M个BS分别对应的M个BS系数；
[0011]基于该中立脸模型、该M个BS以及该M个系数，构建多个当前图像的跟踪图像。
[0012]另一方面，本申请提供了一种表情跟踪装置，包括：
[0013]获取单元，用于获取目标人物的中立脸模型和该中立脸模型对应的M个表请基BS，M＞0；
[0014]采集单元，用于在多个视角方向上采集该目标人物的人脸，得到与该多个视角分别对应多个当前图像；
[0015]计算单元，用于利用表情跟踪算法，计算用于跟踪该多个当前图像中的人脸表情且与该M个BS分别对应的M个BS系数；
[0016]构建单元，用于基于该中立脸模型、该M个BS以及该M个系数，构建多个当前图像的跟踪图像。
[0017]另一方面，本申请提供了一种电子设备，包括：
[0018]处理器，适于实现计算机指令；以及，
[0019]计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令适于由处理器加载并执行上述第一方面的方法。
[0020]另一方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被计算机设备的处理器读取并执行时，使得计算机设备执行上述第一方面的方法。
[0021]另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面的方法。
[0022]基于以上技术方案，本申请引入了目标人物的中立脸模型和该中立脸模型对应的M个表请基BS，与基于平均脸模型进行表情跟踪的方案相比，基于目标人物的中立脸模型和该中立脸模型对应的M个表请基BS构建的跟踪图像，不仅能够提升BS的表达能力，还能够使得跟踪图像中的人脸表情更加符合目标人物的轮廓，进而，提升了表情跟踪效果。
[0023]此外，本申请基于多视角的思路，将多个当前图像设计为在多个视角方向上采集该目标人物的人脸得到与该多个视角分别对应的图像，以针对该多个当前图像进行表情跟踪，能够丰富表情跟踪算法的参考信息，相应的，能够提升M个BS系数的准确度，进一步提升了表情跟踪效果。
[0024]另外，在提升表情跟踪效果的同时，也有利于表情跟踪算法在实际产品落地的可操作性。
附图说明
[0025]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为本申请实施例涉及的人脸基准点示意图。
[0027]图2为本申请实施例涉及的一种应用场景示意图。
[0028]图3是本申请实施例提供的表情跟踪方法的示意性流程图。
[0029]图4是本申请实施例提供的BS的示意图。
[0030]图5是本申请实施例提供的构建跟踪图像的示意图。
[0031]图6是本申请实施例提供的多个当前图像的示意图。
[0032]图7是本申请实施例提供的基于在多个视角方向上采集的多个视频构建中立脸模型的示意图。
[0033]图8是本申请实施例提供的基于图像构建中立脸模型的示意图。
[0034]图9是本申请实施例提供的表情跟踪装置的示意性框图。
[0035]图10是本申请实施例提供的电子设备的示意性框图。
具体实施方式
[0036]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0037]本申请提供的方案可涉及人工智能技术。
[0038]其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情跟踪方法，其特征在于，包括：获取目标人物的中立脸模型和所述中立脸模型对应的M个表请基BS，M＞0；在多个视角方向上采集所述目标人物的人脸，得到与所述多个视角分别对应多个当前图像；利用表情跟踪算法，计算用于跟踪所述多个当前图像中的人脸表情且与所述M个BS分别对应的M个BS系数；基于所述中立脸模型、所述M个BS以及所述M个系数，构建多个当前图像的跟踪图像。2.根据权利要求1所述的方法，其特征在于，所述利用表情跟踪算法，计算用于跟踪所述多个当前图像中的人脸表情且与所述M个BS分别对应的M个BS系数，包括：利用所述M个BS和与所述M个BS分别对应的M个初始系数，构建带有表情的中间图像；基于所述中立脸模型位姿信息，将所述中间图像分别投影至所述多个当前图像，得到多个投影图像；计算所述多个投影图像的至少一个损失；基于所述至少一个损失，调整所述M个初始系数，得到所述M个BS系数。3.根据权利要求2所述的方法，其特征在于，所述至少一个损失包括第一损失；所述第一损失表征为第一当前图像的人脸关键点和第一投影图像的人脸关键点之间的差异；其中，所述第一当前图像为在所述多个视角方向的中间视角方向上采集所述目标人物的人脸得到的图像，所述第一投影图像为所述中间图像投影至所述第一当前图像得到的投影图像。4.根据权利要求2所述的方法，其特征在于，所述至少一个损失包括第二损失；所述第二损失表征为以下中的至少一项：第二当前图像中的左侧区域的人脸关键点和第二投影图像中的左侧区域的人脸关键点之间的误差、以及第三当前图像中的右侧区域的人脸关键点和第三投影图像中的右侧区域的人脸关键点之间的差异；其中，所述第二当前图像为在所述多个视角方向中的左侧视角方向上采集所述目标人物的人脸得到的图像，所述第二投影图像为所述中间图像投影至所述第二当前图像得到的投影图像；所述第三当前图像为在所述多个视角方向中的右侧视角方向上采集所述目标人物的人脸得到的图像，所述第三投影图像为所述中间图像投影至所述第三当前图像得到的投影图像。5.根据权利要求2所述的方法，其特征在于，所述至少一个损失包括第三损失，所述第三损失表征为所述多个投影图像分别与多个参考图像之间的光流误差；其中，所述多个参考图像为所述中间图像分别投影至多个相邻图像得到的投影图像，所述多个相邻图像为在采集所述多个当前图像之前在所述多个视角方向上采集的、用于跟踪人脸表情的、且与所述多个当前图像相邻的图像。6.根据权利要求2所述的方法，其特征在于，所述至少一个损失包括第四损失，所述第四损失表征为以下中的至少一项：所述M个初始系数的和、所述M个初始系数和和M个参考系数之间的差异、以及所述多个当前图像的姿态信息分别与多个相邻图像的姿态信息之间的差异；其中，所述多个相邻图像为在采集所述多个当前图像之前在所述多个视角方向上采集
的、用于跟踪人脸表情的、且与所述多个当前图像相邻的图像，所述M个参考系数为用于构建所述多个相邻图像的跟踪图像的BS系数。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述基于所述中立脸模型、所述M个BS以及所述M个系数，构建多个当前图像的跟踪图像，包括：若所述M个BS分别对应人脸的M个区域、且M为偶数，则在所述M个系数中第一区域对应的第一系数和第二区域对应的第二系数不相同、且所述第一区域和所述第二区域对称时，确定所述第一系数和所述第二系数的平均值；将所述平均值确定为所述第一区域对应的系数以及所述第二区域对应的系数；基于所述中立脸模型、所述M个B...

【专利技术属性】
技术研发人员：张浩贤，薛唐立，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：