人脸跟踪方法和装置制造方法及图纸

本发明专利技术公开了一种人脸跟踪方法和装置。该方法包括：获取序列图像中当前帧图像的人脸特征信息和序列图像中前序帧图像的人脸跟踪信息，其中，前序帧图像为在序列图像中位于当前帧图像之前的帧图像，人脸特征信息中记录有当前帧图像中人脸特征点的信息，人脸跟踪信息用于记录前序帧图像的人脸跟踪结果；基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像；利用调整帧图像的人脸跟踪信息和当前帧图像的人脸特征信息拟合出当前帧图像的调整参数；基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。本发明专利技术解决了现有的人脸配准点跟踪算法难以同时保证高准确度与低复杂度的技术问题。

Face tracking method and device

The invention discloses a human face tracking method and a device thereof. The method includes: obtaining the face pre order image feature information and image sequence of the current frame image in image sequence tracking information in the pre order, which is located in the current frame image frame image before the image sequence, the facial features are documented in the present information of facial feature points of the image. Face tracking information for face tracking results recorded pre order frames; face tracking information of current frame image feature information and pre order image based on image sequence was selected to adjust the frame image; by adjusting the frame image and face tracking information of current frame image feature information fitting parameter adjustment of the current frame image; face tracking information to adjust the parameters and pre order image based on the determined face tracking information of current frame image. The invention solves the technical problems that the existing face registration point tracking algorithms can not guarantee high accuracy and low complexity at the same time.

【技术实现步骤摘要】
人脸跟踪方法和装置
本专利技术涉及信息处理领域，具体而言，涉及一种人脸跟踪方法和装置。
技术介绍
人脸配准算法作为人脸识别的一个重要处理环节，通过人脸配准算法可以确定人脸照片上各关键点位置的信息，利用该关键点位置的信息，一方面可以在自动P图、自动美妆等应用中实现更加智能化的功能，另一方面也可以准确判断用户的动作信息，如用户是否闭眼、是否张嘴等动作信息，对活体检测、疲劳驾驶检测等应用有巨大的帮助。现有技术中，通常通过单张照片进行人脸配准点跟踪实现人脸识别等上述功能，然而单张照片提供的信息有限，难以获得准确、稳定的配准点。为了解决该问题，现有技术中利用视频中邻近帧包含的信息具有高度相关性的特点，通过相邻帧提供的辅助信息，有效提高当前帧图像配准结果的准确性和稳定性。具体地，利用前后多帧配准结果求平均的方法提高配准点稳定性，采用该方案对于变化剧烈的视频序列，配准点准确性会严重降低，并且，利用后帧配准结果会使跟踪结果产生时延，无法保证实时性；设定防抖动规则，控制前后帧配准点结果的抖动幅度，以提高配准点稳定性，然而，由于防抖动规则非常复杂，难以将各种可能情形考虑周全，在某些特例情形下，跟踪结果的准确性和稳定性都会明显降低；直接以视频作为输入，用3DCNN(即3D卷积神经网络，用于运动识别)或LSTM(即LongShort-TermMemory，时间递归神经网络)等深度学习网络直接训练视频配准点结果，在该方案中，需要大量的标注训练样本视频，实际应用时代价很高。此外该类算法的耗时与内存开销往往都会较大。针对上述现有的人脸配准点跟踪算法难以同时保证高准确度与低复杂度的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种人脸跟踪方法和装置，以至少解决现有的人脸配准点跟踪算法难以同时保证高准确度与低复杂度的技术问题。根据本专利技术实施例的一个方面，提供了一种人脸跟踪方法，包括：获取序列图像中当前帧图像的人脸特征信息和序列图像中前序帧图像的人脸跟踪信息，其中，前序帧图像为在序列图像中位于当前帧图像之前的帧图像，人脸特征信息中记录有当前帧图像中人脸特征点的信息，人脸跟踪信息用于记录前序帧图像的人脸跟踪结果；基于所述当前帧图像的人脸特征信息和所述前序帧图像的人脸跟踪信息，从所述前序帧图像中选取调整帧图像；利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数；基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。根据本专利技术实施例的另一方面，还提供了一种人脸跟踪装置，包括：第一获取单元，用于获取序列图像中当前帧图像的人脸特征信息和序列图像中前序帧图像的人脸跟踪信息，其中，前序帧图像为在序列图像中位于当前帧图像之前的帧图像，人脸特征信息中记录有当前帧图像中人脸特征点的信息，人脸跟踪信息用于记录前序帧图像的人脸跟踪结果；第一选取模块，用于基于所述当前帧图像的人脸特征信息和所述前序帧图像的人脸跟踪信息，从所述前序帧图像中选取调整帧图像；拟合模块，用于利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数；第二确定单元，用于基于调整参数和前序帧图像的人脸跟踪信息，确定当前帧图像的人脸跟踪信息。在本专利技术实施例中，基于当前帧图像的人脸特征信息和前序帧图像的人脸跟踪信息，从前序帧图像中选取调整帧图像，并利用调整帧图像的信息确定用于减小当前帧图像的人脸跟踪信息的误差的调整参数，利用该调整参数可以准确地确定当前帧图像的人脸跟踪信息。通过上述实施例，使用前序帧图像的信息确定调整参数，而不使用后续帧图像的信息，不会产生时延，可以保证实时性；并且，在该方案中无需配置复杂的防抖规则，跟踪信息的获取方式简单；进一步地，上述方案无需标注大量即可确定准确的人脸跟踪信息，解决了现有技术中人脸配准点跟踪算法难以同时保证高准确度与低复杂度的问题，实现了使用简单的处理方式保证人脸跟踪信息的高准确度的效果。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的定义的人脸特征点的位置示意图；图2是根据本专利技术实施例的人脸跟踪方法的硬件环境的示意图；图3是根据本专利技术实施例的一种可选的人脸跟踪方法的流程图；图4是根据本专利技术实施例的又一种可选的人脸跟踪方法的流程图；图5是根据本专利技术实施例的再一种可选的人脸跟踪方法的流程图；图6是根据本专利技术实施例的一种可选的人脸跟踪装置的示意图；图7是根据本专利技术实施例的另一种可选的人脸跟踪装置的示意图；以及图8是根据本专利技术实施例的一种终端的结构框图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。首先，在对本专利技术实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：人脸关键点：人脸上具有语义特征的位置点，也可以称之为特征点。如图1所示，在该申请实施例中可以预先定义多个人脸区域的多个人脸关键点，可选地，每个人脸区域可以对应多个人脸关键点，可以通过每个人脸关键点在图像中的位置信息来记录每个人脸关键点的信息。具体地，如图1所示，可以将人脸区域划分为下颚轮廓、左眉毛、右眉毛、左眼、鼻子和嘴巴，可以定义90个人脸关键点，如定义的第一至第七个人脸关键点位于左眉毛的区域，定义的第八个至第十六个人脸关键点位于右眉毛的区域、定义的第十七个至第二十四个人脸关键点位于左眼的区域内，定义的第二十五至第三十二个人脸关键点位于右眼的区域，定义的第三十三个至第四十五个人脸关键点位于鼻子的区域、定义的第四十六个至第六十七个人脸关键点位于嘴巴的区域，定义的第六十八个至第九十个人脸关键点位于下颚轮廓的区域。可选地，还可以将人脸区域划分为左右瞳孔、鼻尖以及左右嘴角。本申请对人脸区域的划分方式不做具体限定。人脸配准算法：是一种图像预处理方法，主要用于人脸识别，主要用于从人脸图像中得到人脸关键点，可选地，可以将人脸图像的尺度、旋转和平移等变化去除。配准点准确度：人脸配准结果与配准点真值的接近程度。配准点稳定度：人脸视频邻近帧配准结果的抖动程度。人脸配准点跟踪算法：利用人脸视频中多帧的信息改善各帧配准点准确度与稳定度的算法。根据本专利技术实施例，提供了一种人脸跟踪的方法实施例。可选地，在本实施本文档来自技高网...

【技术保护点】
一种人脸跟踪方法，其特征在于，包括：获取序列图像中当前帧图像的人脸特征信息和所述序列图像中前序帧图像的人脸跟踪信息，其中，所述前序帧图像为在所述序列图像中位于所述当前帧图像之前的帧图像，所述人脸特征信息中记录有所述当前帧图像中人脸特征点的信息，所述人脸跟踪信息用于记录所述前序帧图像的人脸跟踪结果；基于所述当前帧图像的人脸特征信息和所述前序帧图像的人脸跟踪信息，从所述前序帧图像中选取调整帧图像；利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数；基于所述调整参数和所述前序帧图像的人脸跟踪信息，确定所述当前帧图像的人脸跟踪信息。

【技术特征摘要】
1.一种人脸跟踪方法，其特征在于，包括：获取序列图像中当前帧图像的人脸特征信息和所述序列图像中前序帧图像的人脸跟踪信息，其中，所述前序帧图像为在所述序列图像中位于所述当前帧图像之前的帧图像，所述人脸特征信息中记录有所述当前帧图像中人脸特征点的信息，所述人脸跟踪信息用于记录所述前序帧图像的人脸跟踪结果；基于所述当前帧图像的人脸特征信息和所述前序帧图像的人脸跟踪信息，从所述前序帧图像中选取调整帧图像；利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数；基于所述调整参数和所述前序帧图像的人脸跟踪信息，确定所述当前帧图像的人脸跟踪信息。2.根据权利要求1所述的方法，其特征在于，利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数包括下述至少之一：利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息，确定使得所述当前帧图像的人脸跟踪信息与所述人脸特征信息的误差最小的调整参数；利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息，确定使得所述调整参数的平方和最小的调整参数。3.根据权利要求1所述的方法，其特征在于，利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数包括：利用预定函数L(q1,…,qN)拟合出所述当前帧图像的回归系数，其中，所述调整参数包括所述回归系数，其中，qi表示回归系数，Ci表示调整帧图像i的人脸跟踪信息，PK表示所述当前帧图像的人脸特征信息，S为第一预设参数，λ为第二预设参数，K、i和N为自然数。4.根据权利要求3所述的方法，其特征在于，在利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数之前，所述方法还包括：获取所述当前帧图像的人脸特征信息中特征点的坐标尺度；基于所述特征点的坐标尺度设置所述第一预设参数S。5.根据权利要求4所述的方法，其特征在于，基于所述特征点的坐标尺度确定所述第一预设参数S包括：从所述特征点的横坐标尺度和纵坐标尺度中选取值大的坐标尺度；将所述选取出的值大的坐标尺度的平方确定为所述第一预设参数S。6.根据权利要求3所述的方法，其特征在于，在利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数之前，所述方法还包括：至少根据所述序列图像中记录内容的变化程度设置所述第二预设参数λ的值。7.根据权利要求6所述的方法，其特征在于，至少根据所述序列图像中记录内容的变化程度设置所述第二预设参数λ的值包括：若所述序列图像中记录内容的变化程度高于第一预定阈值，则在默认值的基础上，调高所述第二预设参数λ的值，以设置所述第二预设参数λ的值；若所述序列图像中记录内容的变化程度低于第二预定阈值，则在默认值的基础上，调低所述第二预设参数λ的值，以设置所述第二预设参数λ的值。8.根据权利要求6所述的方法，其特征在于，至少根据所述序列图像中记录内容的变化程度设置所述第二预设参数λ的值包括：将所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息划分为多组信息；根据所述序列图像中记录内容的变化程度设置各组信息的所述第二预设参数λ的值，其中，至少两组信息对应的第二预设参数的值不同；利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数包括：分别拟合出各组信息的调整参数；确定所述当前帧图像的人脸跟踪信息包括：确定各组信息对应的组跟踪信息，将各组对应的组跟踪信息进行整合得到所述当前帧的人脸跟踪信息。9.根据权利要求1至8中任意一项所述的方法，其特征在于，利用所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数包括：计算多个调整帧图像的人脸跟踪信息的均值，其中，所述人脸跟踪信息利用多维向量记录对应帧的人脸跟踪结果；将所述调整帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息分别减去所述均值，得到处理后的所述调整帧图像的人脸跟踪信息和处理后的所述当前帧图像的人脸特征信息；利用处理后的所述调整帧图像的人脸跟踪信息和处理后的所述当前帧图像的人脸特征信息拟合出所述当前帧图像的调整参数。10.根据权利要求9所述的方法，其特征在于，基于所述调整参数和所述前序帧图像的人脸跟踪信息，确定所述当前帧图像的人脸跟踪信息包括：利用如下公式确定所述当前帧图像的人脸跟踪信息Qk，其中，所述公式为：其中，qi表示所述调整参数，Ci'表示处理后的调整帧图像的人脸跟踪信息，表示所述均值。11.根据权利要求1所述的方法，其特征在于，基于所述当前帧图像的人脸特征信息和所述前序帧图像的人脸跟踪信息，从所述前序帧图像中选取调整帧图像包括：从所述前序帧图像中，获取时间距离所述当前帧图像最近的M个前序帧图像；基于所述M个前序帧图像的人脸跟踪信息和所述当前帧图像的人脸特征信息，确定所述M个前序帧图像中各个前序帧图像与所述当前帧图像的距离；从所述M个前序帧图像中，选取与所述当前帧图像距离最小的N个调整帧图像。12.根据权利要求1所述的方法，其特征在于，基于所述调整参数和所述前序帧图像的人脸跟踪信息，确定所述当前帧图像的人脸跟踪信息包括：利用所述调整参数调整每个所述前序帧图像的人脸跟踪...

【专利技术属性】
技术研发人员：梁亦聪，汪铖杰，李绍欣，赵艳丹，李季檩，
申请(专利权)人：腾讯科技上海有限公司，
类型：发明
国别省市：上海,31