人脸跟踪方法及装置制造方法及图纸

本公开是关于一种人脸跟踪方法及装置，属于图像识别领域，该方法包括：获取视频数据中包含人脸图像的当前帧图像；当该当前帧图像不为第一帧图像时，对该视频数据中与该当前帧图像相邻的上一帧图像中的多个人脸关键点的位置进行评估；当上一帧图像中的多个人脸关键点的位置评估为正确时，基于该上一帧图像中的多个人脸关键点的位置和第一指定判别模型，确定该当前帧图像中的多个人脸关键点的位置；当该上一帧图像中的多个人脸关键点的位置评估为不正确时，对该当前帧图像进行人脸检测，得到该当前帧图像中的人脸位置；基于多个指定关键点位置和第二指定判别模型，确定该当前帧图像中的多个人脸关键点的位置，以实现对该视频数据中的人脸进行跟踪。

【技术实现步骤摘要】

本公开涉及图像识别领域，尤其涉及一种人脸跟踪方法及装置。
技术介绍
随着技术的发展，人脸跟踪技术的应用范围越来越广。其中，人脸跟踪技术指的是在视频数据中对每一个人脸的人脸关键点进行跟踪，对人脸的人脸关键点进行跟踪可以方便后续对视频数据包括的视频帧图像的处理，比如，表情分析、驾驶员疲劳驾驶检测、智能美颜等。相关技术中，主要通过判别模型进行人脸关键点的定位，也即是，人脸跟踪。典型的判别模型为SDM(SupervisedDescentMethod，有监督的梯度下降方法)模型。首先，从存储的多张训练图像中，获取多个人脸关键点中每个人脸关键点的平均位置，将获取的每个人脸关键点的平均位置确定为视频帧图像中每个人脸关键点的初始位置X0，每个人脸关键点的初始位置X0为每个人脸关键点在该视频帧图像中的坐标位置，通过SDM模型获取每个人脸关键点的初始位置X0处的HOG(HistogramOfOrientedGradient，方向梯度直方图)特征，并根据每个人脸关键点的初始位置X0处的HOG特征确定特征向量Y0，并通过特征向量Y0和指定函数，计算从每个人脸关键点的初始位置X0到跟踪位置的位移量△X0，然后将每个人脸关键点的初始位置X0和位移量△X0相加，得到迭代结果，这样就完成了一次迭代更新。之后，通过相同的方式重复进行迭代，直到所得的迭代结果为一个固定值，或者所得的迭代结果的变化开始变小时，将所得的迭代结果确定为该视频帧图像中每个人脸关键点的跟踪位置。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种人脸跟踪方法及装置。根据本公开实施例的第一方面，提供一种人脸跟踪方法，所述方法包括：获取视频数据中包含人脸图像的当前帧图像；当所述当前帧图像不为第一帧图像时，对所述视频数据中与所述当前帧图像相邻的上一帧图像中的多个人脸关键点的位置进行评估，所述第一帧图像为所述视频数据中第一次出现人脸图像的视频帧图像；当所述上一帧图像中的多个人脸关键点的位置评估为正确时，基于所述上一帧图像中的多个人脸关键点的位置和第一指定判别模型，确定所述当前帧图像中的多个人脸关键点的位置；当所述上一帧图像中的多个人脸关键点的位置评估为不正确时，对所述当前帧图像进行人脸检测，得到所述当前帧图像中的人脸位置；基于多个指定关键点位置和第二指定判别模型，确定所述当前帧图像中的多个人脸关键点的位置，以实现对所述视频数据中的人脸进行跟踪。可选地，所述方法还包括：获取多张训练图像中每张训练图像包括的多个人脸关键点的标注位置，所述每张训练图像包括的多个人脸关键点的标注位置为对所述每张训练图像中的多个人脸关键点进行标注所确定的位置；以所述多张训练图像中每张训练图像包括的多个人脸关键点的标注位置为中心进行高斯采样，得到所述多张训练图像中每张训练图像包括的多个人脸关键点的采样位置；基于所述多张训练图像中每张训练图像包括的多个人脸关键点的采样位置和标注位置，对判别模型进行训练，得到所述第一指定判别模型。需要说明的是，由于终端通过大量训练图像进行模型训练，因此，提高了模型训练的效果，同时，在终端通过模型训练得到第一判别模型后，当该上一帧图像中的多个人脸关键点的位置评估为正确时，终端可以基于上一帧图像中的多个人脸关键点的位置和该第一指定判别模型，确定当前帧图像中的多个人脸关键点的位置，从而实现对视频数据中的人脸进行跟踪，并且使进行人脸跟踪的操作具有针对性。可选地，所述方法还包括：获取多张训练图像中每张训练图像包括的多个人脸关键点的标注位置，所述每张训练图像包括的多个人脸关键点的标注位置为对所述每张训练图像中的多个人脸关键点进行标注所确定的位置；对于所述多张训练图像中每张训练图像，基于所述训练图像包括的多个人脸关键点的标注位置，确定所述训练图像包括的多个人脸关键点的平均位置；基于所述多张训练图像中每张训练图像包括的多个人脸关键点的平均位置和标注位置，对判别模型进行训练，得到所述第二指定判别模型。需要说明的是，终端通过模型训练得到第二判别模型，从而当该上一帧图像中的多个人脸关键点的位置评估为不正确时，终端可以基于多个指定关键点位置和第二指定判别模型，确定当前帧图像中的多个人脸关键点的位置，从而实现对视频数据中的人脸进行跟踪，并且使进行人脸跟踪的操作具有针对性。可选地，所述对所述视频数据中与所述当前帧图像相邻的上一帧图像中的多个人脸关键点的位置进行评估，包括：提取所述上一帧图像中的每个人脸关键点的方向梯度梯直方图HOG特征；将所述每个人脸关键点的HOG特征串联成特征向量；通过指定分类器对所述特征向量进行分类，得到分类结果；当所述分类结果为第一数值时，确定所述上一帧图像中多个人脸关键点的位置评估为正确；当所述分类结果为第二数值时，确定所述上一帧图像中多个人脸关键点的位置评估不为正确。需要说明的是，终端通过对上一帧图像包括的多个人脸关键点的位置进行评估，从而可以选择确定当前帧图像包括的人脸关键点的位置的方法，使人脸跟踪具有针对性，从而提高了人脸跟踪的效率。可选地，所述方法还包括：对所述特征向量进行降维；相应地，所述通过指定分类器对所述特征向量进行分类，得到分类结果，包括：通过所述指定分类器对降维后的所述特征向量进行分类，得到所述分类结果。需要说明的是，当终端对该特征向量进行降维后，降维后的特征向量中仅包括该特长向量的主要成分，因此，终端通过指定分类器对降维后的特征向量进行分类，可以降低计算复杂度，提高分类速度，进而提高了分类的效率。根据本公开实施例的第二方面，提供一种人脸跟踪装置，所述装置包括：第一获取模块，用于获取视频数据中包含人脸图像的当前帧图像；评估模块，用于当所述当前帧图像不为第一帧图像时，对所述视频数据中与所述当前帧图像相邻的上一帧图像中的多个人脸关键点的位置进行评估，所述第一帧图像为所述视频数据中第一次出现人脸图像的视频帧图像；第一确定模块，用于当所述上一帧图像中的多个人脸关键点的位置评估为正确时，基于所述上一帧图像中的多个人脸关键点的位置和第一指定判别模型，确定所述当前帧图像中的多个人脸关键点的位置；人脸检测模块，用于当所述上一帧图像中的多个人脸关键点的位置评估为不正确时，对所述当前帧图像进行人脸检测，得到所述当前帧图像中的人脸位置；第二确定模块，用于基于多个指定关键点位置和第二指定判别模型，确定所述当前帧图像中的多个人脸关键点的位置，以实现对所述视频数据中的人脸进行跟踪。可选地，所述装置还包括：第二获取模块，用于获取多张训练图像中每张训练图像包括的多个人脸关键点的标注位置，所述每张训练图像包括的多个人脸关键点的标注位置为对所述每张训练图像中的多个人脸关键点进行标注所确定的位置；采样模块，用于以所述多张训练图像中每张训练图像包括的多个人脸关键点的标注位置为中心进行高斯采样，得到所述多张训练图像中每张训练图像包括的多个人脸关键点的采样位置；第一训练模块，用于基于所述多张训练图像中每张训练图像包括的多个人脸关键点的采样位置和标注位置，对判别模型进行训练，得到所述第一指定判别模型。可选地，所述装置还包括：第三获取模块，用于获取多张训练图像中每张训练图像包括的多个人脸关键点的标注位置，所述每张训练图像包括的多个人脸关键点的标注位置为对所述每张训练图像中的多个人脸关键点本文档来自技高网...

【技术保护点】
一种人脸跟踪方法，其特征在于，所述方法包括：获取视频数据中包含人脸图像的当前帧图像；当所述当前帧图像不为第一帧图像时，对所述视频数据中与所述当前帧图像相邻的上一帧图像中的多个人脸关键点的位置进行评估，所述第一帧图像为所述视频数据中第一次出现人脸图像的视频帧图像；当所述上一帧图像中的多个人脸关键点的位置评估为正确时，基于所述上一帧图像中的多个人脸关键点的位置和第一指定判别模型，确定所述当前帧图像中的多个人脸关键点的位置；当所述上一帧图像中的多个人脸关键点的位置评估为不正确时，对所述当前帧图像进行人脸检测，得到所述当前帧图像中的人脸位置；基于多个指定关键点位置和第二指定判别模型，确定所述当前帧图像中的多个人脸关键点的位置，以实现对所述视频数据中的人脸进行跟踪。

【技术特征摘要】
1.一种人脸跟踪方法，其特征在于，所述方法包括：获取视频数据中包含人脸图像的当前帧图像；当所述当前帧图像不为第一帧图像时，对所述视频数据中与所述当前帧图像相邻的上一帧图像中的多个人脸关键点的位置进行评估，所述第一帧图像为所述视频数据中第一次出现人脸图像的视频帧图像；当所述上一帧图像中的多个人脸关键点的位置评估为正确时，基于所述上一帧图像中的多个人脸关键点的位置和第一指定判别模型，确定所述当前帧图像中的多个人脸关键点的位置；当所述上一帧图像中的多个人脸关键点的位置评估为不正确时，对所述当前帧图像进行人脸检测，得到所述当前帧图像中的人脸位置；基于多个指定关键点位置和第二指定判别模型，确定所述当前帧图像中的多个人脸关键点的位置，以实现对所述视频数据中的人脸进行跟踪。2.如权利要求1所述的方法，其特征在于，所述方法还包括：获取多张训练图像中每张训练图像包括的多个人脸关键点的标注位置，所述每张训练图像包括的多个人脸关键点的标注位置为对所述每张训练图像中的多个人脸关键点进行标注所确定的位置；以所述多张训练图像中每张训练图像包括的多个人脸关键点的标注位置为中心进行高斯采样，得到所述多张训练图像中每张训练图像包括的多个人脸关键点的采样位置；基于所述多张训练图像中每张训练图像包括的多个人脸关键点的采样位置和标注位置，对判别模型进行训练，得到所述第一指定判别模型。3.如权利要求1所述的方法，其特征在于，所述方法还包括：获取多张训练图像中每张训练图像包括的多个人脸关键点的标注位置，所述每张训练图像包括的多个人脸关键点的标注位置为对所述每张训练图像中的多个人脸关键点进行标注所确定的位置；对于所述多张训练图像中每张训练图像，基于所述训练图像包括的多个人脸关键点的标注位置，确定所述训练图像包括的多个人脸关键点的平均位置；基于所述多张训练图像中每张训练图像包括的多个人脸关键点的平均位置和标注位置，对判别模型进行训练，得到所述第二指定判别模型。4.如权利要求1所述的方法，其特征在于，所述对所述视频数据中与所述当前帧图像相邻的上一帧图像中的多个人脸关键点的位置进行评估，包括：提取所述上一帧图像中的每个人脸关键点的方向梯度梯直方图HOG特征；将所述每个人脸关键点的HOG特征串联成特征向量；通过指定分类器对所述特征向量进行分类，得到分类结果；当所述分类结果为第一数值时，确定所述上一帧图像中多个人脸关键点的位置评估为正确；当所述分类结果为第二数值时，确定所述上一帧图像中多个人脸关键点的位置评估不为正确。5.如权利要求4所述的方法，其特征在于，所述方法还包括：对所述特征向量进行降维；相应地，所述通过指定分类器对所述特征向量进行分类，得到分类结果，包括：通过所述指定分类器对降维后的所述特征向量进行分类，得到所述分类结果。6.一种人脸跟踪装置，其特征在于，所述装置包括：第一获取模块，用于获取视频数据中包含人脸图像的当前帧图像；评估模块，用于当所述当前帧图像不为第一帧图像时，对所述视频数据中与所述当前帧图像相邻的上一帧图像中的多个人脸关键点的位置进行评估，所述第一帧图像为所述视频数据中第一次出现人脸图像的视频帧图像；第一确定模块，用于当所述上一帧图像中的多个人脸关键点的位置评估为正确时，基于所述上一帧图像中的多个人脸关键点的位置和第一指定判别模型，确定所述当前帧图像中的多个人...

【专利技术属性】
技术研发人员：杨松，罗瑾文，王百超，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京;11