人脸跟踪方法及装置、电子设备和计算机可读存储介质制造方法及图纸

本发明专利技术实施例涉及图像处理技术领域，公开了一种人脸跟踪方法及装置、电子设备和计算机可读存储介质。人脸跟踪方法包括：确定人脸特征点在第一图像中的位置；基于所述人脸特征点在第一图像中的位置，确定所述人脸特征点在第二图像中的预测位置，其中，所述第一图像和所述第二图像为视频图像序列中连续的两帧图像，所述第二图像为所述第一图像的下一帧图像；根据所述人脸特征点在第二图像中的预测位置，确定所述第二图像中的人脸区域；基于所述第二图像中的人脸区域，确定所述人脸特征点在所述第二图像中的位置。本发明专利技术中，使得人脸在视频图像的前后两帧中出现较大位移时依然能够准确跟踪人脸特征点，并有效保证人脸特征点跟踪的实时性。

【技术实现步骤摘要】
人脸跟踪方法及装置、电子设备和计算机可读存储介质
本专利技术实施例涉及图像处理
，特别涉及一种人脸跟踪方法及装置、电子设备和计算机可读存储介质。
技术介绍
在人脸分析任务中人脸特征点跟踪是一个基础而重要的组成部分，并且，人脸特征点跟踪在人脸属性推理、人脸认证、人脸识别以及人脸连续视频跟踪等诸多应用中都有极其重要的地位。目前，人脸连续视频跟踪中，实时提供人脸特征点的位置是衡量人脸特征点跟踪系统的性能的一个重要指标。现有的人脸特征点跟踪系统的跟踪流程大致为:(1)通过人脸检测器定位连续帧图像序列中某一帧图像中人脸所在的大致区域；(2)通过该人脸所在的大致区域精确定位该帧图像中人脸特征点的位置；(3)在该帧中人脸所在的大致区域的基础上扩大，将扩大后得到的区域作为下一帧图像中人脸所在的区域，在该区域中进行人脸特征点精确定位。在连续帧图像中往复循环(2)(3)步骤实现人脸的跟踪。专利技术人发现现有技术中至少存在如下问题：现有的跟踪流程中，在跟踪到的人脸区域的基础上扩大一定区域，然后进行下一帧人脸特征点的定位，这样在前后两帧中人脸位移不大的情况下能够完整定位到精确的位置。但是如果前后两帧的人脸区域位移量较大，例如在人脸大幅度运动或者人脸图像采集终端剧烈运动时，就会出现人脸跟踪定位不准或者跟踪失败的情况。因此，如何准确跟踪人脸特征点是本领域的技术人员所关注的。
技术实现思路
本专利技术实施方式的目的在于提供一种人脸跟踪方法及装置、电子设备和计算机可读存储介质，使得人脸在视频图像的前后两帧中出现较大位移时依然能够准确跟踪人脸特征点，并有效保证人脸特征点跟踪的实时性。为解决上述技术问题，本专利技术的实施方式提供了一种人脸跟踪方法，包括以下步骤：确定人脸特征点在第一图像中的位置；基于所述人脸特征点在第一图像中的位置，确定所述人脸特征点在第二图像中的预测位置，其中，所述第一图像和所述第二图像为视频图像序列中连续的两帧图像，所述第二图像为所述第一图像的下一帧图像；根据所述人脸特征点在第二图像中的预测位置，确定所述第二图像中的人脸区域；基于所述第二图像中的人脸区域，确定所述人脸特征点在所述第二图像中的位置。本专利技术的实施方式还提供了一种人脸跟踪装置，包括：第一确定模块，用于确定人脸特征点在第一图像中的位置；预测模块，用于基于所述人脸特征点在第一图像中的位置，确定所述人脸特征点在第二图像中的预测位置，其中，所述第一图像和所述第二图像为视频图像序列中连续的两帧图像，所述第二图像为所述第一图像的下一帧图像；第二确定模块，用于根据所述人脸特征点在第二图像中的预测位置，确定所述第二图像中的人脸区域；检测模块，用于基于所述第二图像中的人脸区域，确定得到所述人脸特征点在所述第二图像中的位置。本专利技术的实施方式还提供了一种电子设备，包括：至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施方式所述的人脸跟踪方法。本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述实施方式所述的人脸跟踪方法。本专利技术实施方式相对于现有技术而言，根据人脸特征点在第一图像中的位置，确定人脸特征点在第二图像中的预测位置，基于该预测位置确定人脸特征点在第二图像中的位置，该方式中基于预测位置确定准确位置，避免了盲目扩大搜索区域的方式造成的在人脸发生较大位移时跟踪定位不准或跟踪丢失的情况，使得在人脸发生较大位移时仍然能够准确跟踪到人脸特征点，并且保证了人脸特征点跟踪的实时性。另外，所述基于所述人脸特征点在第一图像中的位置，确定所述人脸特征点在第二图像中的预测位置，包括：基于所述人脸特征点在第一图像中的位置以及预定预测算法，预测得到所述人脸特征点在所述第二图像中的预测位置。该实施方式中，采用预定预测算法预测得到人脸特征点在第二图像中的预测位置，为实现人脸特征点的准确定位提供了基础。另外，所述基于所述人脸特征点在第一图像中的位置以及预定预测算法，预测得到所述人脸特征点在第二图像中的预测位置，包括：对于每个所述人脸特征点，将所述人脸特征点在第一图像中的位置代入至预定预测算法中，从而获取所述人脸特征点在所述第二图像中的初步预测位置，并计算所述人脸特征点的初步预测位置与所述人脸特征点在所述第一图像中的位置的差值；基于每个所述人脸特征点的初步预测位置与所述人脸特征点在所述第一图像中的位置的差值，计算所述差值的平均值，将所述平均值作为每个所述人脸特征点各自的平均增量；基于所述平均增量以及所述人脸特征点在所述第一图像中的位置，确定所述人脸特征点在所述第二图像中的预测位置。该实施方式中，对人脸中的每个特征点都进行预测，增加了预测的准确性，并通过计算每个人脸特征点的平均增量，基于该平均增量确定人脸特征点在第二图像中的预测位置，增加了预测的稳定性。另外，所述确定人脸特征点在第一图像中的位置，包括：确定所述第一图像中的人脸区域，基于所述第一图像中的人脸区域，确定人脸特征点在所述第一图像中的位置。该实施方式中，通过在第一图像中的人脸区域中确定人脸特征点的位置，使得能够准确确定第一图像中人脸特征点的位置，从而为人脸特征点预测提供了基础，保证了后续人脸特征点预测的准确性。另外，所述确定所述第一图像中的人脸区域包括：基于人脸检测算法检测所述第一图像中的人脸区域；或者，基于用户输入的区域指示确定所述第一图像的人脸区域；或者，基于预先设定的区域位置信息确定所述第一图像中的人脸区域；或者，确定人脸特征点在第三图像中的位置，基于所述人脸特征点在第三图像中的位置，确定所述人脸特征点在第一图像中的预测位置，其中，所述第一图像和所述第三图像为视频图像序列中连续的两帧图像，所述第一图像为所述第三图像的下一帧图像，根据所述人脸特征点在第一图像中的预测位置，确定所述第一图像中的人脸区域。该实施方式中，提供了确定第一图像中的人脸区域的多种获得方式，从而能够在不同场景下实现第一图像中的人脸区域的确定。另外，所述预测模块用于：基于所述人脸特征点在第一图像中的位置以及预定预测算法，预测得到所述人脸特征点在所述第二图像中的预测位置。另外，所述预测模块包括第一预测子模块、计算子模块以及第二预测子模块；所述第一预测子模块，用于对于每个所述人脸特征点，将所述人脸特征点在第一图像中的位置代入至预定预测算法中，从而获取所述人脸特征点在所述第二图像中的初步预测位置，并计算所述人脸特征点的初步预测位置与所述人脸特征点在所述第一图像中的位置的差值；所述计算子模块，基于每个所述人脸特征点的初步预测位置与所述人脸特征点在所述第一图像中的位置的差值，计算所述差值的平均值，将所述平均值作为每个所述人脸特征点各自的平均增量；所述第二预测子模块，用于基于所述平均增量以及所述人脸特征点在所述第一图像中的位置，确定所述人脸特征点在所述第二图像中的预测位置。另外，所述第一确定模块用于：确定所述第一图像中的人脸区域，基于所述第一图像中的人脸区域，确定人脸特征点在所述第一图像中的位置。另外，所述第一确定模块用于：基于人脸检测算法检测所述第一图像中的人脸区域；或者，基于用户输入的区域指示确定所述本文档来自技高网...

【技术保护点】
1.一种人脸跟踪方法，其特征在于，包括：确定人脸特征点在第一图像中的位置；基于所述人脸特征点在第一图像中的位置，确定所述人脸特征点在第二图像中的预测位置，其中，所述第一图像和所述第二图像为视频图像序列中连续的两帧图像，所述第二图像为所述第一图像的下一帧图像；根据所述人脸特征点在第二图像中的预测位置，确定所述第二图像中的人脸区域；基于所述第二图像中的人脸区域，确定所述人脸特征点在所述第二图像中的位置。

【技术特征摘要】
1.一种人脸跟踪方法，其特征在于，包括：确定人脸特征点在第一图像中的位置；基于所述人脸特征点在第一图像中的位置，确定所述人脸特征点在第二图像中的预测位置，其中，所述第一图像和所述第二图像为视频图像序列中连续的两帧图像，所述第二图像为所述第一图像的下一帧图像；根据所述人脸特征点在第二图像中的预测位置，确定所述第二图像中的人脸区域；基于所述第二图像中的人脸区域，确定所述人脸特征点在所述第二图像中的位置。2.根据权利要求1所述的人脸跟踪方法，其特征在于，所述基于所述人脸特征点在第一图像中的位置，确定所述人脸特征点在第二图像中的预测位置，包括：基于所述人脸特征点在第一图像中的位置以及预定预测算法，预测得到所述人脸特征点在所述第二图像中的预测位置。3.根据权利要求2所述的人脸跟踪方法，其特征在于，所述基于所述人脸特征点在第一图像中的位置以及预定预测算法，预测得到所述人脸特征点在第二图像中的预测位置，包括：对于每个所述人脸特征点，将所述人脸特征点在第一图像中的位置代入至预定预测算法中，从而获取所述人脸特征点在所述第二图像中的初步预测位置，并计算所述人脸特征点的初步预测位置与所述人脸特征点在所述第一图像中的位置的差值；基于每个所述人脸特征点的初步预测位置与所述人脸特征点在所述第一图像中的位置的差值，计算所述差值的平均值，将所述平均值作为每个所述人脸特征点各自的平均增量；基于所述平均增量以及所述人脸特征点在所述第一图像中的位置，确定所述人脸特征点在所述第二图像中的预测位置。4.根据权利要求1所述的人脸跟踪方法，其特征在于，所述确定人脸特征点在第一图像中的位置，包括：确定所述第一图像中的人脸区域，基于所述第一图像中的人脸区域，确定人脸特征点在所述第一图像中的位置。5.根据权利要求4所述的人脸跟踪方法，其特征在于，所述确定所述第一图像中的人脸区域包括：基于人脸检测算法检测所述第一图像中的人脸区域；或者，基于用户输入的区域指示确定所述第一图像的人脸区域；或者，基于预先设定的区域位置信息确定所述第一图像中的人脸区域；或者，确定人脸特征点在第三图像中的位置，基于所述人脸特征点在第三图像中的位置，确定所述人脸特征点在第一图像中的预测位置，其中，所述第一图像和所述第三图像为视频图像序列中连续的两帧图像，所述第一图像为所述第三图像的下一帧图像，根据所述人脸特征点在第一图像中的预测位置，确定所述第一图像中的人脸区域。6.根据权利要求1所述的人脸跟踪方法，其特征在于，所述基于所述第二图像中的人脸区域，确定所述人脸特征点在所述第二图像中的位置，包括：采用监督梯度下降SDM算法或者深度学习算法在所述第二图像中的人脸区域中进行检测，确定所述人脸特征点在所述第二图像中的位置。7.根据权利要求2或3所述的人脸跟踪方法，其特征在于，所述预定预测算法包括卡尔曼滤波算法或均值漂移算法。8.一种人...

【专利技术属性】
技术研发人员：唐春益，
申请(专利权)人：深圳超多维科技有限公司，
类型：发明
国别省市：广东,44