一种人脸定位方法、装置、终端设备及存储介质制造方法及图纸

本发明专利技术提供了一种人脸定位方法、装置、终端设备及存储介质。所述方法包括：获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标；对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果；依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像；依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框。本发明专利技术能够减少人脸关键点定位所需的时间，可以满足人脸定位实时处理的需求。

A Face Location Method, Device, Terminal Equipment and Storage Media

The invention provides a face location method, device, terminal device and storage medium. The method includes: acquiring the first face frame and multiple first face key points in the first frame image of the video stream; acquiring the first face key points in the image coordinate system corresponding to the first frame image; tracking the first face key points to obtain the tracking processing results; and according to the tracking processing results and the first sit. The first frame image is the previous frame image of the second frame image, and the second face frame corresponding to the first face key point in the second frame image is determined according to the second coordinates. The invention can reduce the time required for the key point location of face, and can meet the needs of real-time processing of face location.

【技术实现步骤摘要】
一种人脸定位方法、装置、终端设备及存储介质
本专利技术涉及视频处理
，特别是涉及一种人脸定位方法、装置、终端设备及存储介质。
技术介绍
随着直播和短视频领域的飞速发展，在移动终端上出现了对人脸进行美颜、瘦脸和虚拟穿戴等需求，上述技术的实现依赖于视频流中的人脸关键点定位技术，主要分为两个部分：获取视频流中的人脸区域和定位人脸的关键点。现有技术方案中，通常是对上述两部分分开进行处理的，人脸区域的获取是通过逐帧检测或者对人脸区域进行跟踪，然后在人脸框中进行关键点的定位。而人脸检测算法大多是基于卷积神经网络，对视频流中的每帧图像均做人脸检测和关键点定位过于耗时，无法满足实时处理的需求。
技术实现思路
本专利技术实施例所要解决的技术问题是提供一种人脸定位方法、装置、终端设备及存储介质，以解决现有技术中进行人脸检测过于耗时，无法满足实时处理需求的技术问题。为了解决上述问题，本专利技术实施例提供了一种人脸定位方法，包括：获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标；对各所述第一人脸关键点进行跟踪处理，得到跟踪处理本文档来自技高网...

【技术保护点】
1.一种人脸定位方法，其特征在于，包括：获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标；对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果；依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像；依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框。

【技术特征摘要】
1.一种人脸定位方法，其特征在于，包括：获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐标；对各所述第一人脸关键点进行跟踪处理，得到跟踪处理结果；依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标；所述第一帧图像为所述第二帧图像的上一帧图像；依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框。2.根据权利要求1所述的方法，其特征在于，所述依据所述跟踪处理结果及各所述第一坐标，确定第二帧图像中的各所述第一人脸关键点对应的各第二人脸关键点，及各所述第二人脸关键点对应的第二坐标，包括：在所述第二帧图像渲染完成之后，依据所述跟踪处理结果，获取所述第二帧图像中跟踪得到的各所述第二人脸关键点；根据所述第一帧图像和所述第二帧图像，获取光流值；其中，所述光流值用于指示各所述第一人脸关键点与对应的各所述第二人脸关键点间的移动距离；依据所述光流值及各所述第一坐标，确定各所述第二人脸关键点对应的第二坐标。3.根据权利要求2所述的方法，其特征在于，在所述依据所述光流值及各所述第一坐标，确定各所述第二人脸关键点对应的第二坐标之后，还包括：依据各所述移动距离，计算得到平均距离；计算各所述移动距离与所述平均距离之间的差值；从各所述第二人脸关键点中获取所述差值小于差值中位数的一半的第二目标人脸关键点；依据各所述第二目标人脸关键点对应的初始第二坐标，对所有第二人脸关键点中除所述第二目标人脸关键点之外的其它第二人脸关键点对应的初始第二坐标进行校正；依据校正结果，确定各所述第二人脸关键点对应的第二坐标。4.根据权利要求1所述的方法，其特征在于，在所述获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点之后，还包括：对所述第一人脸框进行跟踪处理，得到所述第二帧图像中与所述第一人脸框对应的第二跟踪人脸框；在所述依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框之后，还包括：依据各所述第二坐标，判断各所述第二人脸关键点是否符合第一预设条件；在各所述第二人脸关键点不符合第一预设条件的情况下，获取所述第一人脸框的中点和所述第二跟踪人脸框的中点间的间隔距离；依据所述间隔距离、所述第一人脸框的长度和所述第一人脸框的宽度，判断所述第二跟踪人脸框是否符合第二预设条件；在所述第二跟踪人脸框符合所述第二预设条件的情况下，依据所述第二跟踪人脸框，通过预先训练好的神经网络模型，确定所述第二人脸框中的各第一预测人脸关键点。5.根据权利要求4所述的方法，其特征在于，在所述依据所述间隔距离、所述第一人脸框的长度和所述第一人脸框的宽度，判断所述第二跟踪人脸框是否符合第二预设条件之后，还包括：在所述第二跟踪人脸框不符合所述第二预设条件的情况下，依据所述第二人脸框获取检测人脸框；获取所述第二跟踪人脸框与所述检测人脸框之间的重叠区域和非重叠区域；计算所述重叠区域和所述非重叠区域的比值；在所述比值大于设定阈值的情况下，依据所述第二跟踪人脸框，通过所述神经网络模型，确定所述第二跟踪人脸框中的各第二预测人脸关键点；或者，在所述比值小于等于所述设定阈值的情况下，依据所述检测人脸框，通过所述神经网络模型，确定所述检测人脸框中的各第三预测人脸关键点。6.根据权利要求1所述的方法，其特征在于，在所述依据各所述第二坐标，确定所述第二帧图像中的与所述第一人脸框对应的第二人脸框之后，还包括：判断所述第二帧图像是否为所述视频流中的最后一帧图像；若是，则结束人脸定位处理流程。7.一种人脸定位装置，其特征在于，包括：人脸框关键点获取模块，用于获取视频流中第一帧图像中的第一人脸框和多个第一人脸关键点；第一坐标获取模块，用于获取各所述第一人脸关键点在所述第一帧图像对应的图像坐标系中的各第一坐...

【专利技术属性】
技术研发人员：刘健，王顺利，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11