人脸关键点检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了人脸关键点检测方法、装置、设备及存储介质。该方法包括：获取当前待测帧的人脸原始图像，并获取当前待测帧的人脸原始图像中人脸的姿态纠正信息；根据姿态纠正信息对人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；采用关键点检测网络模型，对人脸纠正图像进行人脸关键点检测，获得纠正关键点；根据姿态纠正信息对纠正关键点进行逆向姿态纠正，以获得人脸原始图像的目标人脸关键点。利用该方法，与现有检测方法相比，能够在不增加关键点检测网络模型规模的情况下保证对特殊人脸图像进行关键点检测时的检测精度，同时避免了关键点检测的检测时间的增大，进而达到了兼具实时性和准确性的检测效果。

Face Key Point Detection Method, Device, Equipment and Storage Media

【技术实现步骤摘要】
人脸关键点检测方法、装置、设备及存储介质
本专利技术实施例涉及图像识别
，尤其涉及人脸关键点检测方法、装置、设备及存储介质。
技术介绍
在计算机视觉领域，人脸关键点检测一直受到学术界和工业界的广泛关注，其主要功能是准确地定位出人脸上的关键点(比如眼睛、鼻子、嘴角、脸部轮廓点等)，为后续的人脸图像处理(如人脸对齐、人脸识别)做准备，目前，人脸关键点检测已在生物信息验证、监控安防、视频直播等应用场景中均起到较重要的作用。现有多采用神经网络模型来实现人脸关键点检测，为保证检测结果的精度常采用较大规模的神经网络模型，但因关键点检测执行终端的计算资源为达到实时处理的效果，通常又会对神经网络模型的大小进行限制，由此便导致了执行终端对包含大角度、大姿态(45度仰头，45度低头，歪头至90度等情况)人脸的图像进行人脸关键点检测的效果不佳。为提高包含大角度、大姿态人脸的关键点检测效果，通常采用的方法是对加入更多大角度、大姿态的人脸训练样本对当前采用的神经网络模型进行训练，但在实际操作中，这种大角度大姿态的人脸训练样本并不容易获取，且在限制网络规模的前提下，样本复杂性的增加往往会导致神经网络模型在对正常人脸图像检测时的精度下降，此外，若为保证检测精度增大网络规模，则又会增加图像帧的检测时间，无法保证检测的实时性要求。
技术实现思路
有鉴于此，本专利技术实施例提供了人脸关键点检测方法、装置、设备及存储介质，以优化现有人脸关键点的检测方法，保证实时性的同时提高人脸关键点的检测精度。第一方面，本专利技术实施例提供了一种人脸关键点检测方法，包括：获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息；根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点；根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。进一步地，所述获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息，包括：获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息，作为所述当前待测帧的人脸原始图像中人脸的姿态纠正信息。进一步地，获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息包括：获取从所述前一帧的人脸原始图像中检测到的人脸关键点；根据所述人脸关键点，确定所述前一帧中人脸原始图像的人脸姿态信息。进一步地，所述根据所述人脸关键点，确定所述前一帧中人脸原始图像帧的人脸姿态信息，包括：归一化所述人脸关键点，获得所述人脸关键点对应的归一化坐标；将所述归一化坐标作为输入数据，输入人脸朝向网络模型，输出获得所述前一帧中人脸原始图像的人脸姿态信息。进一步地，所述姿态纠正信息包括：人脸姿态角及相应的角度值；所述人脸姿态角包括：俯仰角、偏航角以及滚转角。进一步地，所述根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像，包括：将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像。进一步地，将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像，包括：根据所述姿态纠正信息，确定所述人脸原始图像中人脸到标准朝向的旋转角度；将所述人脸原始图像中的人脸通过所述旋转角度旋转至标准朝向，形成朝向纠正后的人脸纠正图像。进一步地，所述根据所述姿态纠正信息，确定所述人脸原始图像中人脸到标准朝向的旋转角度，包括：获取预先设置的所述姿态纠正信息中各人脸姿态角的旋转先后顺序；从预设旋转公式关联表中确定所述旋转先后顺序对应的旋转角度计算公式；将各所述人脸姿态角的角度值代入所述旋转角度计算公式，获得所述人脸图像中人脸到标准朝向的旋转角度。进一步地，所述将所述人脸原始图像中人脸通过所述旋转角度旋转至标准朝向，获得朝向纠正后的人脸纠正图像，包括：识别所述人脸原始图像中的人脸，确定包含所述人脸的矩形区域；以所述人脸原始图像所在坐标系的纵轴为参照轴，将所述矩形区域中各像素点相对所述参照轴旋转所述旋转角度；获得具备所述标准朝向的矩形区域，形成朝向纠正后的人脸纠正图像。进一步地，根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点包括：根据所述姿态纠正信息确定的旋转角度，对所述纠正关键点进行逆向旋转，以获得所述人脸原始图像的目标人脸关键点。进一步地，所述当前待测帧从预先捕获的短视频中获取，或者从实时捕获的直播视频中获取；检测到的目标人脸关键点用于所对应人脸原始图像中人脸的视觉特效设置。第二方面，本专利技术实施例提供一种人脸关键点检测装置，包括：信息获取模块，用于获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息；图像纠正模块，用于根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；关键点确定模块，用于采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点；关键点纠正模块，用于根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。第三方面，本专利技术实施例提供了一种计算机设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术第一方面实施例提供的人脸关键点检测方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术第一方面实施例提供的人脸关键点检测方法。本专利技术实施例提供的人脸关键点检测方法、装置、设备及存储介质，本实施例上述技术方案，能够在进行关键点检测前先通过获取的姿态纠正信息对人脸原始图像进行姿态矫正，从而采用已有关键点检测网络模型对矫正后人脸纠正图像进行关键点检测，由此根据获得的检测结果就能够逆向获得原始图像的人脸关键点。与现有检测方法相比，本实施例增加了人脸姿态矫正的技术实现，从而能够在不增加关键点检测网络模型规模的情况下保证对特殊人脸图像(如大角度、大姿态)进行关键点检测时的检测精度，同时避免了关键点检测的检测时间的增大，进而达到了兼具实时性和准确性的检测效果。附图说明图1a给出了本专利技术实施例一提供的一种人脸关键点检测方法的流程示意图；图1b给出了本专利技术实施例一中人脸原始图像的示例图；图1c给出了本专利技术实施例一中纠正人脸原始图像后所形成人脸纠正图像的示例图；图1d给出了本专利技术实施例一中纠正关键点的实现示意图；图1e给出了本专利技术实施例一中从人脸纠正图像中检测到的纠正关键点的示例图；图1f给出了本专利技术实施例一中逆向调整纠正关键点后所形成目标人脸关键点的示例图；图2a给出了本专利技术实施例二提供的一种人脸关键点检测方法的流程示意图；图2b给出了基于本实施例二所检测目标人脸关键点进行特效贴纸设置的效果展示图图；图2c给出了本专利技术实施例二中人脸关键点检测的实现框图；图3给出了本专利技术实施例三提供的一种人脸关键点检测装置的结构方框示意图；图4给出了本专利技术实施例四提供的一种计算机设备的硬件结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说本文档来自技高网...

【技术保护点】
1.一种人脸关键点检测方法，其特征在于，包括：获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息；根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点；根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。

【技术特征摘要】
1.一种人脸关键点检测方法，其特征在于，包括：获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息；根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点；根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。2.根据权利要求1所述的方法，其特征在于，所述获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息，包括：获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息，作为所述当前待测帧的人脸原始图像中人脸的姿态纠正信息。3.根据权利要求2所述的方法，其特征在于，获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息包括：获取从所述前一帧的人脸原始图像中检测到的人脸关键点；根据所述人脸关键点，确定所述前一帧中人脸原始图像的人脸姿态信息。4.根据权利要求3所述的方法，其特征在于，所述根据所述人脸关键点，确定所述前一帧中人脸原始图像帧的人脸姿态信息，包括：归一化所述人脸关键点，获得所述人脸关键点对应的归一化坐标；将所述归一化坐标作为输入数据，输入人脸朝向网络模型，输出获得所述前一帧中人脸原始图像的人脸姿态信息。5.根据权利要求1所述的方法，其特征在于，所述姿态纠正信息包括：人脸姿态角及相应的角度值；所述人脸姿态角包括：俯仰角、偏航角以及滚转角。6.根据权利要求1-5任一所述的方法，其特征在于，所述根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像，包括：将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像。7.根据权利要求6所述的方法，其特征在于，将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像，包括：根据所述姿态纠正信息，确定所述人脸原始图像中人脸到标准朝向的旋转角度；将所述人脸原始图像中的人脸通过所述旋转角度旋转至标准朝向，形成朝向纠正后的人脸纠正图像。8.根据权利要求7所述的方法，其特征在于，所述根据所述姿态纠正信息，确定所述人脸原始图像中...

【专利技术属性】
技术研发人员：项伟，黄秋实，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东,44