一种人脸关键点检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种人脸关键点检测方法、装置、电子设备及存储介质；所述方法包括：将待检测图像进行升维处理，生成第一尺度特征图；在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；依据所述人脸关键点概率确定人脸关键点坐标。本发明专利技术实施例基于多尺度神经搜索空间，将第一尺度特征图转换为满足需求的参数量和准确率要求的第二尺度特征图，并对第二尺度特征图融合进而确定人脸关键点坐标，实现对图像中人脸关键点的精确定位。点的精确定位。点的精确定位。

A face key point detection method, device, electronic device and storage medium

【技术实现步骤摘要】
一种人脸关键点检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及生物识别
，特别是涉及一种人脸关键点检测方法、一种人脸关键点检测装置、一种电子设备和一种存储介质。

技术介绍

[0002]随着科学技术的发展，人脸识别技术在图像处理领域的应用也越来越普及。而人脸关键点检测是人脸识别和分析领域中的关键一步，它是自动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。目前，现有的人脸关键点检测方法都是采用基于手工设计的卷积神经网络测算法，即人脸关键点检测需要设计并训练多个卷积神经网络，导致参数量巨大，步骤繁多，无法保证检测到的人脸关键点的准确性。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种人脸关键点检测方法、一种人脸关键点检测装置、一种电子设备和一种存储介质。
[0004]为了解决上述问题，本专利技术实施例公开了一种人脸关键点检测方法，包括：
[0005]将待检测图像进行升维处理，生成第一尺度特征图；
[0006]在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；
[0007]融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；
[0008]依据所述人脸关键点概率确定人脸关键点坐标。
[0009]可选地，所述方法还包括：
[0010]获取原始图像；
[0011]缩放所述原始图像，形成所述待检测图像。
[0012]可选地，所述在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图的步骤包括：
[0013]在所述预设多尺度搜索空间中，确定目标路径，所述目标路径包括多个阶段；
[0014]在所述阶段中，将所述第一尺度特征图进行特征融合和特征编码，生成所述第二尺度特征图。
[0015]可选地，所述预设多尺度搜索空间包括多个路径选择模块，所述在所述预设多尺度搜索空间中，确定目标路径的步骤包括：
[0016]对所述路径选择模块进行前向传播，得到评估指标；
[0017]从所述评估指标中确定目标评估指标；
[0018]组合所述目标评估指标对应的路径选择模块，生成所述目标路径。
[0019]可选地，所述阶段对应有分辨率和通道数；所述在所述阶段中，将所述第一尺度特征图进行特征融合和特征编码，生成所述第二尺度特征图的步骤包括：
[0020]按照所述通道数，对所述第一尺度特征图进行调整；
[0021]按照所述分辨率对调整后的第一尺度特征图进行采样；
[0022]根据预设路径参数对采样后的第一尺度特征图进行加权计算，生成融合特征图；
[0023]根据预设候选操作对所述融合特征图进行编码，生成所述第二尺度特征图。
[0024]可选地，所述预设候选操作包括跳转连接和输入残差网络；所述预设候选操作对应有操作参数；所述根据预设操作参数对所述融合特征图进行编码，生成所述第二尺度特征图的步骤包括：
[0025]对所述融合特征图进行跳跃连接以及输入残差网络操作；
[0026]根据所述操作参数对操作后的融合特征图进行加权求和，生成所述第二尺度特征图。
[0027]可选地，所述融合所述第二尺度特征图，生成人脸关键点热度图的步骤包括：
[0028]对所述第二尺度特征图进行采样，生成第一分辨率图像；
[0029]以所述预设多尺度搜索空间的通道为维度方向对所述第一分辨率图像进行融合；
[0030]将融合后第一分辨率图像进行通道压缩，生成所述人脸关键点热度图。
[0031]本专利技术实施例还公开了一种人脸关键点检测装置，包括：
[0032]升维模块，用于将待检测图像进行升维处理，生成第一尺度特征图；
[0033]转换模块，用于在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；
[0034]融合模块，用于融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；
[0035]确定模块，用于依据所述人脸关键点概率确定人脸关键点坐标。
[0036]本专利技术实施例还公开了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的人脸关键点检测方法的步骤。
[0037]本专利技术实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的人脸关键点检测方法的步骤。
[0038]本专利技术实施例包括以下优点：
[0039]本专利技术实施例通过将待检测图像进行升维处理，生成第一尺度特征图；在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；通过对多尺度搜索空间自动搜索，根据参数量和准确率的权衡将第一尺度特征图进行转换，避免了人工设计并训练的多个神经网络；融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；依据所述人脸关键点概率确定人脸关键点坐标，实现对图像中人脸关键点的精确定位。
附图说明
[0040]图1是本专利技术实施例的一种人脸关键点检测方法的步骤流程图；
[0041]图2是本专利技术实施例的另一种人脸关键点检测方法的步骤流程图；
[0042]图3是本专利技术实施例的一种多尺度搜索空间示意图；
[0043]图4是本专利技术实施例的一种目标路径示例图；
[0044]图5是本专利技术示例的一种人脸关键点检测方法的流程图；
[0045]图6是本专利技术实施例的一种人脸关键点检测装置的结构框图。
具体实施方式
[0046]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0047]人脸关键点检测(定位)也称人脸对齐，是一种常见的基于人脸图像的视觉任务，目标是找到人脸图像中每一个语义关键点的坐标位置，比如鼻尖、嘴角等等。目前，对于人脸关键点检测的方法中，常采用卷积神经网络模型等用于分类的神经网络进行识别。通过人工设计并训练一个或多个卷积神经网络模型，并在训练完成后投入使用。但是，人工设计网络设计的参数量大，且人工设计步骤繁多，得到的神经网络存在一定的局限性，导致人脸关键点检测误差产生。进一步地，人工设计的网络在设计完成后，网络结构不变且参数固定，导致对不同任务的适应性较低，同样导致人脸关键点检测误差产生。
[0048]参照图1，示出了本专利技术的一种人脸关键点检测方法实施例的步骤流程图，具体可以包括如下步骤：
[0049]步骤101，将待检测图像进行升维处理，生成第一尺度特征图；
[0050]在实际应用中，可以将待检测图像进行升维处理，增加待检测图像的通道数，生成一张预设分辨率以及预设通道数的图像，作为第一尺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸关键点检测方法，其特征在于，包括：将待检测图像进行升维处理，生成第一尺度特征图；在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图；融合所述第二尺度特征图，生成人脸关键点热度图，所述人脸关键点热度图包括人脸关键点概率；依据所述人脸关键点概率确定人脸关键点坐标。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取原始图像；缩放所述原始图像，形成所述待检测图像。3.根据权利要求1或2所述的方法，其特征在于，所述在预设多尺度搜索空间中，将所述第一尺度特征图转换为多个第二尺度特征图的步骤包括：在所述预设多尺度搜索空间中，确定目标路径，所述目标路径包括多个阶段；在所述阶段中，将所述第一尺度特征图进行特征融合和特征编码，生成所述第二尺度特征图。4.根据权利要求3所述的方法，其特征在于，所述预设多尺度搜索空间包括多个路径选择模块，所述在所述预设多尺度搜索空间中，确定目标路径的步骤包括：对所述路径选择模块进行前向传播，得到评估指标；从所述评估指标中确定目标评估指标；组合所述目标评估指标对应的路径选择模块，生成所述目标路径。5.根据权利要求3所述的方法，其特征在于，所述阶段对应有分辨率和通道数；所述在所述阶段中，将所述第一尺度特征图进行特征融合和特征编码，生成所述第二尺度特征图的步骤包括：按照所述通道数，对所述第一尺度特征图进行调整；按照所述分辨率对调整后的第一尺度特征图进行采样；根据预设路径参数对采样后的第一尺度特征图进行加权计算，生成融合特征图；根据预设候选操作对所述融合特征图进行编码，生成所述第二尺度特征图。6...

【专利技术属性】
技术研发人员：林旭新，邓练兵，郑皓文，梁延研，
申请(专利权)人：珠海大横琴科技发展有限公司，
类型：发明
国别省市：