一种人脸图像提取方法、装置及计算机存储介质制造方法及图纸

本发明专利技术公开了一种人脸图像提取方法、装置及计算机可读存储介质，方法包括：获取待识别图像；将待识别图像输入人脸提取模型，得到待识别图像中每张人脸对应的人脸图像，人脸提取模型包括特征图提取结构层、第一特征融合结构层和第二特征融合结构层。本发明专利技术可避免传统人脸识别特征提取中特征图层层相加所带来的特征损失，提高了最终得出的特征图的特征表征能力，进而避免传统检测网络无法识别到图像中边缘人像问题，提高了人脸的召回率。提高了人脸的召回率。提高了人脸的召回率。

【技术实现步骤摘要】
一种人脸图像提取方法、装置及计算机存储介质


[0001]本专利技术涉及人脸识别
，具体涉及一种人脸图像提取方法、装置及计算机存储介质。

技术介绍

[0002]随着人脸检测技术的快速发展，对人脸检测神经网络的研究已经较为深入，技术上正不断的更新迭代；目前，较为常用的人脸检测神经网络则是Retinaface检测网络(其是基于目标检测算法(one
‑
stage)的人脸检测网络)。
[0003]Retinaface检测网络的工作过程为：Retinaface检测网络提取出待识别图像的图像特征后，会经过特征金字塔网络((Feature Pyramid Networks，FPN)和SSH(single stage headless)网络进一步提取更为精细的人脸特征，然后通过检测头预测人脸框和人脸特征点坐标，从而根据人脸特征点坐标和人脸框从待识别图像中提取出人脸图像。
[0004]目前，Retinaface检测网络在通过FPN网络进行人脸特征的提取时，通常是将3个维度的特征直接进行相加(即采用add操作将3种感受野下提取的特征图直接相加)，且一般是层层相加(即采用两次add操作，从高维度依次相加到低维度)，虽然操作简单，但上述操作直接将特征提取操作锁死为加法运算，让特征融合失去了灵活性，容易造成特征损失，使得图像中的边缘人像不易识别，大大的降低了人脸的召回率(也就是人脸的检测率，即检测出的人脸占图像中总人脸的比例)。

技术实现思路

[0005]为了解决现有人脸识别中特征提取采用特征图层层相加所导致的人脸召回率低的问题，本专利技术的目的在于提供一种在特征提取时，增加一条最高维特征图与最低维特征图的融合桥接，从而代替传统特征图的层层相加，以减少特征融合损失，提高图像中人脸的识别，进而提高人脸召回率的人脸图像提取方法、装置及计算机可读存储介质。
[0006]第一方面，本专利技术提供了一种人脸图像提取方法，包括：
[0007]获取待识别图像，其中，所述待识别图像至少包含一张人脸；
[0008]将所述待识别图像输入人脸提取模型，得到所述待识别图像中每张人脸对应的人脸图像，其中，所述人脸提取模型包括特征图提取结构层、第一特征融合结构层和第二特征融合结构层；
[0009]所述特征图提取结构层用于在三种感受野条件下提取所述待识别图像的特征信息，分别得到所述待识别图像的第一特征图、第二特征图和第三特征图；
[0010]所述第一特征融合结构层用于对所述第二特征图和所述第三特征图进行第一特征融合，得到所述待识别图像的第四特征图；
[0011]所述第二特征融合结构层，用于将所述第一特征图、所述第三特征图和所述第四特征图进行第二特征融合，得到所述待识别图像中每张人脸对应的第五特征图，以便通过所述第五特征图从所述待识别图像中提取所述人脸图像。
[0012]基于上述公开的内容，本专利技术在进行特征融合时，将第一特征图、第三特征图和第四特征图进行特征融合，以得到用于提取人脸图像的第五特征图；其实质为：将第三特征图加入到第一特征图与第四特征图的特征融合中，相当于增加了一条最高维特征图(即第三特征图)与最低维特征图(即第一特征图)的融合桥接，进而实现三个维度下特征的融合；通过上述设计，本专利技术可避免传统人脸识别特征提取中特征图层层相加所带来的特征损失，提高了最终得出的特征图的特征表征能力，进而避免传统检测网络无法识别到图像中边缘人像问题，提高了人脸的召回率。
[0013]在一个可能的设计中，所述第二特征融合结构层包括：第一上采样层、第二上采样层和第一通道融合层；
[0014]所述第一上采样层，用于对所述第三特征图进行第一上采样，得到所述待识别图像的第六特征图；
[0015]所述第二上采样层，用于对所述第四特征图进行第二上采样，得到所述待识别图像的第七特征图；
[0016]所述第一通道融合层，用于将所述第一特征图、所述第六特征图和所述第七特征图进行通道融合，得到所述第五特征图。
[0017]基于上述公开的内容，本专利技术公开了第二特征融合结构层的具体网络结构，即先对第三特征图和第四特征图进行上采样，以实现图像的放大；最终，将经过上采样得到的第六特征图、第七特征图与第一特征图进行通道融合(即conca操作)，进而实现三个维度下特征图中特征的融合，得到第五特征图。
[0018]通过上述设计，本专利技术在进行特征融合时，使用通道融合代替传统FPN网络中特征图的直接相加，从而可增加提取的特征数量，进一步的增加得出的特征图的特征表征能力，进而进一步的提高人脸召回率。
[0019]在一个可能的设计中，所述人脸提取模型还包括：第一卷积层，其中，所述第一卷积层，用于对所述第五特征图进行第一卷积处理，以减少所述第五特征图的通道数，得到所述待识别图像的第八特征图。
[0020]基于上述公开的内容，本专利技术得到第五特征图后，还会对第五特征图进行第一卷积处理，以减少第五特征图的通道数，得到第八特征图；通过上述设计，可在不增加计算量的同时提取到更为丰富的特征信息，提高了模型的识别效率。
[0021]在一个可能的设计中，所述人脸提取模型还包括：第二卷积层，其中，所述第二卷积层用于对所述第八特征图进行第二卷积处理，得到所述待识别图像的第九特征图，以便通过所述第九特征图从所述待识别图像中提取所述人脸图像。
[0022]基于上述公开的内容，本专利技术通过第二卷积层，将第八特征图进行第二卷积处理，进行特征信息的再提取，从而得到包含有更精细特征的第九特征图，以便为人脸图像的提取提供精细的特征信息，便于后续人脸图像的提取。
[0023]在一个可能的设计中，所述第一卷积处理采用pointwise卷积运算，且使用的卷积核为1*1，步长为1。
[0024]基于上述公开的内容，本专利技术公开了第一卷积处理所使用的卷积运算的种类和卷积核的参数，即使用pointwise卷积运算，并使用1*1，步长为1的卷积核进行第五特征图通道数的压缩。
[0025]在一个可能的设计中，所述人脸提取模型还包括：非线性转换结构层；
[0026]所述非线性转换结构层，用于对所述第一特征图、所述第二特征图和所述第三特征图进行非线性转换，分别得到所述待识别图像的第十特征图、第十一特征图和第十二特征图，以便将所述第十一特征图和所述第十二特征图输入所述第一特征融合结构层中进行第一特征融合，得到所述第四特征图，以及将所述第十特征图输入所述第二特征融合结构层中，与所述第四特征图以及所述第三特征图进行第二特征融合，得到所述第五特征图。
[0027]基于上述公开的内容，本专利技术公开了通过设置非线性转换结构层，对第一特征图、第二特征图和第三特征图进行非线性转换，其实质为：提高人脸提取模型的分类能力，使模型能够学习到更多的特征，从而提高人脸提取模型的非线性表达能力，进而提高上述三个特征图中的特征信息的识别，得到包含有更为丰富特征信息的第十、第十一和第十二特征图，以便为后续在进行特征融合提取特征时，提供更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像提取方法，其特征在于，包括：获取待识别图像，其中，所述待识别图像至少包含一张人脸；将所述待识别图像输入人脸提取模型，得到所述待识别图像中每张人脸对应的人脸图像，其中，所述人脸提取模型包括特征图提取结构层、第一特征融合结构层和第二特征融合结构层；所述特征图提取结构层用于在三种感受野条件下提取所述待识别图像的特征信息，分别得到所述待识别图像的第一特征图、第二特征图和第三特征图；所述第一特征融合结构层用于对所述第二特征图和所述第三特征图进行第一特征融合，得到所述待识别图像的第四特征图；所述第二特征融合结构层，用于将所述第一特征图、所述第三特征图和所述第四特征图进行第二特征融合，得到所述待识别图像中每张人脸对应的第五特征图，以便通过所述第五特征图从所述待识别图像中提取所述人脸图像。2.如权利要求1所述的方法，其特征在于，所述第二特征融合结构层包括：第一上采样层、第二上采样层和第一通道融合层；所述第一上采样层，用于对所述第三特征图进行第一上采样，得到所述待识别图像的第六特征图；所述第二上采样层，用于对所述第四特征图进行第二上采样，得到所述待识别图像的第七特征图；所述第一通道融合层，用于将所述第一特征图、所述第六特征图和所述第七特征图进行通道融合，得到所述第五特征图。3.如权利要求2所述的方法，其特征在于，所述人脸提取模型还包括：第一卷积层，其中，所述第一卷积层，用于对所述第五特征图进行第一卷积处理，以减少所述第五特征图的通道数，得到所述待识别图像的第八特征图。4.如权利要求3所述的方法，其特征在于，所述人脸提取模型还包括：第二卷积层，其中，所述第二卷积层用于对所述第八特征图进行第二卷积处理，得到所述待识别图像的第九特征图，以便通过所述第九特征图从所述待识别图像中提取所述人脸图像。5.如权利要求3所述的方法，其特征在于，所述第一卷积处理采用pointwise卷积运算，且使用的卷积核为1*1，步长为1。6.如权利要求1所述的方法，其特征在于，所述人脸提取模型还包括：非线性转换结构层；所述非线性转换结构层，用于对所述第一特征图、所述第二特征图和所述第三特征...

【专利技术属性】
技术研发人员：杨青川，宁瑶，
申请(专利权)人：成都新潮传媒集团有限公司，
类型：发明
国别省市：