本发明专利技术提出了一种基于联合注意力的多分支级联的人脸检测方法及装置，所述方法包括：提取待测图像的初始特征，其中，所述待测图像为原始图像经预处理获得；将所述初始特征输入多分支级联网络，以获取与所述多分支级联网络中深度相同的分支特征信息；将所述分支特征信息输入注意力模块，以获取与所述分支特征信息深度对应的通道特征信息；将多个所述通道特征信息输入特征金字塔网络，以形成与所述多分支级联网络深度对应的融合特征信息；将所述融合特征信息输入分类与回归网络，以获取人脸预测结果；基于所述人脸预测结果和损失函数，构建人脸检测模型，本发明专利技术有助于提升人脸检测的精度。度。度。
【技术实现步骤摘要】
一种基于联合注意力的多分支级联的人脸检测方法及装置
[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于联合注意力的多分支级联的人脸检测方法及装置。
技术介绍
[0002]人脸检测作为目标检测的一个独立的分支，指的是通过计算机自动检测输入的图像和视频是否含有人脸以及对人脸位置进行定位的任务，在计算机视觉领域拥有着很高的研究价值。
[0003]公告号为CN114998969A的中国专利公开了一种用于人脸检测的方法和装置，该方法对于待处理的多个特征图，通过空间金字塔网络和路径增强网络，得到经过处理的多个特征图，基于经过处理的多个特征图，通过基于层级衰减的预测网络，得到相应的人脸预测结果。通过在现有的人脸检测方案的框架中结合融合空间金字塔结构的路径增强网络和基于层级衰减的预测网络层来对多个特征图进行处理，提高了人脸检测方案的检测精度和鲁棒性，但是上述方案无法优化对图像相应网络对人脸的注意力程度，更无法分化浅层分支和深层分支对不同规模人脸的检测能力，因此，提供一种基于联合注意力的多分支级联的人脸检测方法及装置，来提升人脸检测的精度，是非常有必要的。
技术实现思路
[0004]有鉴于此，本专利技术提出了一种基于联合注意力的多分支级联的人脸检测方法及装置，通过在多分支级联网络中结合注意力模块和分类与回归网络，使多分支级联网络中每个通道输出的特征均能与待测图像中的人脸区域关联并剔除无关区域，进而提升人脸检测的精度。
[0005]本专利技术提供了一种基于联合注意力的多分支级联的人脸检测方法，所述方法包括：提取待测图像的初始特征，其中，所述待测图像为原始图像经预处理获得；将所述初始特征输入多分支级联网络，以获取与所述多分支级联网络中深度相同的分支特征信息；将所述分支特征信息输入注意力模块，以获取与所述分支特征信息深度对应的通道特征信息；将多个所述通道特征信息输入特征金字塔网络，以形成与所述多分支级联网络深度对应的融合特征信息；将所述融合特征信息输入分类与回归网络，以获取预测信息和损失函数，其中，所述分类与回归网络包括分类子网络、回归子网络以及平衡子网络；基于所述预测信息和所述损失函数，构建人脸检测模型。
[0006]在以上技术方案的基础上，优选的，所述将所述初始特征输入多分支级联网络，以获取与所述多分支级联网络中深度相同的分支特征信息之前，还包括：
基于多个特征提取模块和与所述特征提取模块对应的残差模块，构建所述多分支级联网络，其中，所述多个所述特征提取模块均包括第一卷积块、第二卷积块以及第三卷积块。
[0007]在以上技术方案的基础上，优选的，所述构建所述多分支级联网络，具体包括：将所述第一卷积块之前的特征向量与所述第三卷积块之后的特征向量进行求和运算，以获取残差模块；在多个所述特征提取模块中对应设置预设数量的残差模块，以构建所述多分支级联网络。
[0008]更进一步优选的，所述将所述分支特征信息输入注意力模块，以获取与所述分支特征信息深度对应的通道特征信息，具体包括：将所述分支特征信息输入所述注意力模块并对所述分支特征信息进行标准偏差运算，以获取第一通道描述符，其中，所述第一通道描述符与所述分支特征信息的通道一一对应表达；基于sigmod函数对所述第一通道描述符进行归一化，以获取第二通道描述符和所述第二通道描述符对应的权重；基于所述第二通道描述符对应的权重与所述第二通道描述符对应的通道进行加权运算，以获取通道特征信息，其中，所述第二通道描述符对应的通道与所述第一通道描述符对应的通道一致。
[0009]更进一步优选的，所述标准偏差运算具体为：
[0010]其中，表示输出的第c个所述第一通道描述符，表示在所述待测图像第i行、第j列、第c通道上的像素值，H表示所述待测图像的高度，W表示所述待测图像的宽度。
[0011]更进一步优选的，所述将多个所述通道特征信息输入特征金字塔网络，以形成与所述多分支级联网络深度对应的融合特征信息，具体包括：将多个所述通道特征信息输入所述特征金字塔网络，以使多个所述通道特征信息由上至下依次相加，形成与所述特征金字塔网络深度对应的过渡特征信息；基于二维卷积函数和LeakyRelu激活函数对所述过渡特征信息进行运算，以获取所述融合特征信息。
[0012]更进一步优选的，将所述融合特征信息输入分类与回归网络，以获取预测信息和损失函数，具体包括：将所述融合特征信息分别输入所述分类子网络、所述回归子网络以及所述平衡子网络，以获取所述预测信息，其中，所述预测信息包括所述分类子网络输出的分类概率信息、所述回归子网络输出的检测框信息以及所述平衡子网络输出的预测概率信息；根据所述分类概率信息、所述检测框信息以及所述预测概率信息构建损失函数，其中，所述损失函数包括分类损失函数、回归损失函数以及平衡损失函。
[0013]更进一步优选的，所述根据所述分类概率信息、所述检测框信息以及所述预测概率信息构建损失函数，具体包括：
构建所述分类损失函数，
[0014]构建所述回归损失函数，
[0015]构建所述平衡损失函数，
[0016]所述损失函数为，
[0017]其中，表示正样本的样本集合，表示负样本的样本集合，表示对应样本的样本总数，表示所述原始图像中预测出现的人脸概率，表示所述原始图像中是否包括人脸的标签值，FL表示Focal Loss损失函数，表示预测框和检测框中心点间距离的惩罚项，b表示预测框的中心点，表示检测框的中心点，表示检测框与预测框的中心点之间距离的平方，c表示包围检测框和预测框所需最小矩形的对角线长度，IoU表示检测框与预测框的交并比，BCE表示Binary cross
‑
entropy Loss损失函数，表示DIoU的损失函数，表示第i个检测框检测到的检测框与预测框的交并比，，表示所述回归子网络网络中含有的预测样本与检测样本之间的交并比。
[0018]在本申请的第二方面提供了一种基于联合注意力的多分支级联的人脸检测装置，所述人脸检测装置包括初始特征提取模块、分支特征获取模块、通道特征获取模块、融合特征获取模块、分类与回归模块以及检测模型构建模块，其中，所述初始特征提取模块用于提取待测图像的初始特征，其中，所述待测图像为原始图像经预处理获得；所述分支特征获取模块用于将所述初始特征输入多分支级联网络，以获取与所述多分支级联网络中深度相同的分支特征信息；所述通道特征获取模块用于将所述分支特征信息输入注意力模块，以获取与所述分支特征信息深度对应的通道特征信息；所述融合特征获取模块用于将多个所述通道特征信息输入特征金字塔网络，以形成与所述多分支级联网络深度对应的融合特征信息；所述分类与回归模块用于将所述融合特征信息输入分类与回归网络，以获取预测信息和损失函数，其中，所述分类与回归网络包括分类子网络、回归子网络以及平衡子网络；所述检测模型构建模块用于基于所述预测信息和所述损失函数，构建人脸检测模
型。
[0019]在本申请的第三方面提供了一种电子设备，包括处理器、存储器、用户接口本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于联合注意力的多分支级联的人脸检测方法，其特征在于，所述方法包括：提取待测图像的初始特征，其中，所述待测图像为原始图像经预处理获得；将所述初始特征输入多分支级联网络，以获取与所述多分支级联网络中深度相同的分支特征信息；将所述分支特征信息输入注意力模块，以获取与所述分支特征信息深度对应的通道特征信息；将多个所述通道特征信息输入特征金字塔网络，以形成与所述多分支级联网络深度对应的融合特征信息；将所述融合特征信息输入分类与回归网络，以获取预测信息和损失函数，其中，所述分类与回归网络包括分类子网络、回归子网络以及平衡子网络；基于所述预测信息和所述损失函数，构建人脸检测模型。2.如权利要求1所述的方法，其特征在于，所述将所述初始特征输入多分支级联网络，以获取与所述多分支级联网络中深度相同的分支特征信息之前，还包括：基于多个特征提取模块和与所述特征提取模块对应的残差模块，构建所述多分支级联网络，其中，所述多个所述特征提取模块均包括第一卷积块、第二卷积块以及第三卷积块。3.如权利要求2所述的方法，其特征在于，所述构建所述多分支级联网络，具体包括：将所述第一卷积块之前的特征向量与所述第三卷积块之后的特征向量进行求和运算，以获取残差模块；在多个所述特征提取模块中对应设置预设数量的残差模块，以构建所述多分支级联网络。4.如权利要求1所述的方法，其特征在于，所述将所述分支特征信息输入注意力模块，以获取与所述分支特征信息深度对应的通道特征信息，具体包括：将所述分支特征信息输入所述注意力模块并对所述分支特征信息进行标准偏差运算，以获取第一通道描述符，其中，所述第一通道描述符与所述分支特征信息的通道一一对应表达；基于sigmod函数对所述第一通道描述符进行归一化，以获取第二通道描述符和所述第二通道描述符对应的权重；基于所述第二通道描述符对应的权重与所述第二通道描述符对应的通道进行加权运算，以获取通道特征信息，其中，所述第二通道描述符对应的通道与所述第一通道描述符对应的通道一致。5.如权利要求4所述的方法，其特征在于，所述标准偏差运算具体为：；其中，表示输出的第c个所述第一通道描述符，表示在所述待测图像第i行、第j列、第c通道上的像素值，H表示所述待测图像的高度，W表示所述待测图像的宽度。6.如权利要求1所述的方法，其特征在于，所述将多个所述通道特征信息输入特征金字塔网络，以形成与所述多分支级联网络深度对应的融合特征信息，具体包括：将多个所述通道特征信息输入所述特征金字塔网络，以使多个所述通道特征信息由上
至下依次相加，形成与所述特征金字塔网络深度对应的过渡特征信息；基于二维卷积函数和LeakyRelu激活函数对所述过渡特征信息进行运算，以获取所述融合特征信息。7.如权利要求1所述的方法，其特征在于，将所述融合特征信息输入分类与回归网络，以获取预测信息和损失函数，具体包括：将所述融合特征信息分别输入所述分类子网络、所述回归子网...
【专利技术属性】
技术研发人员：刘李漫，张国梁，韩逸飞，田金山，潘宁，胡怀飞，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。