目标检测方法、装置、电子设备及介质制造方法及图纸

本申请提供的目标检测方法、装置、电子设备及介质中，根据最顶层的特征图和包括除最顶层之外的至少一个层级的特征图的特征图集合，获得包括最顶层的特征图以及最顶层的特征图与特征图集合的融合结果的多个融合特征图，将每个融合特征图输入区域建议网络，得到多个目标检测框，再依据目标识别网络对多个目标检测框下的目标进行识别，获得目标识别结果。本方案能够提高目标检测的准确率。案能够提高目标检测的准确率。案能够提高目标检测的准确率。

【技术实现步骤摘要】
目标检测方法、装置、电子设备及介质


[0001]本申请涉及图像处理
，尤其涉及一种目标检测方法、装置、电子设备及介质。

技术介绍

[0002]目标检测是图像处理技术的重要研究方向，广泛应用于机器人导航、智能监控、等领域。
[0003]深度学习模型是目标检测技术的主流算法。相关技术中，将待识别图像输入卷积神经网络中，对待识别图像进行多层级的特征提取，并依据最顶层的特征图，获得目标检测识别框，再对目标检测识别框下的目标进行识别。
[0004]然而，最顶层的特征图在特征提取的过程中，会丢失小目标的像素特征，这样则无法对图像中的小目标进行检测，进而降低了目标检测的准确率。

技术实现思路

[0005]本申请提供一种目标检测方法、装置、电子设备及介质，以解决无法对图像中的小目标进行检测，进而降低目标检测的准确率的技术问题。
[0006]第一方面，本申请提供一种目标检测方法，包括：对输入图像进行特征提取，获得各层级下的特征图；其中，所述特征图的层级与所述特征图的语义信息正相关；根据最顶层的特征图和特征图集合，获得多个融合特征图；所述多个融合特征图包括所述最顶层的特征图以及所述最顶层的特征图与特征图集合的融合结果；每个特征图集合包括除最顶层之外的至少一个层级的特征图；将每个融合特征图和所述输入图像输入区域建议网络，以使得所述区域建议网络根据所述融合特征图和所述输入图像进行目标检测，得到所述每个融合特征图对应的目标检测框；将所述目标检测框映射至所述目标检测框对应的融合特征图，得到每个融合特征图对应的区域特征图；所述区域特征图包括所述目标检测框映射在所述融合特征图中的区域；将所述输入图像和每个融合特征图对应的区域特征图输入目标识别网络，得到多个目标识别结果。
[0007]可选的，所述特征图集合的数量为多个，且各所述特征图集合中的特征图不完全相同。
[0008]可选的，所述根据最顶层的特征图和特征图集合，获得多个融合特征图，包括：针对最顶层，基于最顶层的特征图获得融合特征图；针对除最顶层以外的预定层级，将所述最顶层的特征图与所述预定层级对应的特征图集合进行融合，将融合结果作为融合特征图，直至所有所述预定层级经过融合；其中，每个所述预定层级对应的特征图集合包括除最顶层以外，不低于所述预定层级的所有层级下的特征图。
[0009]可选的，所述预定层级为最顶层的下一层级的多个连续相邻的层级中的其中一层级；所述针对除最顶层以外的预定层级，将最顶层的特征图与所述预定层级对应的特征图集合进行融合，将融合结果作为所述融合特征图，直至所有所述预定层级经过融合，包括：
对所述最顶层和所述预定层级对应的特征图进行卷积处理，以使处理后的所述最顶层和所述预定层级对应的特征图的通道数一致；将所述最顶层的特征图作为所述最顶层的融合特征图，并自上向下依次针对每个所述预定层级，执行以下处理：对所述预定层级的上一层级的融合特征图进行上采样；所述上采样得到的特征图与所述预定层级下的特征图的尺寸一致；将所述预定层级下的特征图与所述上采样得到的特征图进行融合，得到所述预定层级对应的融合特征图。
[0010]可选的，所述对所述最顶层和所述预定层级对应的特征图进行卷积处理，包括：分别将所述最顶层和每个所述预定层级对应的特征图，与第一数量个1x1卷积核进行卷积运算；所述第一数量为卷积处理后的特征图的通道数。
[0011]可选的，所述对输入图像进行特征提取，获得各层级下的特征图，包括：将所述输入图像输入残差网络，获得所述残差网络输出的所述各层级下的特征图；所述残差网络包括多个连续阶段的残差块，当前阶段的残差块的输出为下一阶段的残差块的输入，所述各阶段的残差块输出的特征图作为所述各层级下的特征图；所述残差网络是基于所述每个残差块的输出与输入的差趋近于零进行训练的。
[0012]可选的，所述以使得所述区域建议网络根据所述融合特征图和所述输入图像进行目标检测，得到所述多个每个融合特征图对应的目标检测框，包括：针对输入的融合特征图，在输入图像中与所述融合特征图的每个像素点对应的位置设置具有预定尺度且比例不同的多个候选框；其中，不同融合特征图对应的尺度不同，且融合特征图的尺寸与尺度负相关；确定所述多个候选框对应的区域类型，并删除区域类型为背景类型的候选框，得到目标候选框；其中，所述区域类型包括前景类型和背景类型；对所述目标候选框进行修正过滤，以获得所述融合特征图对应的目标检测框。
[0013]可选的，将每个融合特征图对应的目标检测框映射至所述融合特征图，得到所述多个融合特征图对应的区域特征图，包括：将每个所述融合特征图对应的目标检测框和所述融合特征图输入ROI Align网络，获得所述ROI Align网络输出的所述融合特征图对应的区域特征图；其中，所述ROI Align网络用于：依据所述融合特征图的尺寸与所述输入图像的尺寸的比值，调整所述融合特征图对应的目标检测框的尺寸；将调整后的目标检测框映射至所述融合特征图，提取所述目标检测框对应的区域特征图；基于双线性差值法，将所述区域特征图调整至预定尺寸。
[0014]第二方面，本申请提供一种目标检测装置，包括：特征融合模块，用于根据最顶层的特征图和特征图集合，获得多个融合特征图；所述多个融合特征图包括所述最顶层的特征图以及所述最顶层的特征图与特征图集合的融合结果；每个特征图集合包括除最顶层之外的至少一个层级的特征图；目标检测框生成模块，用于将每个融合特征图和所述输入图像输入区域建议网络，以使得所述区域建议网络根据所述融合特征图和所述输入图像进行目标检测，得到所述每个融合特征图对应的目标检测框；目标检测模块，用于将所述目标检测框映射至所述目标检测框对应的融合特征图，得到每个融合特征图对应的区域特征图；所述区域特征图包括所述目标检测框映射在所述融合特征图中的区域；目标识别模块，用于将所述输入图像和每个融合特征图对应的区域特征图输入目标识别网络，得到多个目标识别结果。
[0015]第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接
的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如前所述的方法。
[0016]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前所述的方法。
[0017]本申请提供的目标检测方法、装置、电子设备及介质中，根据最顶层的特征图和包括除最顶层之外的至少一个层级的特征图的特征图集合，获得包括最顶层的特征图以及最顶层的特征图与特征图集合的融合结果的多个融合特征图，将每个融合特征图输入区域建议网络，得到多个目标检测框，再依据目标识别网络对多个目标检测框下的目标进行识别，获得目标识别结果。本方案中的融合特征图结合了最顶层的特征图的语义信息及底层特征图的位置信息，因而依据融合特征图获取目标识别结果时，能够实现对小目标的检测，进而能够提高目标检测的准确率。
附图说明
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，其特征在于，包括：对输入图像进行特征提取，获得各层级下的特征图；其中，所述特征图的层级与所述特征图的语义信息正相关；根据最顶层的特征图和特征图集合，获得多个融合特征图；所述多个融合特征图包括所述最顶层的特征图以及所述最顶层的特征图与特征图集合的融合结果；每个特征图集合包括除最顶层之外的至少一个层级的特征图；将每个融合特征图和所述输入图像输入区域建议网络，以使得所述区域建议网络根据所述融合特征图和所述输入图像进行目标检测，得到所述每个融合特征图对应的目标检测框；将所述目标检测框映射至所述目标检测框对应的融合特征图，得到每个融合特征图对应的区域特征图；所述区域特征图包括所述目标检测框映射在所述融合特征图中的区域；将所述输入图像和每个融合特征图对应的区域特征图输入目标识别网络，得到多个目标识别结果。2.根据权利要求1所述的方法，其特征在于，所述特征图集合的数量为多个，且各所述特征图集合中的特征图不完全相同。3.根据权利要求2所述的方法，其特征在于，所述根据最顶层的特征图和特征图集合，获得多个融合特征图，包括：针对最顶层，基于最顶层的特征图获得融合特征图；针对除最顶层以外的预定层级，将所述最顶层的特征图与所述预定层级对应的特征图集合进行融合，将融合结果作为融合特征图，直至所有所述预定层级经过融合；其中，每个所述预定层级对应的特征图集合包括除最顶层以外，不低于所述预定层级的所有层级下的特征图。4.根据权利要求3所述的方法，其特征在于，所述预定层级为最顶层的下一层级的多个连续相邻的层级中的其中一层级；所述针对除最顶层以外的预定层级，将最顶层的特征图与所述预定层级对应的特征图集合进行融合，将融合结果作为所述融合特征图，直至所有所述预定层级经过融合，包括：对所述最顶层和所述预定层级对应的特征图进行卷积处理，以使处理后的所述最顶层和所述预定层级对应的特征图的通道数一致；将所述最顶层的特征图作为所述最顶层的融合特征图，并自上向下依次针对每个所述预定层级，执行以下处理：对所述预定层级的上一层级的融合特征图进行上采样；所述上采样得到的特征图与所述预定层级下的特征图的尺寸一致；将所述预定层级下的特征图与所述上采样得到的特征图进行融合，得到所述预定层级对应的融合特征图。5.根据权利要求4所述的方法，其特征在于，所述对所述最顶层和所述预定层级对应的特征图进行卷积处理，包括：分别将所述最顶层和每个所述预定层级对应的特征图，与第一数量个1x1卷积核进行卷积运算；所述第一数量为卷积处理后的特征图的通道数。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述对输入图像进行特征提取，获得各层级下的特征图，包括：将所述输入图像输入残差网络，获得所述残差网络输出的所述各层级下的特征图；所
述残差网络包括多个连续阶段的残差块，当前阶段的残差块的输出为下一阶段的残差块的输入，各阶段的所述残差块输出的特征图作为所述各层级下的特征图；...

【专利技术属性】
技术研发人员：马莞悦，朱宏勋，
申请(专利权)人：龙芯中科南京技术有限公司，
类型：发明
国别省市：