一种适用于小目标检测的增强的全卷积实例语义分割算法制造技术

本发明专利技术属于图像处理技术领域，基于全卷积实例语义分割(FCIS)算法，公开了一种适用于小目标检测的增强的全卷积实例语义分割算法，其包括共享特征图提取，预选框提取，产生位置敏感分数图谱，分类和回归；在共享特征图提取过程中，提出融合conv1，conv3和conv5特征图，使得共享特征图保留了高语义信息和高细节信息；在预选框提取过程中，针对预选框提取网络效果不佳，提出dual RPN算法，它的平均召回率比RPN提高了7％。本发明专利技术EFCIS算法的mAP比FCIS提高3.5％，针对小尺寸目标，EFCIS算法的mAP比FCIS提高2.9％。通过实验表明本发明专利技术非常有利于提升抓取小目标的能力。

An Enhanced Semantic Segmentation of Full Convolutional Instances for Small Target Detection

The present invention belongs to the field of image processing technology. Based on Full Convolution Case Semantic Segmentation (FCIS) algorithm, an enhanced Full Convolution Case Semantic Segmentation algorithm for small target detection is disclosed, which includes shared feature map extraction, preselected frame extraction, position sensitive fractional map generation, classification and regression. In the process of extracting shared feature map, a fusion of conv1, conv3 and conv5 is proposed. The shared feature graph retains high semantic information and high detail information. In the process of pre-selection box extraction, dual RPN algorithm is proposed to overcome the poor effect of pre-selection box extraction network. Its average recall rate is 7% higher than that of RPN. The mAP of the EFCIS algorithm of the invention is 3.5% higher than that of the FCIS, and for small size targets, the mAP of the EFCIS algorithm is 2.9% higher than that of the FCIS. Experiments show that the present invention is very helpful to enhance the ability of grasping small targets.

【技术实现步骤摘要】
一种适用于小目标检测的增强的全卷积实例语义分割算法
本专利技术属于图像处理
，尤其涉及一种适用于小目标检测的增强的全卷积实例语义分割算法。
技术介绍
目前，业内常用的现有技术是这样的：场景理解是计算机视觉领域的一个核心难点，而实例语义分割是实现场景理解的一个必要过程，在图像领域，实例语义分割是集合图像分类，目标检测，图像分割的综合性任务，它被广泛应用于地理信息系统，无人驾驶，医疗图像分析，机器人及其他领域。随着基于卷积神经网络的深度学习迅速发展，越来越多的实例语义分割子任务可以使用卷积神经网络来完成，并且近年来，全卷积神经网络(FCN)相关算法已经垄断了图像语义分割领域，其中，使用全卷积神经网络处理图像语义分割相关算法中，全卷积实例语义分割(FCIS)取得了极其优异的效果，全卷积实例语义分割(FCIS)集合了现阶段众多优秀的成果，是第一个实现端到端的卷积实例语义分割的算法，并且在实例语义分割领域的成果遥遥领先其他算法，它获得了2016MSCOCOsegmentationchallenge第一名，并且远远领先第二名。综上所述，现有技术存在的问题是：(1)由于卷积神经网络自身的缺陷—卷积神经网络的降采样，导致图片中较小的目标可能在共享特征提取的过程中就消失，无法参与算法的后期任务。(2)全卷积实例语义分割(FCIS)是典型的“two-stage”算法，在该算法的第一阶段需要提取大量预选框，而现有RPN网络对于预选框提取的召回率还存在一些不足，导致在该算法的后期任务的性能降低。解决上述技术问题的难度和意义：难度：(1)、针对卷积神经网络降采样导致小目标特征图丢失，目前工业界和学术界遵循的思想是融合浅层，中层，深层网络的特征图，但是这样会大幅增加整个模型参数数量，这使得整个网络训练十分困难，极其容易训练过拟合，并且需要大幅提高计算资源，整个算法执行时间大幅增加，除了这些困难之外，在本算法改进过程中，我们还会遇到采用上采样或者降采样的过程中我们丢失大量信息，并且这些过程不是可学习过程，这对于整个算法精确度是致命性打击。(2)、目前不论是工业界还是学术界，对于”two-stage”算法，预选框提取都采用RPN网络，但是RPN网络要获得较高的召回率需要大幅度提高预选框的数量，这使得后期算法提速产生巨大负担，同时即使提取大量的预选框，仍然会造成目标丢失，为此提出了SelectiveSearch,Edgeboxes等方案，但是依旧难以解决上述问题。意义：(1)、针对问题1本专利技术提出了一种特征融合方案，融合conv1，conv3，conv5，兼顾了浅层特征具有的高细节信息和深层特征具有的高语义信息，并通过1×1卷积将融合后的特征压缩在统一空间中，保证参与后期任务的共享特征图谱之间相互协调，在融合过程中，我们对conv1采用stride为2的膨胀卷积进行降采样，而对conv5采用转置卷积上采样，这些采样操作都是可学习过程，和传统的双线性抽样和插值方法截然不同，对防止特征图失真有极大帮助。所以我们为特征融合过程中特征图采样提出了一个新的角度。(2)、针对问题2，本专利技术提出基于conv3和conv4各训练一个RPN网络，通过NMS算法对二者产生的预选框进行融合，针对这一方案，我们在conv3后增加一个语义增强网络，这样解决了浅层网络语义较低的问题，这样才使得conv3和conv4提取的预选框能够融合，dualRPN是第一次由我们提出，并且在实现的过程中解决了浅层特征语义低的问题。并且dualRPN比目前流行的RPN，SelectiveSearch,Edgeboxes性能更加优异。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种适用于小目标检测的增强的全卷积实例语义分割算法。所以针对这些问题本专利技术提出增强型全卷积实例语义分割(EFCIS)算法，用于解决全卷积实例语义分割(FCIS)算法对于小目标分割性能不佳的问题。本专利技术是这样实现的，一种适用于小目标检测的增强的全卷积实例语义分割算法，包括：步骤一：共享特征图提取，对不同层的特征图的分辨率进行上采样或下采样并进行特征融合；步骤二：预选框提取，conv3和conv4分别训练两个RPN网络，对两个RPN网络产生的预选框采用非极大值抑制NMS进行综合提取；步骤三：产生基于位置敏感的分数图谱，基于全卷积网络FCN产生共享特征图，再使用2k2×(C+1)-d维1×1卷积产生位置敏感的分数图谱，其中C+1表示C个目标类别和1个背景类别，每个ROI的位置敏感特征图谱由相应的k2个位置敏感图谱拼接而成；步骤四：分类和回归，对于步骤三产生的ROI位置敏感图谱进行回归、对应的分数图谱进行分类，分类中，通过拼接对应的ROI位置敏感图谱得到像素级的分数图谱，将ROI内的每个像素，通过两个1×1的卷积分别判断该像素是否在本ROI内和该像素是否在目标物体的边界范围内。进一步，步骤一，具体包括：共享特征图提取，在输入图片宽高比不变时，将短边调整为600；采用ResNet-101基础网络模型融合conv1，conv3和conv5层的特征图来提取共享特征图；对不同层的特征图采用不同的上采样或下采样使得特征图的分辨率一致；对于conv1采用dilation为2，stride为2，kernel为3，padding为0的膨胀卷积，使conv1层的特征图的分辨率下降2倍；保持conv3分辨率不变；融合conv3和降采样后的conv1的特征图，再使用1×1×512的卷积将来自conv1和conv3的特征图压缩在统一空间内；conv5层采用dilation为2，stride为2，kernel为3，padding为0的反卷积(Deconv)，使得conv5层的特征图分辨率上采样2倍；使用1×1×512卷积融合来自conv1，conv3，conv5层的特征图，最终实现特征融合。进一步，步骤二具体包括：1)通过conv4层特征训练深层RPN网络；2)在conv3的基础上添加由3个3×3×512卷积层组成的语义增强网络；3)在步骤2)输出的特征图的基础上，训练浅层RPN网络；4)步骤1)和步骤3)的RPN网络各自产生300个预选框，采用soft-NMS算法融合2个RPN网络的预选框，并且设置soft-NMS算法的参数IoU为0.7，将预测分数最高的300个预选框保留。进一步，步骤三具体包括使用2k2×(C+1)-d1×1卷积产生位置敏感的分数图谱，其中C+1表示目标类别和一个背景类别，设置(K,C)为(7,80)；且每个特征图谱相较输入图片的分辨率降采样16倍，每个ROI由相应的k2个位置敏感图谱组合形成。进一步，步骤四具体包括：对于产生的ROI进行回归和其分数图谱进行分类，如果ROI和其对应的标注框的IoU超过0.5，设置该ROI为正样本，否则，该ROI被标记为负样本，并且在进行分类回归过程中采用一个多任务损失函数，L(k,k*,m,m*,t,t*)＝Lcls(k,k*)+Lmask(m,m*)+Lreg(t,t*)；其中Lcls是用于正负样本框的softmax损失函数，Lreg用于正样本框的回归，Lmask用于正样本的mask的softmax函数，k和k*表示ROI预测结果和真实标签，m和m*表示每个像素的预本文档来自技高网...

【技术保护点】
1.一种适用于小目标检测的增强的全卷积实例语义分割算法，其特征在于，所述适用于小目标检测的增强的全卷积实例语义分割算法包括：步骤一：共享特征图提取，对不同层的特征图的分辨率进行上采样或下采样并进行特征融合；步骤二：预选框提取，conv3和conv4分别训练两个RPN网络，对两个RPN网络产生的预选框采用非极大值抑制NMS进行综合提取；步骤三：产生基于位置敏感的分数图谱，基于全卷积网络FCN产生共享特征图，再使用2k2×(C+1)‑d维1×1卷积产生位置敏感的分数图谱，其中C+1表示C个目标类别和1个背景类别，每个ROI的位置敏感特征图谱由相应的k2个位置敏感图谱拼接而成；步骤四：分类和回归，对于步骤三产生的ROI位置敏感图谱进行回归、对应的分数图谱进行分类，分类中，通过拼接对应的ROI位置敏感图谱得到像素级的分数图谱，将ROI内的每个像素，通过两个1×1的卷积分别判断该像素是否在本ROI内和该像素是否在目标物体的边界范围内。

【技术特征摘要】
1.一种适用于小目标检测的增强的全卷积实例语义分割算法，其特征在于，所述适用于小目标检测的增强的全卷积实例语义分割算法包括：步骤一：共享特征图提取，对不同层的特征图的分辨率进行上采样或下采样并进行特征融合；步骤二：预选框提取，conv3和conv4分别训练两个RPN网络，对两个RPN网络产生的预选框采用非极大值抑制NMS进行综合提取；步骤三：产生基于位置敏感的分数图谱，基于全卷积网络FCN产生共享特征图，再使用2k2×(C+1)-d维1×1卷积产生位置敏感的分数图谱，其中C+1表示C个目标类别和1个背景类别，每个ROI的位置敏感特征图谱由相应的k2个位置敏感图谱拼接而成；步骤四：分类和回归，对于步骤三产生的ROI位置敏感图谱进行回归、对应的分数图谱进行分类，分类中，通过拼接对应的ROI位置敏感图谱得到像素级的分数图谱，将ROI内的每个像素，通过两个1×1的卷积分别判断该像素是否在本ROI内和该像素是否在目标物体的边界范围内。2.如权利要求1所述的适用于小目标检测的增强的全卷积实例语义分割算法，其特征在于，步骤一，具体包括：共享特征图提取，在输入图片宽高比不变时，将短边调整为600；采用ResNet-101基础网络模型融合conv1，conv3和conv5层的特征图来提取共享特征图；对不同层的特征图采用不同的上采样或下采样使得特征图的分辨率一致；对于conv1采用dilation为2，stride为2，kernel为3，padding为0的膨胀卷积，使conv1层的特征图的分辨率下降2倍；保持conv3分辨率不变；融合conv3和降采样后的conv1的特征图，再使用1×1×512的卷积将来自conv1和conv3的特征图压缩在统一空间内；conv5层采用dilation为2，stride为2，kernel为3，padding为0的反卷积(Deconv)，使得conv5层的特征图分辨率上采样2倍；使用1×1×512卷积融合来自conv1，conv3，conv5层的特征图，最终实现特征融合。3.如权利要求1所述的适用于小目标检测的增强的全卷积实例语义分割算法，其特征在于，步骤二具体包括：1)通过conv4层特征训练深层RPN网络；2)在conv3的基础上添加由3个3×3×512卷积层组成的语义增强网络；3)在步骤2)输出的特征图的基础上，训练浅层RPN网络；4)步骤1)和步骤3)的RPN网络各自产生300个预选框，采用soft-NMS算法融合2个RPN网络的预选框，并且设置soft-NMS算法的参数IoU为0.7，...

【专利技术属性】
技术研发人员：胡辉，司凤洋，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：江西,36