一种稠密小目标检测模型构建方法、模型及检测方法技术

本发明专利技术提供了一种稠密小目标检测模型构建方法、模型及检测方法，基于目标中点上下文信息融合，通过对分辨率较大的图片切割，避免输入网络下采样后的图片丢失太多图像信息，影响网络特征提取；采用残差金字塔特征提取网络，融合不同尺度的特征，提高了网络在不同大小目标的检测精度，尤其是小目标；采用RoIAlign层代替原始的RoIPooling层，解决了候选区域特征不匹配引起的候选框位置偏差；由于在网络传递中易丢失小目标特征，将中心点上下文特征与原始RoI特征融合，使网络充分利用目标上下文信息，在保证网络运行速度的同时，更精确地定位与识别稠密的小目标，提高了网络性能。

A Construction Method, Model and Detection Method of Dense Small Target Detection Model

The invention provides a method for constructing a dense small target detection model, a model and a detection method. Based on the fusion of the target midpoint context information, the image with larger resolution is cut to avoid the loss of too much image information after sampling in the input network, which affects the network feature extraction. The residual pyramid feature extraction network is adopted to fuse the features of different scales and improve the performance. The detection accuracy of different size targets, especially small targets, is improved by using RoIAlign layer instead of the original RoIPooling layer, which solves the position deviation of candidate boxes caused by the mismatching of candidate region features. Because of the easy loss of small target features in network transmission, the central point context features are fused with the original RoI features, so that the network can make full use of the target context information to ensure the network. At the same time, it can locate and identify dense small targets more accurately, which improves the network performance.

【技术实现步骤摘要】
一种稠密小目标检测模型构建方法、模型及检测方法
本专利技术涉及一种稠密小目标检测模型构建方法、模型及检测方法，涉及目标检测领域。
技术介绍
目标检测是目前计算机视觉领域最具挑战性的课题之一，其主要任务是根据给定的图片或视频，同时实现识别与定位图片中相应的目标。近几年，随着深度学习的快速发展，基于卷积神经网络的目标检测技术取得了显著的进步，并分别在自动驾驶、国防安全、医学领域、人机交互等方面取得了广泛的应用，对人类的科技文明进步有着非常重要的意义。传统的目标检测方法中，可变形部件模型DPM(DeformablePartModel)是最为经典的手工设计特征的方法，该方法针对目标自身的形变以及大小多样性等问题，将整个物体拆分为多个部件，利用部件之间的关系融合部件的特征，进而得到整个物体的检测结果。该模型是方向梯度直方图(HOG)和支持矢量机(SVM)算法的扩展，然而手工设计的特征仅表现了图像的底层特征，并不具备图像的语义信息和一定的特征可分性，导致检测模型鲁棒性较低，除此之外，DPM模型复杂度也相对较高，从而导致检测速度较慢。与这些传统方法相比，基于深度学习的目标检测算法体现出相对较大的优势。目前，基于深度学习的目标检测算法主要分为两大类：以FasterR-CNN为代表的two-stage方法和以SSD(SingleShotMultiBoxDetector)、YOLO(YouOnlyLookOnce)为代表的one-stage方法。其中，two-stage方法是基于候选框提取的方法，该类方法首先利用候选区域网络RPN(RegionProposalNetwork)生成可能包含目标的候选框，其次将候选框映射到特征谱上，得到其特征信息，最后分别用分类器和回归器获得目标的类别以及位置信息，并取得了目前最好的检测性能。one-stage方法是基于回归的方法，该类方法去除了two-stage方法中的RPN网络，直接对网络回归获取目标的位置和类别，因此这类方法相比two-stage方法速度较快，但精度却相对较低。这些方法虽然取得了不错的效果，但对于图片中目标较小、密集且存在遮挡等情况，通用的目标检测网络框架就会导致小目标特征信息在网络传递中丢失，假阳性样本较多，从而造成严重的小目标漏检、错检等问题。由于底层特征具有丰富的细节纹理信息，定位准确，而高层特征具有较强的语义信息，特征可分性强，因此，一些先进的网络通过融合底层和高层特征，使网络对不同尺度目标表现出较好的检测性能。
技术实现思路
本专利技术提供了一种稠密小目标检测模型构建方法、模型及检测方法，具有能够更精确检测稠密小目标的特点。本专利技术采用的技术方案如下：一种稠密小目标检测模型构建方法，具体方法包括，S1，获取充足的训练样本数据，对训练图片进行切割，获取切割后的图片；S2，将获得的切割图片输入特征提取网络，利用构建的多尺度特征金字塔网络，生成金字塔特征谱；S3，利用RPN网络生成候选区域，具体方法包括，利用S2中金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；S4，将S3中得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；S5，利用S4预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与S4中RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；S6，使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标，训练过程中，该部分网络损失函数由分类损失Lcls和定位损失Lreg构成：L＝Lcls+λLreg；其中，分类损失Lcls采用softmaxloss，定位损失采用smoothL1损失；S7，将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制方法获得最终检测结果；利用上述S1到S7反复对模型进行训练最终得到构建后的稠密小目标检测模型。在S1中，对训练样本进行切割时，采用与原图等比例的滑动窗口对原始图片每隔一定的步长进行切割。在S2中，采用残差特征金字塔网络，利用深度卷积神经网络金字塔结构特性，使用自顶向下的侧边连接将高层语义信息与底层细节特征信息融合，构建多尺度特征金字塔网络；其中，为构建残差特征金字塔网络，将深度神经网络中高层特征谱上采样2倍，与相邻的底层特征采用元素级相加的方式融合。所述方法还包括，采用3*3的卷积核处理融合后的特征，最终生成金字塔特征谱。在S4中，中心点位置坐标预测的方法还包括，在训练网络过程中，利用SmoothL1损失回归中心点位置坐标。在S5中，所述滤波器的卷积核大小为1。一种稠密小目标检测模型，采用上述稠密小目标检测模型构建方法获得，用于实现对稠密小目标的检测，包括，图片获取模块，获取要检测的目标图片；图片切割模块，对获取的图片进行图片切割；金字塔特征谱生成模块，将获得的切割图片输入特征提取网络，生成金字塔特征谱；候选区域生成模块，利用RPN网络生成候选区域；具体包括，利用金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；中心点位置坐标预测模块，用于预测中心点位置坐标；具体包括，将得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；特征谱获取模块，利用预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；类别及边界框坐标预测模块，使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标；最终检测结果获取模块，将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制方法获得最终检测结果。一种稠密小目标检测方法，利用构建好的稠密小目标检测模型，对目标进行检测，具体方法包括，1)获取目标图片进行切割，获取切割后的图片；2)将获得的切割图片输入特征提取网络，利用构建的多尺度特征金字塔网络，生成金字塔特征谱；3)利用RPN网络生成候选区域，具体方法包括，利用金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；4)将得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的本文档来自技高网...

【技术保护点】
1.一种稠密小目标检测模型构建方法，具体方法包括，S1，获取充足的训练样本数据，对训练图片进行切割，获取切割后的图片；S2，将获得的切割图片输入特征提取网络，利用构建的多尺度特征金字塔网络，生成金字塔特征谱；S3，利用RPN网络生成候选区域，具体方法包括，利用S2中金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；S4，将S3中得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；S5，利用S4预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与S4中RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；S6，使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标，训练过程中，该部分网络损失函数由分类损失Lcls和定位损失Lreg构成：L＝Lcls+λLreg；其中，分类损失Lcls采用softmaxloss，定位损失采用smoothL1损失；S7，将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制方法获得最终检测结果；利用上述S1到S7反复对模型进行训练最终得到构建后的稠密小目标检测模型。...

【技术特征摘要】
1.一种稠密小目标检测模型构建方法，具体方法包括，S1，获取充足的训练样本数据，对训练图片进行切割，获取切割后的图片；S2，将获得的切割图片输入特征提取网络，利用构建的多尺度特征金字塔网络，生成金字塔特征谱；S3，利用RPN网络生成候选区域，具体方法包括，利用S2中金字塔多层特征谱上每个像素点生成的不同大小和尺度的锚点框，对锚点框回归并分类预测每个框属于前景或背景，得到候选区域；S4，将S3中得到的候选区域分别映射到对应的不同尺度的特征谱上，利用RolAlign获取候选区域的特征，从而预测中心点位置坐标；其中，利用RolAlign获取候选区域的特征的具体方法为：遍历每一个候选区域，保持浮点数边界不做量化；将候选区域分割成K×K个单元，保持每个单元的边界不做量化；在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，最后进行最大池化操作；S5，利用S4预测得到的中心点位置坐标，分别在相应不同尺度特征谱上获取中心点上下文特征，并将获取的上下文特征与S4中RolAlign的候选区域特征级联，再用滤波器卷积得到融合后的特征谱；S6，使用训练好的softmax分类器和边界框回归器分别预测融合后的特征谱所属的具体类别以及每个框的坐标，训练过程中，该部分网络损失函数由分类损失Lcls和定位损失Lreg构成：L＝Lcls+λLreg；其中，分类损失Lcls采用softmaxloss，定位损失采用smoothL1损失；S7，将切割后图片的预测结果映射到对应的原始图片，使用非极大抑制方法获得最终检测结果；利用上述S1到S7反复对模型进行训练最终得到构建后的稠密小目标检测模型。2.根据权利要求1所述的稠密小目标检测模型构建方法，在S1中，对训练样本进行切割时，采用与原图等比例的滑动窗口对原始图片每隔一定的步长进行切割。3.根据权利要求1所述的稠密小目标检测模型构建方法，在S2中，采用残差特征金字塔网络，利用深度卷积神经网络金字塔结构特性，使用自顶向下的侧边连接将高层语义信息与底层细节特征信息融合，构建多尺度特征金字塔网络；其中，为构建残差特征金字塔网络，将深度神经网络中高层特征谱上采样2倍，与相邻的底层特征采用元素级相加的方式融合。4.根据权利要求3所述的稠密小目标检测模型构建方法，所述方法还包括，采用3*3的卷积核处理融合后的特征，最终生成金字塔特征谱。5.根据权利要求1所述的稠密小目标检测模型构建方法，在S4中，中心点位置坐标预测的方法还包括，在训练网络过程中，利用SmoothL1损失回归中心点位置坐标。6.根据权利要求1所述的稠密小目标检测模型构建方法，在S5中，所述滤波器的卷积核大小为1。7.一种稠密小目标检测模型，采用权利要求1到6之一所述的稠密小目标检测模型构建方法获得，用于实现对稠密小目标的检测，包括，图片获取模块，获取...

【专利技术属性】
技术研发人员：李宏亮，邱荷茜，
申请(专利权)人：成都快眼科技有限公司，
类型：发明
国别省市：四川,51