一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法技术

本发明专利技术涉及一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法，与现有技术相比解决了尚无针对不同级别特征层的特征进行融合学习的缺陷。本发明专利技术包括以下步骤：小麦麦蜘蛛图像的收集；通过标记软件对麦蜘蛛在训练图像中进行具体位置的标记；构造小麦麦蜘蛛图像检测模型，构造基于Faster‑RCNN方法通过融合不同级别特征层特征的检测模型；待检测小麦图像的收集；麦蜘蛛在图像中具体位置的检测。本发明专利技术提升了深度网络模型的检测能力，提高了小麦麦蜘蛛这种小目标的检测率。

A method for detection of wheat and wheat spiders based on deep multi-layer feature fusion learning

The invention relates to a wheat spider detection method based on deep multi level feature fusion learning. Compared with the existing technology, it solves the defect that there is no integration learning for different levels of feature level. The invention comprises the following steps: Wheat spider image collection; by marking software for wheat spider in the training image location specific marker; structure of wheat spider image detection model, construct the fusion detection model features different levels through Faster RCNN method based on the detected image collection; wheat; wheat spider detection the specific location in the image. The invention improves the detection ability of the depth network model, and improves the detection rate of the small target of wheat and wheat spiders.

【技术实现步骤摘要】
一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法
本专利技术涉及图像识别
，具体来说是一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法。
技术介绍
麦蜘蛛是国内常见的危害小麦的螨类，对于麦蜘蛛的控制需要加强农业防治措施，重视田间虫情监测，及时发现、争取早治。在智能农业领域的实际应用中，麦蜘蛛作为小目标物，其检测图像经过多次卷积和池化以后，越来越小、分辨率越来越低，较深的卷积层学习的特征更加抽象。这些抽象特征对麦蜘蛛物体的大小、位置和方向等敏感性更低，从而有助于识别性能的提高，但是因为丢失了一些麦蜘蛛物体的细节，又不能很好地给出麦蜘蛛物体的具体轮廓。因此，如何融合不同级别特征层的特征提高小麦麦蜘蛛的检测率已经成为急需解决的技术问题。
技术实现思路
本专利技术的目的是为了解决现有技术中尚无针对不同级别特征层的特征进行融合学习的缺陷，提供一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法来解决上述问题。为了实现上述目的，本专利技术的技术方案如下：一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法，包括以下步骤：小麦麦蜘蛛图像的收集，收集若干幅小麦麦蜘蛛图像作为训练图像，得到若干个麦蜘蛛图像训练样本；通过标记软件对麦蜘蛛在训练图像中进行具体位置的标记；构造小麦麦蜘蛛图像检测模型，构造基于Faster-RCNN方法通过融合不同级别特征层特征的检测模型；待检测小麦图像的收集；麦蜘蛛在图像中具体位置的检测，将待检测小麦图像输入训练完成后的小麦麦蜘蛛图像检测模型进行麦蜘蛛的检测，定位并标记出待检测图像中所有麦蜘蛛在图像中具体位置以及麦蜘蛛的类别概率。所述构造小麦麦蜘蛛图像检测模型包括以下步骤：基于Faster-RCNN方法构造小麦麦蜘蛛图像检测模型；区域生成网络和检测网络fast-rcnn的轮流训练，对区域生成网络和检测网络fast-rcnn进行轮流训练。所述基于Faster-RCNN方法构造小麦麦蜘蛛图像检测模型包括以下步骤：输入若干个麦蜘蛛图像训练样本，将麦蜘蛛图像训练样本的整张训练图像输入RPN的共享卷积网络进行特征提取；通过RPN区域生成网络生成建议窗口，每张图片生成300个建议窗口；将建议窗口映射到Fast-rcnn网络的多层卷积featuremap上，找到每个建议窗口在多层卷积层的映射；映射的串联融合，将不同层级的映射作为其对应建议窗口的卷积特征，并分别输入到Fast-rcnn网络的Roipooling层得到固定的输出尺寸后,对固定尺寸的卷积特征进行串联融合，通过Roipooling层使每个建议窗口生成固定尺寸的输出；将固定尺寸的输出输入Fast-rcnn网络的全连接层；两个网络输出层的联合训练，全连接层后利用SoftmaxLoss网络输出层和SmoothL1Loss网络输出层对分类概率和边框回归联合训练。所述的区域生成网络和检测网络fast-rcnn的轮流训练包括以下：对区域生成网络进行端到端的训练，RPN中共享卷积网络使用ImageNet预训练的模型进行初始化，参数记为a0，RPN独有的层参数用高斯分布初始化；若共享卷积网络中最后一层特征图上滑窗对应的输入图上Anchorbox与groundtruth的IoU值最大，标记为正样本；若Anchorbox与groundtruth的IoU值大于0.7，标记为正样本；若Anchorbox与groundtruth的IoU值小于0.3，标记为负样本；训练区域生成网络的Loss由classificationloss和regressionloss按一定比重组成的；使用ImageNet预训练的模型进行初始化，使用区域生成网络提取训练集上的建议窗口训练检测网络fast-rcnn,此时共享卷积网络参数得到更新，记为a1；固定卷积层a1，使用上述标记的样本集对区域生成网络独有的层进行有监督的训练,微调区域生成网络独有的层；固定卷积层a1，使用区域生成网络提取训练集上的建议窗口，微调检测网络fast-rcnn独有的层。所述映射的串联融合包括以下步骤：Roipooling层获取不同大小建议窗口对应的同一层特征图上不同尺寸的映射；Roipooling层根据不同层特征图对应的Roipooling参数，将每个映射均匀分成M×N块,对每块均进行maxpooling；将同一建议窗口不同层级的的卷积映射特征经过Roipooling层串联融合起来，得到固定尺寸的输出。所述麦蜘蛛在图像中具体位置的检测包括以下步骤：输入是一张待检测小麦图像，将整张图片输入PRN的共享卷积网络进行特征提取；用RPN生成建议窗口，生成300个建议窗口；把建议窗口映射到Fast-rcnn网络的多层卷积featuremap上，找到每个建议窗口在多层卷积层的映射；将映射作为每个建议窗口的卷积特征分别输入到Roipooling层得到固定的输出尺寸后串联融合，通过Roipooling层使每个建议窗口生成固定尺寸的输出并输入全连接层；输入全连接层后利用SoftmaxLoss网络输出层和SmoothL1Loss网络输出层得到分类概率和边框回归。有益效果本专利技术的一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法，与现有技术相比基于Faster-RCNN方法通过融合不同级别特征层特征构造出检测模型，提升了深度网络模型的检测能力，提高了小麦麦蜘蛛这种小目标的检测率。附图说明图1为本专利技术的方法顺序图；图2为本专利技术中小麦麦蜘蛛图像检测模型的原理示意图。具体实施方式为使对本专利技术的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：如图1所示，本专利技术所述的一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法，包括以下步骤：第一步，小麦麦蜘蛛图像的收集。收集若干幅小麦麦蜘蛛图像作为训练图像，得到若干个麦蜘蛛图像训练样本。通过移动植保图像采集设备进行小麦麦蜘蛛图像的收集，移动植保图像采集设备包括伸缩杆、相机和智能终端，相机与智能终端通过wifi连接，相机安装在伸缩杆的前端，智能终端通过活动夹安装在伸缩杆的后端。采集人员通过智能终端可以方便地进行多位置多角度的按需采集，可以实现农作物病虫草害图像数据、地理信息、实时录入和传输等功能。数据包括图片、温湿度、墒情、病虫发生调查等多方面数据，构建农作物病虫草害样本库、知识库。第二步，通过标记软件对麦蜘蛛在训练图像中进行具体位置的标记，标记出麦蜘蛛的虫体部分。第三步，构造小麦麦蜘蛛图像检测模型。构造基于Faster-RCNN方法通过融合不同级别特征层特征的检测模型。如图2所示，其具体步骤如下：(1)基于Faster-RCNN方法构造小麦麦蜘蛛图像检测模型。A、输入若干个麦蜘蛛图像训练样本，将麦蜘蛛图像训练样本的整张训练图像输入RPN的共享卷积网络进行特征提取。RPN包括共享卷积网络，其还包括一些独有的网络(即生成建议窗口)。通过共享卷积网络提取出整张训练图像的特征，以供后面生成建议窗口进行直接调用，从而降低计算复杂度、提高效率。B、通过RPN的一些独有的层生成建议窗口，每张图片生成300个建议窗口。C、将建议窗口映射到Fast-rcnn网络的多层卷积featuremap上，找到每个建议窗口在多层卷积层的映射。D、映射的串联融合，将不同层级的映射作为其对应建议窗口的卷积特征，本文档来自技高网...

【技术保护点】
一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法，其特征在于,包括以下步骤：11)小麦麦蜘蛛图像的收集，收集若干幅小麦麦蜘蛛图像作为训练图像，得到若干个麦蜘蛛图像训练样本；12)通过标记软件对麦蜘蛛在训练图像中进行具体位置的标记；13)构造小麦麦蜘蛛图像检测模型，构造基于Faster‑RCNN方法通过融合不同级别特征层特征的检测模型；14)待检测小麦图像的收集；15)麦蜘蛛在图像中具体位置的检测，将待检测小麦图像输入训练完成后的小麦麦蜘蛛图像检测模型进行麦蜘蛛的检测，定位并标记出待检测图像中所有麦蜘蛛在图像中具体位置以及麦蜘蛛的类别概率。

【技术特征摘要】
1.一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法，其特征在于,包括以下步骤：11)小麦麦蜘蛛图像的收集，收集若干幅小麦麦蜘蛛图像作为训练图像，得到若干个麦蜘蛛图像训练样本；12)通过标记软件对麦蜘蛛在训练图像中进行具体位置的标记；13)构造小麦麦蜘蛛图像检测模型，构造基于Faster-RCNN方法通过融合不同级别特征层特征的检测模型；14)待检测小麦图像的收集；15)麦蜘蛛在图像中具体位置的检测，将待检测小麦图像输入训练完成后的小麦麦蜘蛛图像检测模型进行麦蜘蛛的检测，定位并标记出待检测图像中所有麦蜘蛛在图像中具体位置以及麦蜘蛛的类别概率。2.根据权利要求1所述的一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法，其特征在于，所述构造小麦麦蜘蛛图像检测模型包括以下步骤：21)基于Faster-RCNN方法构造小麦麦蜘蛛图像检测模型；22)区域生成网络RPN和检测网络fast-rcnn的轮流训练，对区域生成网络RPN和检测网络fast-rcnn进行轮流训练。3.根据权利要求2所述的一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法，其特征在于，所述基于Faster-RCNN方法构造小麦麦蜘蛛图像检测模型包括以下步骤：31)输入若干个麦蜘蛛图像训练样本，将麦蜘蛛图像训练样本的整张训练图像输入RPN的共享卷积网络进行特征提取；32)通过RPN区域生成网络生成建议窗口，每张图片生成300个建议窗口；33)将建议窗口映射到Fast-rcnn网络的多层卷积featuremap上，找到每个建议窗口在多层卷积层的映射；34)映射的串联融合，将不同层级的映射作为其对应建议窗口的卷积特征，并分别输入到Fast-rcnn网络的Roipooling层得到固定的输出尺寸后,对固定尺寸的卷积特征进行串联融合，通过Roipooling层使每个建议窗口生成固定尺寸的输出；35)将固定尺寸的输出输入Fast-rcnn网络的全连接层；36)两个网络输出层的联合训练，全连接层后利用SoftmaxLoss网络输出层和SmoothL1Loss网络输出层对分类概率和边框回归联合训练。4.根据权利要求2所述的一种基于深度多层特征融合学习的小麦麦蜘蛛检测方法，其特征在于，所述的区域生成网络和检测网络fast-rcnn的轮流训练包括以下：41)对区域生成网络进行端到端的训练，RPN中共享卷积网络使用Ima...

【专利技术属性】
技术研发人员：陈天娇，王儒敬，谢成军，张洁，李瑞，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：安徽,34