基于局部密集区域密度特征检测的微小害虫图像识别方法技术

本发明专利技术涉及基于局部密集区域密度特征检测的微小害虫图像识别方法，与现有技术相比解决了微小害虫识别率低的缺陷。本发明专利技术包括以下步骤：训练图像的获取；害虫密集区域检测网络的构建；害虫密集区域检测网络的训练；害虫密集区域标准化；局部区域害虫目标检测网络组的构建与训练；全局害虫目标检测网络的构建与训练；害虫检测结果融合；待检测害虫图像的获取；害虫图像检测结果的获得。本发明专利技术利用微小害虫聚集区域的密度特征信息，将密集区域准确切分出并进行单独的害虫目标检测，弥补了全局害虫目标检测在该类区域中存在的检测遗漏及检测精度不高等问题，提高了微小害虫图像检测的整体检测精度。

【技术实现步骤摘要】
基于局部密集区域密度特征检测的微小害虫图像识别方法
本专利技术涉及图像处理
，具体来说是基于局部密集区域密度特征检测的微小害虫图像识别方法。
技术介绍
传统的农业害虫测报方法大多数是基于人工田间调查进行识别与估算数量，识别准确率受到调查人员专业知识影响，数量估计受到调查人员主观判断影响，因此测报结果存在较大差异。近年来基于机器视觉与图像处理技术的害虫识别与检测算法被大量应用到农业害虫的识别与检测工作中，极大的减少了田间调查的人力成本，提高了识别计数的准确率。在实际应用中，虽然现有目标检测算法针对体积较大、辨识度较高的害虫检测表现很好，但是针对一些害虫体积微小，聚集密度较大的害虫，例如小麦蚜虫等，则会出现大量检测遗漏与检测精度差等问题。这是由于针对整个图像的全局目标检测算法的检测分辨能力较低，难以分辨微小的目标。如果直接提高全局目标检测算法的检测分辨能力则会极大的增加算法的计算负担，占用大量计算资源，无法达到实际应用要求。因此如何在保证运算效率的同时提高对微小害虫的检测表现成为微小害虫检测任务急需解决的技术问题。
技术实现思路
本专利技术的目的是为了解决现有技术中微小害虫识别率低的缺陷，提供一种基于局部密集区域密度特征检测的微小害虫图像识别方法来解决上述问题。为了实现上述目的，本专利技术的技术方案如下：一种基于局部密集区域密度特征检测的微小害虫图像识别方法，包括以下步骤：11)训练图像的获取：获取带有人工标记的害虫图像数据集；12)害虫密集区域检测网络的构建：构建害虫密集区域检测网络，其中害虫密集区域检测网络包括整体特征提取网络与密集区域建议网络；13)害虫密集区域检测网络的训练：利用害虫图像数据集对害虫密集区域检测网络进行训练；14)害虫密集区域标准化：对由害虫密集区域检测网络输出的害虫局部区域进行标准化操作；害虫密集区域的标准化操作包括害虫密集区域合并操作与害虫密集区域切分操作，输入为害虫密集区域检测网络输出的害虫局部区域，输出为按照密度得分分组且尺寸相似的标准化的图像局部区域；15)局部区域害虫目标检测网络组的构建与训练：对局部区域害虫目标检测网络组进行构建与训练；输入为经过害虫密集区域标准化获得的按照密度得分分组的图像局部区域，输出为按照密度得分分组的图像局部区域中的害虫识别定位结果；16)全局害虫目标检测网络的构建与训练；17)害虫检测结果融合：将全局害虫目标检测网络与局部区域害虫目标检测网络组输出的害虫识别定位结果进行融合，获得全局害虫识别定位结果；18)待检测害虫图像的获取：获取待检测的微小害虫图像；19)害虫图像检测结果的获得。所述害虫密集区域检测网络的构建包括以下步骤：21)设定整体特征提取网络：整体特征提取网络包括骨干网络和特征融合网络；骨干网络由叠加的多层卷积神经网络层、池化层与激活函数层构成，用于提取图片中的基础特征，输出多层特征图；特征融合网络通过侧向连接骨干网络输出的多层特征图，将各层特征图进行融合，输出兼顾不同层次语义特征的整体特征图；其中，骨干网络为ResNet50网络，特征融合网络为FPN特征金字塔网络；22)设定密集区域建议网络：设定密集区域建议网络的输入为整体特征提取网络输出的整体特征图，输出为整体特征图上以每个锚点为中心的选取区域的密度得分；密集区域建议网络首先使用一个拥有512个通道的卷积核大小为3×3的卷积层，之后使用线性整流函数ReLu作为卷积层激活函数，再使用一个卷积核大小为1×1的卷积层，由区域形状数量S与区域放大比例数量R的乘积决定该卷积层的通道数S×R。所述害虫密集区域检测网络的训练包括以下步骤：31)将带有人工标注的害虫图像数据集输入整体特征提取网络，通过骨干网络提取图像基础特征图，之后基础特征图通过特征融合网络，输出多层语义互相融合之后的整体特征图；32)将整体特征图输入密集区域建议网络，设定一个在特征图上滑动的锚点A，滑动单次步长设定为k，以该锚点为中心，共有S种形状的区域选择框，每种选择框拥有R种放大比例，当锚点滑动至第i个位置，当前第s种形状在第r个放大比例下的选取框包含的人工标记的目标数量为当前区域选取框面积为使用如下公式表示当前选取框中的目标密度得分：其中O为偏差补偿系数，以保证目标密度得分为正数，在应用中取O＝10，且设定目标密度得分的最大值dmax＝4，最小值dmin＝1；设定当前选取框的目标密度得分为真实密度得分，设定网络根据整体特征图通过卷积层输出的得分为当前选取框的目标密度预测得分；使用如下公式表示当前图像产生的用于密集区域检测网络反向传播训练的损失函数：其中I为图像中锚点位置个数，为每个选取框的损失函数，由光滑L1范数SmoothL1计算而得：最终经过训练得害虫密集区域检测网络将对每一张图像输出一系列候选区域与其对应的预测密度得分具有高密度得分的候选区域即为密集区域。所述害虫密集区域标准化包括以下步骤：41)对密度得分相近且区域高度重合的候选区域进行合并操作，输入为密集区域检测网络输出的密集区域集合与对应的密度得分，输出为合并后的密集区域集合与对应的密度得分；合并密集区域步骤如下：411)将密度得分按照得分高低分为5组，分别如下：得分1-2为无密集、得分2-2.5为稀疏、得分2.5-3为中等密集、得分3-3.5为一般密集、得分3.5-4为极度密集；将带有人工标记的农业微小害虫图像输入训练后的害虫密集区域检测网络，得到害虫局部区域其中使用左上与右下坐标表示每个密集区域412)设定重叠程度计算公式计算两个密集区域a与b的重叠程度OL(a,b)，其计算公式如下：并设定合成阈值Nt判断两个密集区域a与b的重叠程度是否需要合成；若OL(a,b)大于阈值Nt，则进行密集区域a与b的合并操作；413)设定合并操作其输入为需合并的区域集合，为需要合并区域对应密度得分集合，输出{b′,d′}为合并成的新区域以及对应的密度得分，中最小的和以及最大的和作为合成区域b′的左上和右下坐标；合成区域对应的密度得分为中的最小值，记为414)从密集区域中取出对应密度得分最大的区域bk，并遍历中其他所有区域bi进行重叠度计算OL(bk,bi)，如果重叠程度大于合成阈值Nt，且对应密度得分dk与di属于同一密度分组，则将bi与di取出放入至合并候选集合中；如果当遍历结束后候选集和非空，则将当前选取的区域bk与dk也放入候选集合进行合并操作并将输出的b′,d′放回和否则，就将bk，dk放入输出集合中；循环上述操作直至中所有区域被取出；415)集合中为输出的合并之后的密集区域与对应的密集得分；42)对经过合并后的密集区域中尺寸过大的区域进行切分操作，输入为合并操作输出的合并之后的密集区域集合以及对应的密度得分，输出为切分之后的密集区域集合以及对应的密度得分；切分操作步骤如下：本文档来自技高网...

【技术保护点】
1.一种基于局部密集区域密度特征检测的微小害虫图像识别方法，其特征在于，包括以下步骤：/n11)训练图像的获取：获取带有人工标记的害虫图像数据集；/n12)害虫密集区域检测网络的构建：构建害虫密集区域检测网络，其中害虫密集区域检测网络包括整体特征提取网络与密集区域建议网络；/n13)害虫密集区域检测网络的训练：利用害虫图像数据集对害虫密集区域检测网络进行训练；/n14)害虫密集区域标准化：对由害虫密集区域检测网络输出的害虫局部区域进行标准化操作；害虫密集区域的标准化操作包括害虫密集区域合并操作与害虫密集区域切分操作，输入为害虫密集区域检测网络输出的害虫局部区域，输出为按照密度得分分组且尺寸相似的标准化的图像局部区域；/n15)局部区域害虫目标检测网络组的构建与训练：对局部区域害虫目标检测网络组进行构建与训练；输入为经过害虫密集区域标准化获得的按照密度得分分组的图像局部区域，输出为按照密度得分分组的图像局部区域中的害虫识别定位结果；/n16)全局害虫目标检测网络的构建与训练；/n17)害虫检测结果融合：将全局害虫目标检测网络与局部区域害虫目标检测网络组输出的害虫识别定位结果进行融合，获得全局害虫识别定位结果；/n18)待检测害虫图像的获取：获取待检测的微小害虫图像；/n19)害虫图像检测结果的获得。/n...

【技术特征摘要】
1.一种基于局部密集区域密度特征检测的微小害虫图像识别方法，其特征在于，包括以下步骤：
11)训练图像的获取：获取带有人工标记的害虫图像数据集；
12)害虫密集区域检测网络的构建：构建害虫密集区域检测网络，其中害虫密集区域检测网络包括整体特征提取网络与密集区域建议网络；
13)害虫密集区域检测网络的训练：利用害虫图像数据集对害虫密集区域检测网络进行训练；
14)害虫密集区域标准化：对由害虫密集区域检测网络输出的害虫局部区域进行标准化操作；害虫密集区域的标准化操作包括害虫密集区域合并操作与害虫密集区域切分操作，输入为害虫密集区域检测网络输出的害虫局部区域，输出为按照密度得分分组且尺寸相似的标准化的图像局部区域；
15)局部区域害虫目标检测网络组的构建与训练：对局部区域害虫目标检测网络组进行构建与训练；输入为经过害虫密集区域标准化获得的按照密度得分分组的图像局部区域，输出为按照密度得分分组的图像局部区域中的害虫识别定位结果；
16)全局害虫目标检测网络的构建与训练；
17)害虫检测结果融合：将全局害虫目标检测网络与局部区域害虫目标检测网络组输出的害虫识别定位结果进行融合，获得全局害虫识别定位结果；
18)待检测害虫图像的获取：获取待检测的微小害虫图像；
19)害虫图像检测结果的获得。


2.根据权利要求1所述的基于局部密集区域密度特征检测的微小害虫图像识别方法，其特征在于，所述害虫密集区域检测网络的构建包括以下步骤：
21)设定整体特征提取网络：整体特征提取网络包括骨干网络和特征融合网络；骨干网络由叠加的多层卷积神经网络层、池化层与激活函数层构成，用于提取图片中的基础特征，输出多层特征图；特征融合网络通过侧向连接骨干网络输出的多层特征图，将各层特征图进行融合，输出兼顾不同层次语义特征的整体特征图；其中，骨干网络为ResNet50网络，特征融合网络为FPN特征金字塔网络；
22)设定密集区域建议网络：设定密集区域建议网络的输入为整体特征提取网络输出的整体特征图，输出为整体特征图上以每个锚点为中心的选取区域的密度得分；
密集区域建议网络首先使用一个拥有512个通道的卷积核大小为3×3的卷积层，之后使用线性整流函数ReLu作为卷积层激活函数，再使用一个卷积核大小为1×1的卷积层，由区域形状数量S与区域放大比例数量R的乘积决定该卷积层的通道数S×R。


3.根据权利要求1所述的基于局部密集区域密度特征检测的微小害虫图像识别方法，其特征在于，所述害虫密集区域检测网络的训练包括以下步骤：
31)将带有人工标注的害虫图像数据集输入整体特征提取网络，通过骨干网络提取图像基础特征图，之后基础特征图通过特征融合网络，输出多层语义互相融合之后的整体特征图；
32)将整体特征图输入密集区域建议网络，
设定一个在特征图上滑动的锚点A，滑动单次步长设定为k，以该锚点为中心，共有S种形状的区域选择框，每种选择框拥有R种放大比例，当锚点滑动至第i个位置，当前第s种形状在第r个放大比例下的选取框包含的人工标记的目标数量为当前区域选取框面积为使用如下公式表示当前选取框中的目标密度得分：



其中O为偏差补偿系数，以保证目标密度得分为正数，在应用中取O＝10，且设定目标密度得分的最大值dmax＝4，最小值dmin＝1；
设定当前选取框的目标密度得分为真实密度得分，设定网络根据整体特征图通过卷积层输出的得分为当前选取框的目标密度预测得分；使用如下公式表示当前图像产生的用于密集区域检测网络反向传播训练的损失函数：



其中I为图像中锚点位置个数，为每个选取框的损失函数，由光滑L1范数SmoothL1计算而得：



最终经过训练得害虫密集区域检测网络将对每一张图像输出一系列候选区域与其对应的预测密度得分具有高密度得分的候选区域即为密集区域。


4.根据权利要求1所述的基于局部密集区域密度特征检测的微小害虫图像识别方法，其特征在于，所述害虫密集区域标准化包括以下步骤：
41)对密度得分相近且区域高度重合的候选区域进行合并操作，输入为密集区域检测网络输出的密集区域集合与对应的密度得分，输出为合并后的密集区域集合与对应的密度得分；合并密集区域步骤如下：
411)将密度得分按照得分高低分为5组，分别如下：
得分1-2为无密集、得分2-2.5为稀疏、得分2.5-3为中等密集、得分3-3.5为一般密集、得分3.5-4为极度密集；
将带有人工标记的农业微小害虫图像输入训练后的害虫密集区域检测网络，得到害虫局部...

【专利技术属性】
技术研发人员：王儒敬，杜健铭，陈天娇，谢成军，张洁，李瑞，陈红波，胡海瀛，刘海云，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：安徽;34