一种基于特征重构的任意方向小麦病害图像检测方法技术

本发明专利技术涉及一种基于特征重构的任意方向小麦病害图像检测方法，与现有技术相比解决了难以针对任意方向小麦病害图像进行检测的缺陷。本发明专利技术包括以下步骤：小麦病害图像的获取和预处理；构建小麦病害检测模型；小麦病害检测模型的训练；待检测小麦病害图像的获取；小麦病害图像检测结果的获得。本发明专利技术可实现任意方向小麦病斑区域的准确定位和快速检测，提高小麦病害检测的准确率，增强小麦病害检测算法的鲁棒性。的鲁棒性。的鲁棒性。

【技术实现步骤摘要】
一种基于特征重构的任意方向小麦病害图像检测方法


[0001]本专利技术涉及病害图像
，具体来说是一种基于特征重构的任意方向小麦病害图像检测方法。

技术介绍

[0002]如何精准地检测与识别小麦病害一直是困扰农作物病害预测预报的问题。近年来，作为计算机视觉领域的一个新的突破，深度学习方法已经被用于处理农业领域的各种问题。许多研究人员已经将各种深度学习技术用于作物病害识别。虽然这些方法可以很好地完成作物病害的检测任务，但在各种挑战的野生环境下，从小麦病害图像中获得良好的检测效果仍然具有挑战性。
[0003]由于田间场景下，小麦病斑区域的方向是任意的，应用通用水平检测器进行任意方向病斑检测会导致水平边界框中背景冗余。这不利于在今后的工作中准确计算叶片受损面积，以确定小麦病害的发生水平。此外，由于任意方向的小麦病斑区域一般具有较大的纵横比，使用通用水平检测器容易产生漏检。最后，当病害发生密集时，使用水平检测框会造成多个水平方框重叠，使得农民或农业专家难以看到疾病的真实位置。因此，亟需开发出一种能应用于任意方向小麦病害的检测方法。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中难以针对任意方向小麦病害图像进行检测的缺陷，提供一种基于特征重构的任意方向小麦病害图像检测方法来解决上述问题。
[0005]为了实现上述目的，本专利技术的技术方案如下：
[0006]一种基于特征重构的任意方向小麦病害图像检测方法，包括以下步骤：
[0007]小麦病害图像的获取和预处理：获取小麦病害图像，对获取的小麦病害图像进行人工标注，采用标注软件创建旋转框框住病斑图像并标记病斑类别，建立小麦病害训练样本集；
[0008]构建小麦病害检测模型：基于RetinaNet的单级旋转目标检测器构建小麦病害检测模型；
[0009]小麦病害检测模型的训练：利用小麦病害训练样本集对小麦病害检测模型进行训练；
[0010]待检测小麦病害图像的获取：获取待检测的小麦病害图像；
[0011]小麦病害图像检测结果的获得：将待检测的小麦病害图像输入训练后的小麦病害检测模型，得到小麦病害图像检测结果。
[0012]所述构建小麦病害检测模型包括以下步骤：
[0013]设定小麦病害检测模型的输入为小麦病害图像、输出为以旋转框框出的病斑图像及标记的病斑类别；
[0014]设定基于RetinaNet的单级旋转目标检测器构建小麦病害检测模型，其包括输入
模块、主干网络、粗阶段网络、精炼阶段网络和输出模块；
[0015]设定输入模块用于将小麦病害图像输入主干网络；
[0016]构建主干网络；
[0017]构建粗阶段网络：粗阶段网络包括第一分类子网络和第一回归子网络；
[0018]构建精炼阶段网络：精炼阶段网络包括特征精炼模块、第二分类子网络和第二回归子网络；
[0019]设定输出模块用于将检测出的病斑图像及标记的病斑类别输出。
[0020]所述小麦病害检测模型的训练包括以下步骤：
[0021]将小麦病害训练样本集输入小麦病害检测模型；
[0022]设定在随机梯度下降优化算法中，动量设置为0.9、权重衰减设置为0.0001、初始学习速率设置为4e
‑
3，训练24个轮次epoch，分别在第8、16、20个轮次降低学习率；
[0023]小麦病害检测模型采用多尺度(1333,800)、(1700,1000)、(2000,1200)训练，训练所采用的分类损失函数为focal Loss，定位损失为近似S
‑
IoU损失函数；
[0024]在回归损失中加入角度损失，基于特征重构的任意方向小麦病害检测模型的多任务损失函数定义如下：
[0025][0026]L
reg
(v,v
*
)＝L
smoot h
‑
l1
(v
θ
,v
*θ
)
‑
IOU(v
{x,y,w,h}
,v
*{x,y,w,h}
)，
[0027]其中，i代表第i个参考框，N为参考框的个数，o
i
的值表示二进制值，o
i
＝1为前景，o
i
＝0为背景，v是预测偏移量矢量，v
*
是真实框的目标矢量，p
*i
的值表示实框标签，p
i
为第i个样本的分类置信度，(x,y,w,h,θ)分别表示框的中心坐标、宽度、高度和角度，S
‑
IOU是预测的旋转参考框与真实框的重叠面积与总面积的比值，默认值为λ1＝1和λ2＝1，分类损失L
cls
为focal Loss，函数f(S
‑
IOU)＝1
‑
S
‑
IOU是与S
‑
IOU相关的损失函数，函数IOU(.)是水平参考框IoU计算函数；
[0028]训练粗阶段网络：
[0029]针对主干网络输出的不同特征层P3、P4、P5、P6和P7，分别设置水平参考框的面积大小为32*32、64*64、128*128、256*256、512*512，另外每个面积对应7个长宽对比度即1:1、1:2、2:1、1:3、3:1、1：5、5：1，所以共有35种候选框用于粗阶段目标区域提取；
[0030]如果某个病斑区域的水平参考框和某个病斑真实框有最高的IOU或者和任意一个真实框的IOU都大于0.5，如果小于0.4则设定为正样本；通过正负样本学习训练粗阶段网络；
[0031]粗阶段网络输入是不同特征层的特征图，由回归分支和卷积分类分支组成，通过网络值与真实值的损失反向传播误差学习网络参数：在此用五个参数(x,y,w,h,θ)来表示参考框，其中(x,y)表示几何中心，w表示宽度，h代表高度，θ为参考框的角度；
[0032]在回归子网中预测一个额外的角度偏移，旋转参考框表示如下：
[0033]t
*x
＝(x
*
‑
x
a
)/w
a
，t
y
＝(y
*
‑
y
a
)/h
a
[0034]t
*w
＝log(w
*
/w
a
),t
*h
＝log(h
*
/h
a
),t
*θ
＝θ
*
‑
θ
a
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0035]t
x
＝(x
‑
x
a
)/w
a
,t
y
＝(y
‑
...

【技术保护点】

【技术特征摘要】
1.一种基于特征重构的任意方向小麦病害图像检测方法，其特征在于，包括以下步骤：11)小麦病害图像的获取和预处理：获取小麦病害图像，对获取的小麦病害图像进行人工标注，采用标注软件创建旋转框框住病斑图像并标记病斑类别，建立小麦病害训练样本集；12)构建小麦病害检测模型：基于RetinaNet的单级旋转目标检测器构建小麦病害检测模型；13)小麦病害检测模型的训练：利用小麦病害训练样本集对小麦病害检测模型进行训练；14)待检测小麦病害图像的获取：获取待检测的小麦病害图像；15)小麦病害图像检测结果的获得：将待检测的小麦病害图像输入训练后的小麦病害检测模型，得到小麦病害图像检测结果。2.根据权利要求1所述的一种基于特征重构的任意方向小麦病害图像检测方法，其特征在于，所述构建小麦病害检测模型包括以下步骤：21)设定小麦病害检测模型的输入为小麦病害图像、输出为以旋转框框出的病斑图像及标记的病斑类别；22)设定基于RetinaNet的单级旋转目标检测器构建小麦病害检测模型，其包括输入模块、主干网络、粗阶段网络、精炼阶段网络和输出模块；23)设定输入模块用于将小麦病害图像输入主干网络；24)构建主干网络；25)构建粗阶段网络：粗阶段网络包括第一分类子网络和第一回归子网络；26)构建精炼阶段网络：精炼阶段网络包括特征精炼模块、第二分类子网络和第二回归子网络；27)设定输出模块用于将检测出的病斑图像及标记的病斑类别输出。3.根据权利要求1所述的一种基于特征重构的任意方向小麦病害图像检测方法，其特征在于，所述小麦病害检测模型的训练包括以下步骤：31)将小麦病害训练样本集输入小麦病害检测模型；32)设定在随机梯度下降优化算法中，动量设置为0.9、权重衰减设置为0.0001、初始学习速率设置为4e
‑
3，训练24个轮次epoch，分别在第8、16、20个轮次降低学习率；小麦病害检测模型采用多尺度(1333，800)、(1700，1000)、(2000，1200)训练，训练所采用的分类损失函数为focal Loss，定位损失为近似S
‑
IoU损失函数；在回归损失中加入角度损失，基于特征重构的任意方向小麦病害检测模型的多任务损失函数定义如下：L
reg
(v，v
*
)＝L
smooth
‑
l1
(v
θ
，v
*θ
)
‑
lOU(v
{x，y，w，h}
，v
*{x，y，w，h}
)，其中，i代表第i个参考框，N为参考框的个数，o
i
的值表示二进制值，o
i
＝1为前景，o
i
＝0为背景，v是预测偏移量矢量，v
*
是真实框的目标矢量，p
*i
的值表示实框标签，p
i
为第i个样本的分类置信度，(x，y，w，h，θ)分别表示框的中心坐标、宽度、高度和角度，S
‑
IOU是预测的
旋转参考框与真实框的重叠面积与总面积的比值，默认值为λ1＝1和λ2＝1，分类损失L
cls
为focal Loss，函数f(S
‑
IOU)＝1
‑
S
‑
IOU是与S
‑
IOU相关的损失函数，函数IOU(.)是水平参考框IoU计算函数；33)训练粗阶段网络：针对主干网络输出的不同特征层P3、P4、P5、P6和P7，分别设置水平参考框的面积大小为32*32、64*64、128*128、256*256、512*512，另外每个面积对应7个长宽对比度即1∶1、1∶2、2∶1、1∶3、3∶1、1∶5、5∶1，所以共有35种候选框用于粗阶段目标区域提取；如果某个病斑区域的水平参考框和某个病斑真实框有最高的IOU或者和任意一个真实框的IOU都大于0.5，如果小于0.4则设定为正样本；通过正负样本学习训练粗阶段网络；粗阶段网络输入是不同特征层的特征图，由回归分支和卷积分类分支组成，通过网络值与真实值的损失反向传播误差学习网络参数：在此用五个参数(x，y，w，h，θ)来表示参考框，其中(x，y)表示几何中心，w表示宽度，h代表高度，θ为参考框的角度；在回归子网中预测一个额外的角度偏移，旋转参考框表示如下：x，、y、w，、h，、θ分别表示旋转参考框的中心坐标、宽度、高度和角度，变量x
*
、x
a
、x分别表示真实框、参考框和预测框相关的值，y，w，h和θ与x相同，粗阶段通过学习水平参考框的五个参数与病斑标记真实框的偏移量，得到病斑区域的旋转参考框；34)训练精炼阶段网络：设定病斑区域的旋转参考框与病斑真实框的IoU大于0.6时，该框是正样本；病斑区域的旋转参考框与病斑真实框的IoU小于0.5时，则该框为负样本；针对病斑区域的旋转参考框进行分类和回归任务；通过网络值与真实值的损失反向传播误差学习网络参数；最终通过精炼阶段提取得到病斑的类别和位置；精炼阶段网络多次添加到网络中以提高检测精度，第二个和后续的精炼网络阶段的阈值设置为0.7和0.6；训练过程中正负样本的选择由旋转参考框与目标真实框的旋转IOU阈值来决定，旋转IOU的计算通过三角剖分法：首先得到旋转参考框B1和目标真实框B2的交点...

【专利技术属性】
技术研发人员：王儒敬，刘海云，焦林，谢成军，张洁，杜健铭，李瑞，陈红波，胡海瀛，陈天娇，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：