一种基于最优传输的田间棉花计数与定位方法技术

本发明专利技术提供了一种基于最优传输的田间棉花计数与定位方法，以田间棉花图像为处理对象，构建基于最优传输的网络模型。首先以VGG19为主干框架提取特征，引入坐标注意力机制捕获特征图中位置信息；然后基于最优传输理论计算预测密度图与ground

【技术实现步骤摘要】
一种基于最优传输的田间棉花计数与定位方法


[0001]本专利技术属于农业自动检测
，具体涉及一种基于最优传输的田间棉花计数与定位方法。

技术介绍

[0002]棉花是一种世界重要的经济作物，也是重要的纤维和饲料来源。棉花田间管理的精准化、规范化是作物优质高产的重要保证。其中，棉田间作物的密度信息和位置信息是促进定向高效节水灌溉、定点定量精准施肥等农业精细化智能管理手段的重要依据。
[0003]计算机视觉和机器学习技术的发展促进了农业应用领域的自动化水平。黄紫云等人在2020年发表论文“基于密度等级分类的田间棉铃计数算法”为生成高质量密度图，对图像中棉铃进行密度等级分类，将分类信息与特征相结合，以此实现了复杂田间的棉铃计数。与早期的基于回归的方法相比，其计数精度大幅提升。但密度图仅能反映一张图像中目标的个数，难以对空间分布以及位置信息做出准确判断。宋怀波等人2012年发表论文“基于凸壳理论的遮挡苹果目标识别与定位方法”利用形态学方法对果实目标进行处理，得到目标边缘并进行轮廓跟踪，利用目标边缘的凸壳提取果实轮廓曲线，最后估计该光滑曲线段的圆心及半径参数，实现果实的定位。这种方法需要大量的人工标注成本。同时，在目标分布密集时，作物间的大量遮挡会给模型学习带来巨大的挑战。因此，以上方法均无法满足当前农业精细化智能管理的需要。

技术实现思路

[0004]本专利技术要解决的技术问题是：提供一种基于最优传输的田间棉花计数与定位方法，用于田间棉花计数与定位。
[0005]本专利技术为解决上述技术问题所采取的技术方案为：一种基于最优传输的田间棉花计数与定位方法，包括以下步骤：
[0006]S1：获取田间棉花图像，经过筛选后构建棉花图像数据集，包括训练集和测试集；
[0007]S2：构建基于最优传输的JCCLNet网络模型；JCCLNet网络模型包括特征提取模块和密度图回归模块；
[0008]特征提取模块以VGG19为主干框架提取特征，引入坐标注意力机制捕获特征图中的位置信息，用于提取图像的深度特征；
[0009]密度图回归模块基于最优传输理论优化经过特征提取模块后的特征图即初始预测密度图，通过求解初始预测密度图与ground
‑
truth点标注图之间的最优传输方案，计算传输代价作为损失函数监督密度图回归；
[0010]S3：初始化模型参数，将训练集输入到JCCLNet网络模型进行参数调整；
[0011]S4：将测试集中的棉花图像输入到JCCLNet网络模型中，输出棉花的计数结果和定位结果，并计算计数误差和定位精度，以验证模型的有效性；
[0012]S5：将实时获取的棉花图像输入至训练好的JCCLNet网络模型，输出结果即为棉花
计数与定位结果。
[0013]按上述方案，所述的步骤S1中，具体步骤为：
[0014]S11：按不同光照、不同分布、不同区域条件获取田间棉花图像；
[0015]S12：使用图形图像标注工具Labelme对数据集中每一幅棉花图像中的每个棉花目标进行精确地点标注，得到ground
‑
truth标签；
[0016]S13：将标注后的图像按照3：1的比例随机分为初始训练集和测试集。
[0017]按上述方案，所述的步骤S2中，特征提取模块包括VGG19基础模块、坐标注意力模块和回归层；
[0018]VGG19基础模块包括16层卷积层和最后3层全连接层；使用VGG19基础模块作为特征提取器，输入尺寸为H
×
W
×
3的图像，经过四组卷积之后得到尺寸分别为的特征图像；
[0019]然后利用坐标注意力模块将位置信息嵌入到通道注意力中，生成具有位置信息的特征图；
[0020]在回归层上采样后，进行两次通道降维，输出尺寸大小为的初始密度图。
[0021]进一步的，还包括以下步骤：
[0022]在特征提取过程中，使用预训练的VGG19模型参数以保证生成的特征图像质量。
[0023]按上述方案，所述的步骤S2中，密度图回归模块运算的具体步骤为：
[0024]将预测密度图和ground
‑
truth点标注视为两个概率分布；
[0025]设n为标注点个数，x
i
表示第i个标注点，p
i
为位置x
i
处的质量即该点人数，定义每个标注点人数为1，则ground
‑
truth图p＝[p
i
]i
＝1
n
；将ground
‑
truth点标注图定义为：
[0026][0027]设m为密度图像素个数，y
j
是预测密度图中第j个像素点，d
j
是像素点y
j
处的质量即该像素点人数，密度图d＝[d
j
]j
；将预测密度图定义为：
[0028][0029]设矩阵C表示单位质量的传输代价，即C的第i行、第j列元素C
i，j
表示将一单位质量从x
i
处搬运到y
j
处的代价：
[0030]C
i，j
＝||x
i
‑
y
j
||2；
[0031]设矩阵T表示将分布M
density
转换为分布M
point
的最优传输方案；T的第i行、第j列元素表示将x
i
处质量中的T
ij
的量搬运到x
j
处；以两个分布M
point
和M
density
作为最优传输问题的输入，将M
density
转换为M
point
的传输代价定义如下：
[0032][0033]设γ为正则化系数，用于决定正则化的强弱；引入正则化最优传输，在式(1)中加
入熵正则化项：
[0034]minimum of∑
ij
C
ij
T
ij
＝∑
ij
[C
ij
T
ij
‑
γT
ij
logT
ij
]ꢀꢀꢀꢀ
(2)；
[0035]定义则存在对角矩阵使
[0036]T＝uKv
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
[0037]对未知向量u和v，在传输问题(2)的约束中插入方程(3)得出以下两个关系：
[0038][0039][0040]通过Sinkhorn算法迭代计算u和v，直到u和v都收敛到一个最终值；最后根据u和v计算得到传输矩阵，以传输矩阵下的传输代价为损失监督密度图回归。
[0041]按上述方案，所述的步骤S3中，具体步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于最优传输的田间棉花计数与定位方法，其特征在于：包括以下步骤：S1：获取田间棉花图像，经过筛选后构建棉花图像数据集，包括训练集和测试集；S2：构建基于最优传输的JCCLNet网络模型；JCCLNet网络模型包括特征提取模块和密度图回归模块；特征提取模块以VGG19为主干框架提取特征，引入坐标注意力机制捕获特征图中的位置信息，用于提取图像的深度特征；密度图回归模块基于最优传输理论优化经过特征提取模块后的特征图即初始预测密度图，通过求解初始预测密度图与ground
‑
truth点标注图之间的最优传输方案，计算传输代价作为损失函数监督密度图回归；S3：初始化模型参数，将训练集输入到JCCLNet网络模型进行参数调整；S4：将测试集中的棉花图像输入到JCCLNet网络模型中，输出棉花的计数结果和定位结果，并计算计数误差和定位精度，以验证模型的有效性；S5：将实时获取的棉花图像输入至训练好的JCCLNet网络模型，输出结果即为棉花计数与定位结果。2.根据权利要求1所述的一种基于最优传输的田间棉花计数与定位方法，其特征在于：所述的步骤S1中，具体步骤为：S11：按不同光照、不同分布、不同区域条件获取田间棉花图像；S12：使用图形图像标注工具Labelme对数据集中每一幅棉花图像中的每个棉花目标进行精确地点标注，得到ground
‑
truth标签；S13：将标注后的图像按照3：1的比例随机分为初始训练集和测试集。3.根据权利要求1所述的一种基于最优传输的田间棉花计数与定位方法，其特征在于：所述的步骤S2中，特征提取模块包括VGG19基础模块、坐标注意力模块和回归层；VGG19基础模块包括16层卷积层和最后3层全连接层；使用VGG19基础模块作为特征提取器，输入尺寸为H
×
W
×
3的图像，经过四组卷积之后得到尺寸分别为的特征图像；然后利用坐标注意力模块将位置信息嵌入到通道注意力中，生成具有位置信息的特征图；在回归层上采样后，进行两次通道降维，输出尺寸大小为的初始密度图。4.根据权利要求3所述的一种基于最优传输的田间棉花计数与定位方法，其特征在于：还包括以下步骤：在特征提取过程中，使用预训练的VGG19模型参数以保证生成的特征图像质量。5.根据权利要求1所述的一种基于最优传输的田间棉花计数与定位方法，其特征在于：所述的步骤S2中，密度图回归模块运算的具体步骤为：将预测密度图和ground
‑
truth点标注视为两个概率分布；设n为标注点个数，x
i
表示第i个标注点，p
i
为位置x
i
处的质量即该点人数，定义每个标注点人数为1，则ground
‑
truth图p＝[p
i
]
i
＝1
n
；将ground
‑
truth点标注图定义为：
设m为密度图像素个数，y
j
...

【专利技术属性】
技术研发人员：李亚楠，黄雨涵，刘弈飞，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：