【技术实现步骤摘要】
本专利技术属于深度学习与机器视觉，具体地说，本专利技术涉及基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法。
技术介绍
1、水稻是我国主要粮食作物，在水稻生长过程中，杂草是水稻生产的主要制约因素。除草方式中机械除草作为一种环境友好型的绿色除草方式，可有效缓解当前化学除草带来的危害。而根据秧苗和杂草的位置精确控制除草机械除去株间杂草，水稻秧苗与杂草的区分定位是极其关键的环节，其定位的准确性直接影响除草机构作业质量。
2、机器视觉具有信息完整丰富、非接触测量、价格成本低等优点，目前成为一种主流的作物植株检测与定位技术。为识别作物植株并进行定位，部分学者(computers andelectronics in agriculture,2020,169:1-12)通过提取作物图像中颜色、纹理、形状等特征来识别作物，在此基础上获取目标作物的位置信息。相比传统方法，深度学习模型凭借其卓越的特征学习能力，现已广泛应用于作物分割、植株分类、水果识别等农业领域。但深度学习模型是一种数据驱动的学习方法，且稻田水稻和多种杂草共存，尤其稻田禾本科杂草与水稻形态相近，区分性的信息仅仅隐藏在微小的细节中，要求深度学习模型的特征提取器具有更加灵敏的特征提取能力，且有足够明确的大型数据集来训练深度学习模型。因此，如何根据针对水稻图像特点，获得最接近秧苗自然属性且对光照鲁棒的特征表达，有效消除或降低图像处理中光照及秧苗杂草自身形态相似性对秧苗定位精度的影响是稻田株间机械除草所面临的关键技术难题。
技术实现思路p>
1、本专利技术提供基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，以解决上述
技术介绍
中存在的问题。
2、为了实现上述目的，本专利技术采取的技术方案为：基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，具体包括以下步骤：
3、步骤s1：搭建图像采集系统，包括计算机和安装在移动平台上的工业相机，利用工业相机在稻田中垂直向下采集不同光照下水稻秧苗杂草图像，并传输至计算机进行分析处理；
4、步骤s2：秧苗杂草植株标签制作，利用labeling对不同光照条件下秧苗杂草图像数据集进行秧苗杂草植株和背景的人工标注，并划分为训练集和验证集；
5、步骤s3：秧苗杂草图像色彩特征向量提取，在秧苗杂草图像中，通过颜色指数转换公式，将不同光照条件下rgb图像转化为exg、ndi、veg、s/v和excg图像，以r、g、b、h、s、v、exg、ndi、veg、s/v、cg和excg图像对应的颜色特征构成12维特征向量，并采用特征降维方法进行秧苗杂草图像的关键色彩特征参数提取；
6、步骤s4：秧苗杂草植株、背景分割模型构建，结合图像具有的邻域空间一致性和二分类模型，构建具有邻域空间一致性约束的秧苗杂草植株、背景分割模型，并以秧苗杂草植株训练集图像对应的颜色特征分量作为分割模型输入，并以对应的秧苗杂草植株标签图为监督，训练分割模型，并基于验证集图像的分类结果优化分割模型参数；
7、步骤s5：秧苗杂草的茎中心数据集制作，对另采集的秧苗杂草图像进行数据增强，基于步骤s4的分割模型实现图像中秧苗杂草植株、背景像素的分类，获取秧苗杂草植株二值图像，以其作为秧苗杂草图像的掩膜，分别标记秧苗、杂草的茎中心；
8、步骤s6：基于实例分割模型mask r-cnn和注意力机制，在秧苗杂草植株、背景分割结果基础上，实现稻田秧苗杂草茎中心区分定位；
9、步骤s7：定义稻田秧苗杂草茎中心区分定位模型的损失函数，并将上述制作的秧苗杂草的茎中心数据集按照一定比例划分为训练集、验证集和测试集，采用训练集和验证集，对所述的稻田秧苗杂草茎中心区分定位模型进行训练，结合测试集进行模型性能的评估。
10、优选的，所述步骤s3中，秧苗杂草图像色彩特征向量提取，通过颜色指数转换公式，在rgb色彩空间中提取exg、ndi、veg图像，并将rgb图像转化到符合人眼视觉特性的hsv色彩空间，提取s/v图像，将rgb图像转化到ycrcb空间，提取excg图像，其中，exg、ndi、veg、excg的计算公式如下：
11、
12、
13、
14、excg＝2cg-cr-cb；
15、
16、优选的，所述步骤s3中，秧苗杂草图像色彩特征提取，运用pearson相关性分析算法对12维特征向量[r,g,b,h,s,v,exg,ndi,veg,s/v,cg,excg]进行相关系数计算，保留强相关的特征参数，其中，任两个特征的相关系数计算公式如下：
17、
18、式中：xk和yk分别是特征x、y的第k个数据；m为特征中总的数据量。
19、优选的，所述步骤s4中，秧苗杂草植株、背景分割模型构建,基于图像空间邻域像素的相似程度和支持向量机svm分类模型，构建邻域空间一致性约束的秧苗杂草植株、背景分割模型，对于图像中任一像素点x，其n邻域表示为nn(x)，计算像素点x与其邻域nn(x)像素的相似程度sj(x,xj)，其计算公式如下：
20、
21、式中：ηc是像素x灰度值；ηi是x邻域像素灰度值；ηij是邻域nn(x)中第j个像素的n邻域像素i像素值；ηcj是邻域nn(x)中第j个像素的n邻域像素c像素值；n是邻域像素个数；
22、基于邻域相似度设置像素邻域空间信息融合权重，并将像素邻域空间信息融合到svm分类模型中，svm分类模型计算公式如下：
23、
24、式中：α表示拉格朗日系数；m是数据集个数；σ为方差；yt为样本图像对应的类别标签，植株和背景；yl为样本图像对应的类别数量；ft(x)为具有邻域空间约束的像素x的特征向量，像素x的特征向量定义为ft(x)，fl(x)为具有邻域空间约束的像素i的特征向量，则ft(x)计算公式如下：
25、
26、优选的，所述步骤s5中，秧苗杂草的茎中心数据集制作，其特征在于利用python脚本对采集的图像进行亮度调节、对比度增强、几何变换，数据增强后的图像经上述植株背景分类模型分割出图像中植株像素，并利用标注工具vgg image annotator对分割后的水稻秧苗杂草图像进行茎中心的区分标注，植株中心是用圆形区域来表示的，用以定义植株的茎中心，且秧苗和杂草个体分别用掩膜标记，将标注后的图像数据集以预设比例划分为训练集、验证集和测试集。
27、优选的，所述步骤s6中，构建稻田秧苗杂草茎中心区分定位模型；在实例分割模型mask r-cnn的图像特征提取层引入注意力机制，构建注意力机制引导的特征学习模块，特征学习模块由上层位置注意力机制pam与下层通道注意力机制cam构成，其中，pam和cam定义如下：
28、
29、
30、式中：和分别表示对输入特征图像进行平均池化、最大池化后的特征图；在位置注意力机制中，进行维度拼接后，经7×7的卷积层生成位置注本文档来自技高网...
【技术保护点】
1.基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：具体包括以下步骤：
2.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S3中，秧苗杂草图像色彩特征向量提取，通过颜色指数转换公式，在RGB色彩空间中提取ExG、NDI、VEG图像，并将RGB图像转化到符合人眼视觉特性的HSV色彩空间，提取S/V图像，将RGB图像转化到YCrCb空间，提取ExCg图像，其中，ExG、NDI、VEG、ExCg的计算公式如下：
3.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S3中，秧苗杂草图像色彩特征提取，运用Pearson相关性分析算法对12维特征向量[R,G,B,H,S,V,ExG,NDI,VEG,S/V,Cg,ExCg]进行相关系数计算，保留强相关的特征参数，其中，任两个特征的相关系数计算公式如下：
4.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S4中，秧苗杂草植株、背景分割模型构建,基于图像空间邻域
5.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S5中，秧苗杂草的茎中心数据集制作，其特征在于利用Python脚本对采集的图像进行亮度调节、对比度增强、几何变换，数据增强后的图像经上述植株背景分类模型分割出图像中植株像素，并利用标注工具VGG Image Annotator对分割后的水稻秧苗杂草图像进行茎中心的区分标注，植株中心是用圆形区域来表示的，用以定义植株的茎中心，且秧苗和杂草个体分别用掩膜标记，将标注后的图像数据集以预设比例划分为训练集、验证集和测试集。
6.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S6中，构建稻田秧苗杂草茎中心区分定位模型；在实例分割模型MaskR-CNN的图像特征提取层引入注意力机制，构建注意力机制引导的特征学习模块，特征学习模块由上层位置注意力机制PAM与下层通道注意力机制CAM构成，其中，PAM和CAM定义如下：
7.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S7中，定义稻田秧苗杂草茎中心区分定位模型的损失函数，构建一种复合损失函数，其计算公式如下：
...【技术特征摘要】
1.基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：具体包括以下步骤：
2.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤s3中，秧苗杂草图像色彩特征向量提取，通过颜色指数转换公式，在rgb色彩空间中提取exg、ndi、veg图像，并将rgb图像转化到符合人眼视觉特性的hsv色彩空间，提取s/v图像，将rgb图像转化到ycrcb空间，提取excg图像，其中，exg、ndi、veg、excg的计算公式如下：
3.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤s3中，秧苗杂草图像色彩特征提取，运用pearson相关性分析算法对12维特征向量[r,g,b,h,s,v,exg,ndi,veg,s/v,cg,excg]进行相关系数计算，保留强相关的特征参数，其中，任两个特征的相关系数计算公式如下：
4.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤s4中，秧苗杂草植株、背景分割模型构建,基于图像空间邻域像素的相似程度和支持向量机svm分类模型，构建邻域空间一致性约束的秧苗杂草植株、背景分割模型，对于图像中任一像素点x，其n邻域表示为nn(x)，计算像素点x...
【专利技术属性】
技术研发人员：杨玉青，廖娟，陈民慧，张锴，严从宽，朱德泉，张顺，
申请(专利权)人：安徽农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。