一种番茄植株侧枝修剪点识别方法技术

本发明专利技术公开了一种番茄植株侧枝修剪点识别方法，属于枝条修剪点识别技术领域。方法包括以下步骤：采集番茄枝条的图像，建立自然场景下的番茄枝条图像库；建立并训练基于Mask R

【技术实现步骤摘要】
一种番茄植株侧枝修剪点识别方法


[0001]本专利技术属于枝条修剪点识别
，尤其是一种番茄植株侧枝修剪点识别方法。

技术介绍

[0002]番茄是常见果蔬之一，我国是世界上番茄生产和消费大国。枝叶修剪对番茄植株生长有重要意义，及时修剪枝叶能够提高番茄植株通透性，降低病害发生率和提高番茄产量。番茄植株叶子长在侧枝上，目前主要通过人工割断或掰断侧枝实现番茄枝叶修剪，这样不仅浪费时间和人力，在割断或掰断过程中可能会造成番茄植株的损伤。番茄主要种植方式为高架或者温室大棚种植，植株间宽阔的行距利于番茄植株枝叶修剪自动化作业。因此，研发番茄枝叶修剪机器人是可行且有必要的，而要实现番茄枝叶修剪自动化作业，识别番茄植株侧枝修剪点尤为重要。
[0003]目前，番茄枝叶修剪点识别方面的研究较少。公开号为CN109522901A的中国专利技术专利公开一种基于边缘对偶关系的番茄植株茎秆边缘识别方法，具体方法为分割番茄植株彩色图像，提取番茄植株连续边缘，进行去噪处理，然后排序番茄植株边缘，进行基于Tl邻域滤波的边缘类型标识、短边缘段滤波及边缘分割，最后基于边缘间的对偶关系获得番茄植株茎秆边缘对。公开号为CN112270708A的中国专利技术专利公开了一种基于不同边缘类型的蔬果植株侧枝点识别方法，具体方法是首先阈值分割蔬果类植株彩色图像，在其二值化图像中分别提取横向和纵向边缘，通过求取处理过后的横纵边缘的交点，可以得到蔬果植株的分枝点，最后通过分枝点所在的边缘类型和两点间距离限制确定侧枝点。
[0004]番茄植株主枝、侧枝、叶片与未成熟的绿色果实颜色相近，采用基于传统阈值特征的图像处理方法存在无法进行有效区分与分割和适用性差等问题。而实例分割模型通过训练可以检测和分割出番茄植株的主枝和侧枝。目前，基于实例分割模型的枝条分割研究极少，且枝条实例分割是侧枝修剪点识别的重要步骤。
[0005]因此，需要提供一种番茄植株侧枝修剪点识别方法。

技术实现思路

[0006]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种番茄植株侧枝修剪点识别方法，此方法利用基于Mask R
‑
CNN网络进行番茄植株主枝与侧枝实例分割，解决采用基于阈值特征的传统图像处理方法无法将番茄植株侧枝、主枝从颜色相近的叶片、背景中有效分割导致的修剪点难以识别的问题。
[0007]本专利技术所采用的具体技术方案如下：
[0008]本专利技术提供了一种番茄植株侧枝修剪点识别方法，包括以下步骤：
[0009]S1、采集番茄枝条的图像，建立自然场景下的番茄枝条图像库；
[0010]S2、基于所述番茄枝条图像库，建立并训练基于Mask R
‑
CNN网络的番茄植株侧枝与主枝分割模型；
[0011]S3、基于所述番茄植株侧枝与主枝分割模型，判断待测图片中修剪点位于侧枝哪端，并计算修剪点坐标。
[0012]作为优选，所述步骤S1的具体步骤为：
[0013]S11、采集不同角度和不同光照下的番茄枝条彩色图像作为数据集；
[0014]S12、将所述步骤S11采集到的图像进行镜像和添加高斯噪声操作，以扩充数据集；
[0015]S13、基于所述步骤S12的结果，处理数据集中番茄枝条图像，将图像调整为统一的标准格式大小，随后将数据集分为图像训练集、验证集和测试集；
[0016]S14、基于步骤S13的结果，对番茄植株主枝与侧枝进行实例分割标注。
[0017]进一步的，所述步骤S13中图像的标准格式大小为960
×
704。
[0018]作为优选，所述步骤S2建立番茄植株侧枝与主枝分割的Mask R
‑
CNN网络的具体步骤为：
[0019]S21、将Mask R
‑
CNN的主干网络ResNet50/100替换为MobileViT进行特征提取，获取特征图C1、C2、C3、C4和C5；
[0020]S22、对所述特征图C3和C4添加ECA注意力机制得到新特征图，然后将获得的新特征图与所述特征图C2和C5输入到特征金字塔网络FPN中进行特征融合；
[0021]S23、基于步骤S22的结果，将特征融合后的特征图送入区域建议网络RPN中，获得感兴趣区域；
[0022]S24、通过兴趣区域对齐层将所述感兴趣区域映射到特征图中提取相应的目标特征；
[0023]S25、将步骤S24中提取的目标特征输入到头部网络的全连接层FC和全卷积网络层FCN，得到目标检测分类、预测边界框和掩膜。
[0024]进一步的，所述步骤S21中MobileViT网络共十层，第一层为3
×
3的标准卷积，第二层至第六层、第八层与第十层均为MV2模块，第七与第九层为MVIT模块，MV2为MobileNetV2网络的模块，MVIT为MobileViT网络的模块。
[0025]更进一步的，所述步骤S21中特征图C1、C2、C3、C4和C5分别为MobileViT网络第二层、第五层、第七层、第九层和第十层的输出结果。
[0026]进一步的，所述步骤S22中ECA注意力机制直接进行全局平均池化GAP，然后通过自适应选择的尺寸为k的快速一维卷积来进行局部跨通道连接，之后使用激活函数Sigmoid获得每个通道权重，将原始输入特征与通道权重结合获得具有通道注意力的特征，其中k的取值表示为：
[0027][0028]式中，|t|
odd
为离t最近的奇数，C为当前总通道数，γ和b分别取固定值为2和1。
[0029]进一步的，所述步骤S25中，目标检测分类设置为番茄植株侧枝、主枝和背景这3类。
[0030]作为优选，所述步骤S2中训练番茄植株侧枝与主枝分割的Mask R
‑
CNN网络的方式为加载MobileViT的预训练权重进行迁移学习。
[0031]作为优选，所述步骤S3的具体步骤为：
[0032]S31、待测图片输入到番茄植株侧枝与主枝分割的Mask R
‑
CNN网络中，根据输出的主枝边界框计算主枝附近范围F：
[0033]F＝[a1‑
70,a2+70][0034]其中a1、a2分别为主枝边界框左上角、右下角顶点横坐标；
[0035]S32、对每个侧枝掩膜二值图进行边缘提取，获得侧枝边缘图E；按列获取图E中侧枝边缘点坐标，其中第一个边缘点为侧枝左端端点L，最后一个边缘点为侧枝右端端点R，侧枝边缘点坐标(x,y)满足：
[0036]mask(x,y)＝255
[0037]其中mask(x,y)表示侧枝边缘图E中坐标为(x,y)的像素点的像素值；
[0038]S33、判断左端端点L和右端端点R的横坐标哪个在S31中得到的范围F中，若左端端点L横坐标在范围F中，侧枝修剪点在侧枝左端；若右端端点R横坐标在范围F中，侧枝修剪点在侧枝右端；
[0039]S34、若修剪点在侧枝右本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种番茄植株侧枝修剪点识别方法，其特征在于，包括以下步骤：S1、采集番茄枝条的图像，建立自然场景下的番茄枝条图像库；S2、基于所述番茄枝条图像库，建立并训练基于Mask R
‑
CNN网络的番茄植株侧枝与主枝分割模型；S3、基于所述番茄植株侧枝与主枝分割模型，判断待测图片中修剪点位于侧枝哪端，并计算修剪点坐标。2.根据权利要求1所述的一种番茄植株侧枝修剪点识别方法，其特征在于，所述步骤S1的具体步骤为：S11、采集不同角度和不同光照下的番茄枝条彩色图像作为数据集；S12、将所述步骤S11采集到的图像进行镜像和添加高斯噪声操作，以扩充数据集；S13、基于所述步骤S12的结果，处理数据集中番茄枝条图像，将图像调整为统一的标准格式大小，随后将数据集分为图像训练集、验证集和测试集；S14、基于步骤S13的结果，对番茄植株主枝与侧枝进行实例分割标注。3.根据权利要求2所述的一种番茄植株侧枝修剪点识别方法，其特征在于，所述步骤S13中图像的标准格式大小为960
×
704。4.根据权利要求1所述的一种番茄植株侧枝修剪点识别方法，其特征在于，所述步骤S2建立番茄植株侧枝与主枝分割的Mask R
‑
CNN网络的具体步骤为：S21、将Mask R
‑
CNN的主干网络ResNet50/100替换为MobileViT进行特征提取，获取特征图C1、C2、C3、C4和C5；S22、对所述特征图C3和C4添加ECA注意力机制得到新特征图，然后将获得的新特征图与所述特征图C2和C5输入到特征金字塔网络FPN中进行特征融合；S23、基于步骤S22的结果，将特征融合后的特征图送入区域建议网络RPN中，获得感兴趣区域；S24、通过兴趣区域对齐层将所述感兴趣区域映射到特征图中提取相应的目标特征；S25、将步骤S24中提取的目标特征输入到头部网络的全连接层FC和全卷积网络层FCN，得到目标检测分类、预测边界框和掩膜。5.根据权利要求4所述的一种番茄植株侧枝修剪点识别方法，其特征在于，所述步骤S21中MobileViT网络共十层，第一层为3
×
3的标准卷积，第二层至第六层、第八层与第十层均为MV2模块，第七与第九层为MVIT模块；所述MV2为MobileNetV2网络的模块，MVIT为MobileViT网络的模块。6.根据权利要求5所述的一种番茄植株侧枝修剪...

【专利技术属性】
技术研发人员：梁喜凤，章鑫宇，秦叶波，姚莹，陈丽妮，王永维，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：