一种苹果采摘障碍树枝的感知与识别方法技术

本发明专利技术提供了一种苹果采摘障碍树枝的感知与识别方法，包括以下步骤：S1：采集若干张树枝与苹果的图像；S2：使用labelImg对图片中所有树枝数据集进行标注，对标注后的数据集进行细分，使用labelImg对仅遮挡住苹果的树枝进行标注，获得背景为红色苹果的树枝集；S3：使用labelme对细分后的树枝集进行预处理，对形状特征为矩形的树枝轮廓进行标注；S4：改进Dice系数；S5、改进YOLOv4函数；S6、预测；S7、得出最优数据集。本方法使用语义分割对树枝集做了预处理，优化树枝特征不明显的问题；通过对YOLOv4模型进行改进，提出了一种适用于树枝的BIOU边框回归损失函数，同时提高了置信度较低样本以及置信度较高样本的识别率。样本以及置信度较高样本的识别率。样本以及置信度较高样本的识别率。

【技术实现步骤摘要】
一种苹果采摘障碍树枝的感知与识别方法


[0001]本专利技术涉及机器感知与识别方法，更具体的涉及一种苹果采摘障碍树枝的感知与识别方法。

技术介绍

[0002]苹果是人们最常食用的水果之一，我国苹果的种植面积已达到千万亩，因此采摘机器人在苹果的采摘应用中前景十分广泛。20年代中后期，美国学者Schertz和Brown首次提出利用机器人作用与水果收获过程中，利用机器人对水果采摘过程进行简化。基于我国的苹果树种植方式及生产模式较多、果园建设、果树种植标准化程度较低、果园内环境复杂、障碍物多，存在一定的安全隐患，不适合采摘机器人的识别与采摘作业，限制了采摘机器人的推广应用。
[0003]目前采摘识别方法主要基于图像的获取、预处理和识别，对障碍树枝的信息获取主要通过雷达采集点云数据的方式。专利文件CN 114431005 A公开了一种智能化农业果实采摘识别与定位方法、系统及装置，通过归一化预处理RGB图像后输入模型进行预测。专利文件201210367554.Y公开了一种基于全景立体视觉的采摘对象的识别、分类和空间定位装置及方法，通过双目立体全景视觉传感器感知识别。专利202111669823.Y公开了一种树枝设别的模型的训练方法、树枝识别方法及装置。通过雷达采集点云数据训练与识别树枝模型。
[0004]上述专利文件所公开的方法，仅通过感知图像或点云获取数据的方法，没有将待测物复杂的背景环境进行有效分离，也没有针对不同形状的树枝提出识别方法，在实际的检测识别时存在局限性，具有准确率低、实时性差等缺点。
专利
技术实现思路

[0005]为解决苹果采摘时树枝的识别障碍问题，主要是机械手进行苹果采摘时遮挡苹果位置的树枝，针对树枝提出一种预处理方法，并提出一种结合语义分割和YOLOv4，获取语义骨架识别出树枝位置框的方法，并提出能够提高树枝识别准确率的改进边框回归损失函数。
[0006]具体方案如下：
[0007]一种苹果采摘障碍树枝的感知与识别方法，包括以下步骤：
[0008]S1、获取图像：采集若干张树枝与苹果的图像；
[0009]S2、标注、细分：使用labelImg对图片中所有树枝数据集进行标注，对标注后的数据集进行细分：使用labelImg对仅遮挡住苹果的树枝进行标注，获得背景为红色苹果的树枝集，细分后的树枝集具备了一定的相似特征；S2中先分别标注各树枝的矩形框，得到所有树枝的数据集，在训练过程中由于形状特征和背景特征不明显，因此训练和识别效果均不佳，对标注的数据集进行细分，只标注遮挡住苹果的部分树枝，得到遮挡住苹果的部分树枝集，该树枝集形状为矩形，背景颜色统一为红色，可以大大提高训练网络的模型训练以及预
测效果。
[0010]S3、预处理：使用labelme对细分后的树枝集进行预处理，对形状特征为矩形的树枝轮廓进行标注；
[0011]S4、改进Dice系数：对语义分割网络模型中的Dice系数进行改进，将预处理后的树枝集放入改进后的语义分割模型中进行训练；
[0012]S5、改进YOLOv4函数：改进YOLOv4中的边框回归损失函数，将细分后的树枝集放入改进后的YOLOv4网络模型中训练；
[0013]S6、预测：输入待测图片，对待测图片中遮挡住苹果的树枝进行预测；
[0014]S7、得出最优数据集：将S6得到的预测结果反馈给YOLOv4网络模型，更换权值文件进行对比训练，挑选出预测效果最优的权值文件，同时得出训练效果最优的树枝集。
[0015]为增强树枝预处理效果，提出了用于计算树枝样本相似度的Dice系数，为提高语义分割对树枝集的训练效果、更好地对树枝包络作出划分，针对语义分割用于计算样本相似度的Dice系数s，根据范围作出了固定比例的增大，用于增强语义骨架识别效率较低的部分树枝，改进前的Dice系数s为：
[0016][0017]改进后的Dice系数s
′
为：
[0018][0019]上式中，X为分割的真实值元素个数；Y为预测模型元素个数；
[0020]语义分割训练树枝的损失Dice'
Loss
＝1
‑
s'。
[0021]YOLO为一种新的目标进行检测技术方法，该方法的特点是可以实现快速检测的同时还具有较高的准确率，YOLO将目标区域预测和目标类别预测整合于单个神经系统网络结构模型中，实现在准确率较高的情况下快速学习目标检测与识别，更加适合实际应用研究环境。YOLO v1是YOLO的起点，依赖于物体识别标注数据，因此对于苹果树枝非常规的物体形状检测效果不明显，YOLO v2是一种检测与分类联合训练方法，YOLO v3基于YOLO v2进行了改进，直接通过回归生成每个类的边界框坐标和概率，大大提高了检测速度，YOLOv4相比于YOLO v3实现了检测速度与精度的均衡。本方案针对苹果树枝的特殊情况对YOLOv4进行改进，S5中YOLOv4基于边框回归损失函数的CIOU计算损失值为：
[0022][0023][0024][0025][0026]式中ρ2(b,b
gt
)为预测框和真实框的中心点的欧式距离；
[0027]C为能同时包含预测框和真实框的最小闭包区域的对角线距离；
[0028]A为预测框；
[0029]B为真实框；
[0030]IOU为预测框与真实框的重叠程度；
[0031]b为指定目标框中点的位置；
[0032]b
gt
为预测框中点的位置；
[0033]α是用于平衡比例的参数；
[0034]v是用来衡量先验框和目标框之间长宽比一致性的参数；
[0035]ω
gt
表示目标框的宽度；
[0036]h
gt
表示目标框的高度；
[0037]ω表示预测框的宽度；
[0038]h表示预测框的高度。
[0039]计算树枝的回归损失，由于树枝特征较为特殊，部分树枝的模型训练置信度都将达到一个峰值，定义了一种新的基于YOLOv4树枝预测框与真实边框的边框回归损失函数BIOU，最终只显示置信度在0.5以上的树枝预测框，置信度达到0.5以上每在一个小区间内，不同程度地提高树枝预测的置信度，增强预测效果，BIOU公式为：
[0040][0041]树枝相应的损失为B
Loss
＝1
‑
BIOU。
[0042]有益效果：
[0043](1)本专利技术提供了一种苹果采摘障碍树枝的感知与识别方法，使用语义分割去除树枝小分支的方法，对树枝集做了预处理，优化树枝特征不明显的问题；通过对YOLOv4模型
进行改进，提出了一种适用于树枝的BIOU边框回归损失函数，微调之后，当预测置信度达到0.5以上时，同时提高了置信度较低样本以及置信度较高样本的识别率。
[0044](2)本专利技术提供了一种苹果采摘障碍树枝的感知与识别方法，针对苹果树枝形状特征和背本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种苹果采摘障碍树枝的感知与识别方法，其特征在于，包括以下步骤：S1、获取图像：采集若干张树枝与苹果的图像；S2、标注、细分：使用labelImg对图片中所有树枝数据集进行标注，对标注后的数据集进行细分，使用labelImg对仅遮挡住苹果的树枝进行标注，获得背景为红色苹果的树枝集；S3、预处理：使用labelme对细分后的树枝集进行预处理，对形状特征为矩形的树枝轮廓进行标注；S4、改进Dice系数：对语义分割网络模型中的Dice系数进行改进，将预处理后的树枝集放入改进后的模型中训练；S5、改进YOLOv4函数：改进YOLOv4中的边框回归损失函数，将细分后的树枝集放入改进后的YOLOv4网络模型中训练；S6、预测：输入待测图片，对待测图片中遮挡住苹果的树枝进行预测；S7、得出最优数据集：将S6得到的预测结果反馈给YOLOv4网络模型，更换权值文件进行对比训练，挑选出预测效果最优的权值文件，同时得出训练效果最优的树枝集。2.根据权利要求1所述的一种苹果采摘障碍树枝的感知与识别方法，其特征在于，改进前的Dice系数s为：改进后的Dice系数s
′
为：上式中，X为分割的真实值元素个数；Y为预测模型元素个数。3.根据权利要求1所述的一种苹果采摘障碍树枝的感知与识别方法，其特征在于，S5中YOLOv4基于边框回归损失函数的CIOU计算损失值为：YOLOv4基于边框回归损失函数的CIOU计算损失值为：YOLOv4基于边框回归损失函数的CIOU计算损失值为：
式中ρ2(b,b

【专利技术属性】
技术研发人员：黄哲，唐仕喜，沈冠东，王仕廉，高心悦，
申请(专利权)人：盐城师范学院，
类型：发明
国别省市：