一种基于机器视觉的果实识别检测与定位系统技术方案

本发明专利技术公开了一种基于YOLOv5和双目视觉的果实识别定位方法，基于双目相机采集多张果实样本图像，基于该多张果实样本图像搭建果实图像数据集；对果实图像数据集进行预处理后，利用注意力机制模块的YOLOV5模型对果实图像数据集重的果实样本图像进行识别，同时利用双目定位方法确定果实的三维位置坐标；本发明专利技术利用深度学习目标检测网络模型实现对果实识别，解决了自然果园场景中因为光线变化、遮挡、重叠等导致的识别困难，具有识别准确率高，运算速度快，适合场景多的优点。本发明专利技术具有速度快，精度高的优点。精度高的优点。精度高的优点。

【技术实现步骤摘要】
一种基于机器视觉的果实识别检测与定位系统


[0001]本专利技术设计涉及图像处理领域，尤其涉及一种基于机器视觉的果实识别检测与定位系统。

技术介绍

[0002]我国是一个农业大国，果实成熟后需要对果实进行采摘。人工采摘果实是农业生产链过程中最耗时、劳动量最大、成本最高的一个环节，我国人口老龄化越来越严重，人工采摘成本越来越高。随着科学技术的发展，越来越多的采摘机器人运用到农产品的采摘过程中了。采摘机器人对果实的自动采摘涉及到对目标果实的识别与定位，但是在果园非结构化环境中，使得对果实的识别与定位十分困难。因此实现在非结构化环境下对果实识别与定位具有重要的应用价值。

技术实现思路

[0003]本专利技术的主要目的是克服现有技术的缺点和不足，提出一种基于机器视觉的果实识别定位方法，此方法基于深度学习目标检测和双目立体视觉，解决了采摘机器人果实识别慢和定位难的问题，具有识别速度快，适应场景多的优点。
[0004]本专利技术的目的通过一下技术方法实现：一种基于YOLOv5和双目视觉的果实识别定位方法，其特征在于，包括：
[0005]基于双目相机采集多张果实样本图像，基于该多张果实样本图像搭建果实图像数据集；对果实图像数据集进行预处理后，利用注意力机制模块的YOLOV5模型对果实图像数据集重的果实样本图像进行识别，同时利用双目定位方法确定果实的三维位置坐标；
[0006]进一步的，所述的果实样本图像，包括但不限于不同光照强度下的果实图像、不同光照角度下的果实图像、枝叶对果实遮挡图像、果实成簇生长图像以及果实之间互相遮挡图像等。
[0007]进一步的，所述的果实图像数据集预处理，包括对果实图像数据集的标注和对果实样本图像进行数据增强处理。首先对采集的果实样本图像进行标注，确定并获取果实目标区域。
[0008]进一步的，所述的数据增强处理，包括但不限于对果实样本图像进行亮度变暗处理，对果实样本图像进行变亮处理，对果实样本图像添加随机噪声，对果实样本图像模糊处理，对果实样本图像进行随机裁剪处理，对果实样本图像进行对平翻转处理，对果实样本图像进行垂直翻转处理等。
[0009]进一步的，所述的进行数据增强后数据集按比例划分，得到训练集、验证集以及测试集。
[0010]进一步的，所述的注意力机制模块为CBAM注意力机制模块，CBAM注意力机制模块同时包括空间注意力机制模块和通道注意力机制模块。
[0011]进一步的，获取果实目标区域，包括：以训练集作为训练数据作为输入，真实标签
作为输出，对YOLOV5模型网络进行训练，得到网络模型权重；采用训练好的网络权重对果实进行识别，检测得到果实目标区域。
[0012]进一步的，所述果实目标区域，YOLOV5模型检测出的果实图像框中(Xmin,Ymin),(Xmax,Ymax),计算得到果实矩形中心点的坐标；
[0013]Xmid＝(Xmin+Xmax)/2
[0014]Ymid＝(Ymin+Ymax)/2
[0015]进一步的，所述果实样本图像基于双目相机实现，所述双目相机安装于采摘机器人的机械臂上，基于该双目相机对果实样本进行图像采集。双目相机利用双目测距算法获取果实中心点的空间三维坐标(X,Y,Z)，确定空间三维坐标后，通过采摘机器人对果实进行采摘。所述的双目测距算法的流程包括双目相机标定、双目图像立体矫正、双目立体匹配、双目视差计算、双目视差优化等。
[0016]进一步的，所述的双目立体匹配为BM立体匹配方法。
[0017]本专利技术与现有技术相比，具有如下优点和有益效果：
[0018]本专利技术利用深度学习目标检测网络模型实现对果实识别，解决了自然果园场景中因为光线变化、遮挡、重叠等导致的识别困难，具有识别准确率高，运算速度快，适合场景多的优点。
[0019]本专利技术利用双目视觉来定位果实，采用BM立体匹配方法，具有速度快，精度高的优点。
[0020]本专利技术设计的模型结构清晰，设计和搭建较为容易。
附图说明
[0021]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本专利技术整体实施示意图。
[0023]图2为基于YOLOv5的果实识别图。
具体实施方式
[0024]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。
[0025]在本专利技术的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了使于描述本专利技术和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本专利技术的限制。
[0026]此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者
隐含地包括一个或者更多个该特征。在本专利技术的描述中,除非另有说明,“多个”的含义是两个或两个以上。
[0027]在本专利技术的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接:可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本专利技术中的具体含义。
[0028]实施例:
[0029]一种基于YOLOv5和双目视觉的番茄果实识别定位方法，包括：
[0030]番茄图像数据集，所述的番茄果实图像数据集包含多张番茄果实样本图像；
[0031]番茄图像数据集的预处理，对图像数据集进行预处理；
[0032]注意力机制模块；
[0033]基于双目定位方法确定果实三维位置坐标；
[0034]进一步的，所述的番茄果实图像数据集，其特征在于，所述的番茄果实图像数据集包括但不限于不同光照强度下的番茄果实图像，不同光照角度下的番茄果实图像，枝叶对番茄遮挡图像，番茄果实成簇生长图像，番茄果实之间互相遮挡图像等。
[0035]进一步的，对所述的番茄图像数据集进行预处理，所述的预处理包括对数据集的标注和对图像进行数据增强处理。首先对图像数据集进行标注，利用开源Labelme软件对番茄数据集数据进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于YOLOv5和双目视觉的果实识别定位方法，其特征在于，包括：基于双目相机采集多张果实样本图像，基于该多张果实样本图像搭建果实图像数据集；对果实图像数据集进行预处理后，利用注意力机制模块的YOLO V5模型对果实图像数据集重的果实样本图像进行识别，同时利用双目定位方法确定果实的三维位置坐标。2.根据权利要求1所述的基于YOLOv5和双目视觉的果实识别定位方法，其特征在于，所述的果实样本图像，包括不同光照强度下的果实图像、不同光照角度下的果实图像、枝叶对果实遮挡图像、果实成簇生长图像以及果实之间互相遮挡图像。3.根据权利要求1所述的基于YOLOv5和双目视觉的果实识别定位方法，其特征在于，所述的果实图像数据集预处理，包括对果实图像数据集的标注和对果实样本图像进行数据增强处理；首先对采集的果实样本图像进行标注，确定并获取果实目标区域。4.根据权利要求3所述的基于YOLOv5和双目视觉的果实识别定位方法，其特征在于，所述的数据增强处理，包括但不限于对果实样本图像进行亮度变暗处理，对果实样本图像进行变亮处理，对果实样本图像添加随机噪声，对果实样本图像模糊处理，对果实样本图像进行随机裁剪处理，对果实样本图像进行对平翻转处理，对果实样本图像进行垂直翻转处理。5.根据权利要求4所述的基于YOLOv5和双目视觉的果实识别定位方法，其特征在于，所述的进行数据增强后数据集按比例划分，得到训练集、验证集以及测试集。6.根据权利要求1所述的基于YOLOv5...

【专利技术属性】
技术研发人员：王双友，王保民，杜海艳，何月梅，
申请(专利权)人：邯郸学院，
类型：发明
国别省市：