【技术实现步骤摘要】
本专利技术涉及计算机人工智能，尤其涉及一种果实检测及采摘方法、装置、电子设备及存储介质。
技术介绍
1、目前，农业生产已经不断逐步向规模化、集约化、精准化方向迅速发展。而目前不少果实为经济林木，具有较高的经济效益。但由于种植的环境极为复杂，目前大多仍需要依靠自然人工采摘。在当今农业劳动力日趋紧张、采摘技术成本投入不断快速增加等客观情况约束下，以果实智能采摘的机器人方式代替人工采摘具有重要的现实意义和广阔的科技应用前景。它的基本原理是利用目标检测技术，识别图像中所有感兴趣的果实物体，确定它们的类别和位置，方便机器进行采摘。
2、现有的果实检测与识别领域存在的关键问题包括：
3、(1)果实图像数据集，对于部分的果实，由于当前果实的公共图像数据集存在光照影响，模糊，样本规模较少，容易引起过拟合的问题。
4、(2)检测任务，在小型果实检测任务上，由于果实具有目标小，密集重叠的特性，现有检测算法存在复杂度高、误检、漏检等问题。
技术实现思路
1、本专利技术实施例的主要目的在于提出一种果实检测及采摘方法、装置、电子设备及存储介质，实现了果实准确识别、定位及采摘。
2、本专利技术的一方面提供了一种果实检测及采摘方法，包括：
3、根据果实检测请求，采集目标果实的第一果实图像；
4、对所述第一果实图像采用目标检测模型进行识别，得到果实的识别结果，所述识别结果用于表征所述第一果实图像中的果实类别和果实位置；
5、根据所
6、所述目标检测模型的训练包括：
7、构建第一目标果实在自然环境下的图像数据集，对所述图像数据集中的第二果实图像中的每个果实生成标注框；
8、采用基于改进yolov5的卷积神经网络对所述第二果实图像进行特征提取时，根据所述第二果实图像的果实大小，采用轻量级的骨干网络提取不同尺度的信息得到第一果实特征；
9、对所述第一果实特征进行特征融合，得到第二果实特征，并根据所述第二果实特征的重叠区域和中心距离，进行多尺度预测并输出预测结果。
10、根据所述的果实检测及采摘方法，其中根据所述果实识别结果，控制采摘装置执行果实采摘，包括：
11、根据所述果实位置，采用mabr算法计算目标抓取位姿和抓取角度矫正，得到所述果实位置的坐标；
12、根据控制采摘装置的夹爪末端中心至基座的变换矩阵，确定基座与拍摄装置的位置关系矩阵；
13、根据基座与拍摄装置的位置关系矩阵，确定所述果实位置的坐标与拍摄装置的关系矩阵；
14、根据所述果实位置的坐标与拍摄装置的关系矩阵确定采摘装置的变换矩阵，根据变换矩阵向采摘装置机械臂下发对所述果实位置的果实执行摘取。
15、根据所述的果实检测及采摘方法，其中构建第一目标果实在自然环境下的图像数据集，对所述图像数据集中的第二果实图像中的每个果实生成标注框，包括：
16、对所述图像数据集采用监督训练的方式，对所述图像数据集中图片中的果实进行标注；
17、对所述第一果实图像采用过度曝光和高斯模糊中的至少一种处理执行数据增强，得到所述图像数据集；
18、在每次训练开始之前，对所述图像数据集采用锚框的自适应计算，并对所述图像数据集进行缩放，调整输入的图像尺寸。
19、根据所述的果实检测及采摘方法，其中采用基于改进yolov5的卷积神经网络对所述第二果实图像进行特征提取时，根据所述第二果实图像的果实大小，采用轻量级的骨干网络提取不同尺度的信息得到第一果实特征，包括：
20、通过基于yolov5的卷积神经网络中添加堆叠的两种ghost模块，两种ghost模块分别连接特征处理的输入和输出，其中连接特征输入的ghost模块通过采用线性变换操作以增加特征图通道数，其中作为输出的ghost模块通过减少特征图通道数，输出所述第一果实特征；
21、通过基于yolov5卷积神经网络的spp结构中采用3×3池化层作为所述权重因子，以使yolov5卷积神经网络的spp结构中提取的特征权重集中于5×5的最大池化层。
22、根据所述的果实检测及采摘方法，其中对所述第一果实特征进行特征融合，得到第二果实特征，并根据所述第二果实特征的重叠区域和中心距离，进行多尺度预测并输出预测结果，包括：
23、采用特征金字塔fpn结构和路径聚合网络pan对不同层的所述第一果实特征进行拼接，得到融合的多尺度特征；
24、将多尺度果实特征经过检测头，并对不同层级的特征图进行融合，获得在中小目标检测通道上的预测结果。
25、根据所述的果实检测及采摘方法，其中方法还包括：
26、对所述预测结果的边界框的损失进行计算，损失的计算因子包括重叠面积、中心点距离及宽高比，以使预测框中心点和目标框中心点之间的归一化距离最小化，边界框的损失计算方式为
27、lossloc＝1-ciou
28、其中cio u为
29、
30、其中iou表示交并比，用于表示预测框与目标框的重合程度；其中ρ为预测框和目标框的中心点距离；c为预测框和目标框的最小包围矩形的对角线长度；v为预测框和目标框的宽高比相似度，用于衡量长宽比一致性；且α为v的影响因子，其中
31、
32、
33、其中wgt和hgt分别表示目标框的宽度和高度，其中wp和hp分别表示预测框的宽度和高度；
34、对所述果实类别的预测采用置信度obj的预测和分类概率cls的预测，其中置信度obj为边界框与标注框的ciou，其中置信度obj的预测和分类概率cls的损失采用二元交叉熵计算；
35、根据置信度损失、边界框损失及分类损失确定基于改进yolov5的总损失函数loss为
36、loss＝λ1×lossobj+λ2×lossloc+λ3×losscls
37、其中，λ1、λ2及λ3为平衡系数。
38、根据所述的果实检测及采摘方法，其中还包括对所述目标检测模型训练进行优化：
39、对于每个训练样本(xi,yi)，其中xi是输入图像，yi是标注信息，使用改进yolov5卷积神经网络参数θt，对输入图像xi进行前向传播，得到预测结果为
40、
41、计算预测框和目标框之间的iou，将预测框分为正样本和负样本；计算分部损失函数，包括分类损失、边界框损失、置信度损失。
42、更新网络参数：其中η是学习率，是损失函数关于参数θt的梯度。
43、本专利技术实施例的另一方面提供了一种果实检测及采摘装置，包括：
44、识别模块和训练模块，所述识别模块包括第一子模块、第二子模块及第三子模块，所述训练模块包括第四子模块、第五子模块及第六子模块；
45、其中，所述第一子模块用于根本文档来自技高网...
【技术保护点】
1.一种果实检测及采摘方法，其特征在于，包括：
2.根据权利要求1所述的果实检测及采摘方法，其特征在于，所述根据所述果实识别结果，控制采摘装置执行果实采摘，包括：
3.根据权利要求1所述的果实检测及采摘方法，其特征在于，所述构建第一目标果实在自然环境下的图像数据集，对所述图像数据集中的第二果实图像中的每个果实生成标注框，包括：
4.根据权利要求1所述的果实检测及采摘方法，其特征在于，所述采用基于改进YOLOv5的卷积神经网络对所述第二果实图像进行特征提取时，根据所述第二果实图像的果实大小，采用轻量级的骨干网络提取不同尺度的信息得到第一果实特征，包括：
5.根据权利要求4所述的果实检测及采摘方法，其特征在于，对所述第一果实特征进行特征融合，得到第二果实特征，并根据所述第二果实特征的重叠区域和中心距离，进行多尺度预测并输出预测结果，包括：
6.根据权利要求5所述的果实检测及采摘方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的果实检测及采摘方法，其特征在于，还包括对所述目标检测模型训练进行优化：
...【技术特征摘要】
1.一种果实检测及采摘方法，其特征在于，包括：
2.根据权利要求1所述的果实检测及采摘方法，其特征在于，所述根据所述果实识别结果，控制采摘装置执行果实采摘，包括：
3.根据权利要求1所述的果实检测及采摘方法，其特征在于，所述构建第一目标果实在自然环境下的图像数据集，对所述图像数据集中的第二果实图像中的每个果实生成标注框，包括：
4.根据权利要求1所述的果实检测及采摘方法，其特征在于，所述采用基于改进yolov5的卷积神经网络对所述第二果实图像进行特征提取时，根据所述第二果实图像的果实大小，采用轻量级的骨干网络提取不同尺度的信息得到第一果实特征，包括：
5.根据权利要求4所述的果实...
【专利技术属性】
技术研发人员：邓红卫，杨云飞，崔淑铭，莫凡，姚铭，付文丽，夏淞玲，李洋，
申请(专利权)人：衡阳师范学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。