【技术实现步骤摘要】
本专利技术属于果蔬采摘领域，特别涉及一种基于深度学习的水果识别与采摘方法。
技术介绍
1、在农业领域不断取得进步的同时，水果的种植和采摘作为不可或缺的农业组成部分，对于维持人们的日常生活和推动经济的繁荣具有至关重要的地位。在现有的水果识别与采摘方法中，无论是人工采摘方式还是机器人采摘方式都存在一些不足和挑战。例如，人工采摘方式虽然可以保证相对较高的识别准确率和采摘质量，但其效率较低且成本较高，需要大量的人力投入，尤其在水果丰收季节，人力资源供不应求的情况下，人工采摘方式很难满足市场需求。而机器采摘方式虽然在理论上可以提高采摘效率并减少人力成本，但是传统的图像技术在水果识别方面精度有限，尤其是对于外形相似的水果进行区分，存在识别准确率低的问题。其次，机器对水果成熟度的判断缺乏准确性，可能会导致未成熟或过熟的水果被错误采摘，影响产品质量。此外，机器在识别水果茎秆时也存在准确性不足问题，导致采摘点定位不准确，甚至误伤果实，从而降低了采摘效率和质量。
2、然而，将深度学习技术引入其中，有望克服现有采摘方式的不足，实现更高效、准确的水果识别与采摘，为农业领域带来新的发展机遇。
技术实现思路
1、为了解决上述技术问题，本专利技术提出一种基于深度学习的水果高效采摘方法，结合图像采集技术和深度学习技术，综合解决了水果识别精度低、成熟度判断困难和采摘点定位不准确的问题。
2、本专利技术中主要采用的技术方案为：
3、一种基于深度学习的水果识别与采摘方法，具体步骤如下
4、s1:采集水果图像数据，并对水果图像数据进行标注；
5、s2:利用标注好的水果图像数据集训练深度学习模型，其中，所述深度学习模型包括水果语义分割模型、成熟水果识别模型和水果茎秆识别模型；
6、s3: 利用训练好的水果语义分割模型对水果图像进行处理，将水果目标和背景分离；
7、s4: 利用成熟水果识别模型，对步骤s3分离出来的水果目标进行检测并识别出成熟水果的位置；
8、s5: 利用水果茎秆识别模型，针对识别出的成熟水果进行检测并识别出成熟水果的茎秆位置；
9、s6: 根据成熟水果的茎秆位置，取茎秆的几何中心点作为最佳的采摘点，并结合双目深度相机获取的深度信息，控制采摘机器人完成水果的精准采摘。
10、优选地，步骤s1中，水果图像数据集标注的信息包括水果分割掩码、水果成熟度信息、水果边界框信息、水果茎秆边界框信息。
11、优选地，步骤s2中水果语义分割模型的具体构建方法如下：
12、s201：数据预处理：将带有标注信息的水果图像数据集作为水果语义分割数据集，其中，所述标注信息包括水果图像和对应的语义标签，所述语义标签为与图像大小相同的水果分割掩码，其中，图像中的每个像素点对应于一个水果类别或者背景类别，将水果语义分割数据集以8：2划分为训练集和测试集；
13、s202：构建模型架构：在yolov8模型架构的基础上，将水果分割掩码输出作为模型的输出层，并将最后一个卷积层的通道数调整为水果类别数量；
14、s203：训练模型：设置学习率和训练周期，采用水果语义分割数据集的训练集对模型进行训练，训练过程中，使用像素级别的交叉熵损失函数来衡量模型的分割性能，并采用模型优化器更新模型参数直至训练完成，采用水果语义分割数据集对训练好的模型进行评估，最终得到水果语义分割模型。
15、优选地，步骤s2中成熟水果识别模型的具体构建方法如下：
16、s211数据预处理：将带有标注信息的水果图像数据集作为成熟水果数据集，所述标注信息包括水果成熟度信息及水果边界框信息，所述水果成熟度信息包括颜色特征信息、纹理特征信息、大小特征信息，将成熟水果数据集以8：2划分为训练集和测试集；
17、s212构建模型架构：在yolov8模型架构的基础上，根据水果成熟度信息调整输出层的结构，在输出层中添加颜色特征提取模块、纹理特征提取模块、大小特征提取模块、位置特征提取模块、融合特征模块以及成熟度预测分支，其中，所述融合特征模块将颜色特征、纹理特征、大小特征和位置特征提取模块融合在一起，形成一个多维的特征向量，将该特征向量作为成熟度预测分支的输入进行成熟度及位置预测，同时采用平滑 l1损失函数和交叉熵损失函数相结合构成多任务损失函数作为模型损失函数；
18、s213训练模型：设置学习率和训练周期，采用成熟水果数据集的训练集训练整个模型，在每个训练周期中，将标注信息输入到模型中进行训练，通过反向传播算法计算损失函数的梯度，使用模型优化器更新模型参数直至训练完成，并在在训练完成后，使用验证集对模型进行评估，最终得到成熟水果识别模型。
19、优选地，步骤s2中水果茎秆识别模型的具体构建方法如下：
20、s221：数据预处理：将带有标注信息的水果图像数据集作为水果茎秆数据集，所述标注信息包括水果茎秆边界框信息，将水果茎秆数据集以8：2划分为训练集和测试集；
21、s222：构建模型架构：在yolov8模型架构的基础上，根据水果茎秆边界框信息调整输出层的结构，在输出层中添加位置特征提取模块用于位置预测，并采用平滑 l1损失函数作为模型损失函数；
22、s223：训练模型：设置学习率和训练周期，采用水果茎秆数据集的训练集训练整个模型，在每个训练周期中，将标注信息输入到模型中进行训练，使用模型优化器更新模型参数直至训练完成，并在在训练完成后，使用验证集对模型进行评估，最终得到水果茎秆识别模型
23、优选地，步骤s3中，水果语义分割模型对采集的水果图像进行处理，将水果目标从背景中分割出来，确保水果目标保留原始像素值，背景部分为黑色。
24、优选地，步骤s2中，深度学习模型训练过程中采用adam优化器作为模型优化器，学习率设置为0.001，并在模型训练周期的最后10轮关闭mosiac数据增强操作，用于提升模型的精度。
25、有益效果：本专利技术提供一种基于深度学习的水果识别与采摘方法，与现有技术相比，具有如下优点：
26、（1）本专利技术使用深度学习模型分辨训练多个识别模型，利用水果语义分割模型、成熟水果识别模型和水果茎秆识别模型对采集到的水果图像数据进行分步细化识别，不仅能够准确提高图像中水果识别的准确性，而且可以进一步提高采摘效率。
27、（2）本专利技术利用深度相机和深度学习技术可以准确确定水果茎秆采摘点，使得采摘过程更加高效，能够减少对水果的损害，提高了采摘质量。
28、（3）与传统的人工采摘相比，本专利技术不仅提高了采摘的效率，减少了人力资源的浪费，而且通过不断收集和分析采摘过程中的数据，可以进一步改进深度学习模型的性能，进一步提高水果识别和采摘的准确性和效率。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的水果识别与采摘方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的基于深度学习的水果识别与采摘方法，其特征在于，步骤S1中，水果图像数据集标注的信息包括水果分割掩码、水果成熟度信息、水果边界框信息、水果茎秆边界框信息。
3.根据权利要求1所述的基于深度学习的水果识别与采摘方法，其特征在于，步骤S2中水果语义分割模型的具体构建方法如下：
4.根据权利要求1所述的基于深度学习的水果识别与采摘方法，其特征在于，步骤S2中成熟水果识别模型的具体构建方法如下：
5.根据权利要求1所述的基于深度学习的水果识别与采摘方法，其特征在于，步骤S2中水果茎秆识别模型的具体构建方法如下：
6.根据权利要求1所述的基于深度学习的水果识别与采摘方法，其特征在于，步骤S3中，水果语义分割模型对采集的水果图像进行处理，将水果目标从背景中分割出来，确保水果目标保留原始像素值，背景部分为黑色。
7.根据权利要求1所述的基于深度学习的水果识别与采摘方法，其特征在于，步骤S2中，深度学习模型训练过程中采用Adam优化器
...【技术特征摘要】
1.一种基于深度学习的水果识别与采摘方法，其特征在于，具体步骤如下：
2.根据权利要求1所述的基于深度学习的水果识别与采摘方法，其特征在于，步骤s1中，水果图像数据集标注的信息包括水果分割掩码、水果成熟度信息、水果边界框信息、水果茎秆边界框信息。
3.根据权利要求1所述的基于深度学习的水果识别与采摘方法，其特征在于，步骤s2中水果语义分割模型的具体构建方法如下：
4.根据权利要求1所述的基于深度学习的水果识别与采摘方法，其特征在于，步骤s2中成熟水果识别模型的具体构建方法如下：
5.根据权利要求1所述的...
【专利技术属性】
技术研发人员：李嘉豪，刘奇鹏，王海霞，
申请(专利权)人：牧星智能工业科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。