基于RGB-D相机和视觉定位的水果定位方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于RGB

【技术实现步骤摘要】
基于RGB
‑
D相机和视觉定位的水果定位方法、系统、设备及介质


[0001]本专利技术属于计算机视觉的
，具体涉及一种基于RGB
‑
D相机和视觉定位的水果定位方法、系统、设备及介质。

技术介绍

[0002]当前水果果实定位方法主要使用结构光结合HIS颜色阈值分割、双目立体视觉、提取形态学特征等方法完成果实的定位，但这种方法容易受光照影响、拟合精度和对复杂场景的处理能力有限，在果实排列密集、形状较为特殊的果实中难以起到良好的定位效果。因此，研究基于RGB
‑
D相机和计算机视觉定位技术对果园水果果实进行定位的方法，获取水果果实的三维坐标信息，对自动采摘机器人的发展具有重要意义。

技术实现思路

[0003]本专利技术的主要目的在于克服现有技术的缺点与不足，提供了一种基于RGB
‑
D相机和视觉定位的水果定位方法、系统、设备及介质，其可以对果园水果果实进行精准定位，提高水果采摘机器人的自动化水平，在不同光照和遮挡条件下，可实现不同品种水果果实的快速定位，获得水果果实的三维坐标信息，为水果采摘机器人提供三维空间坐标信息。
[0004]为了达到上述目的，本专利技术采用以下技术方案：
[0005]本专利技术一方面提供了一种基于RGB
‑
D相机和视觉定位的水果定位方法，包括下述步骤：
[0006]构建目标视觉定位模型；所述目标视觉定位模型包括预训练参数加载模块、目标特征提取模块、池化模块、多尺度特征融合模块和目标定位预测模块；所述目标特征提取模块使用深度可分离卷积代替传统卷积，利用深度可分离卷积将传统卷积中的部分卷积分离成一个的深度卷积和一个逐点卷积，降低模型的参数量和计算量，提高提取水果果实特征时的速度；所述池化模块采用SPP模块对目标特征提取模块提取的特征进行池化处理，获得更多局部特征信息；所述多尺度特征融合模块中引入scSE注意力模块，所述scSE注意力模块通过全局平均池化排除空间依赖性，增强了对输入水果果实特征图的重要通道和空间特征的学习，提取更深刻的水果果实像素信息；
[0007]获取水果果园场景中处于成熟期的果实RGB图像和深度图像；对采集的果实RGB图像和深度图像进行预处理，获得初始数据集；对初始数据集中每个RGB图像上的果实用进行标注，获得xml格式的信息文件；将完成标注的初始数据集按照设定的比例分为训练集和验证集；
[0008]利用训练集中的RGB图像和标注数据对目标视觉定位模型进行训练；
[0009]利用训练好的目标视觉定位模型对水果果园图像的果实进行定位预测。
[0010]作为优选的技术方案，所述预训练参数加载模块用于导入预训练参数，对目标赋予一个初始权重值。
[0011]作为优选的技术方案，所述SPP模块分别使用多个不同大小的卷积核对前层特征进行最大池化处理。
[0012]作为优选的技术方案，所述获取水果果园场景中处于成熟期的果实RGB图像和深度图像，具体为：
[0013]在水果果实处于成熟期阶段时，分别选择晴天和阴天的白天时间；
[0014]采用RGB
‑
D相机在距离水果果实0.5
‑
2m之间采集RGB图像和深度图像；
[0015]在太阳直射光下和背光下的场景中都要采集RGB图像和深度图像。
[0016]作为优选的技术方案，所述对采集的果实RGB图像和深度图像进行预处理，获得初始数据集，具体为：
[0017]对采集的果实RGB图像进行预处理，去除模糊图像；
[0018]将采集的果实深度图像在Intel RealSense SDK包上通过空间边缘保留过滤器和孔填充过滤器进行优化处理。
[0019]作为优选的技术方案，所述利用训练集中的RGB图像和标注数据对目标视觉定位模型进行训练，具体包括：
[0020]利用模型加载模块导入预训练参数，对目标赋予一个初始权重值；
[0021]将RGB图像输入到目标特征提取模块，提取深层次的水果果实特征；
[0022]将特征提取模块操作后的特征图像依次进行池化操作、多尺度特征融合操作，获得水果果实在RGB图像中的像素坐标；
[0023]在目标视觉定位模型训练的过程中，每完成一轮训练，利用验证集中的RGB图像和标注数据对当前目标视觉定位模型进行验证，根据验证结果调整当前目标视觉定位模型的权重值；
[0024]设定最大迭代次数，当达到预设的最大迭代次数或者在验证集上错误率不再下降时终止训练，选取验证结果最优的目标视觉定位模型作为水果果实的目标视觉定位模型。
[0025]作为优选的技术方案，所述利用训练好的目标视觉定位模型对水果果园图像的果实进行定位预测，具体为：
[0026]将RGB
‑
D相机实时采集的RGB图像和深度图像输入目标视觉定位模型，RGB图像依次经过训练好的目标视觉定位模型的参数加载模块、目标特征提取模块、池化模块、多尺度特征融合模块的处理，在定位预测模块中通过卷积操作输出多个备选水果果实的最大外接矩形框并且给出相应的置信度值，将所有置信度大于0.75的矩形框标记的区域保存，获得水果果实在RGB图像中的像素坐标；
[0027]将果实在RGB图像中的像素坐标映射到优化的深度图像上，以提取果实的空间信息，通过融合果实在RGB图像中的像素坐标和在深度图像上提取的深度信息，获得果实在三维空间中的定位坐标。
[0028]本专利技术另一方面提供了一种基于RGB
‑
D相机和视觉定位的水果定位系统，应用于所述的基于RGB
‑
D相机和视觉定位的水果定位方法，包括目标视觉定位模型构建模块、水果果实RGB图像数据集获取模块、目标视觉定位模型训练模块、目标视觉定位模块和信息显示模块；
[0029]所述目标视觉定位模型构建模块，用于构建目标视觉定位模型；所述目标视觉定位模型包括预训练参数加载模块、目标特征提取模块、池化模块、多尺度特征融合模块和目
标定位预测模块；所述目标特征提取模块使用深度可分离卷积代替传统卷积，利用深度可分离卷积将传统卷积中的部分卷积分离成一个的深度卷积和一个逐点卷积，降低模型的参数量和计算量，提高提取水果果实特征时的速度；所述池化模块采用SPP模块对目标特征提取模块提取的特征进行池化处理，获得更多局部特征信息；所述多尺度特征融合模块中引入scSE注意力模块，所述scSE注意力模块通过全局平均池化排除空间依赖性，增强了对输入水果果实特征图的重要通道和空间特征的学习，提取更深刻的水果果实像素信息；
[0030]所述水果果实RGB图像数据集获取模块，用于获取水果果园场景中处于成熟期的果实RGB图像和深度图像；对采集的果实RGB图像和深度图像进行预处理，获得初始数据集；对初始数据集中每个RGB图像上的果实用进行标注，获得xml格式的信息文件；将完成标注的初始数据集按照设定的比例分为训练集和验证集；
[0031本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于RGB
‑
D相机和视觉定位的水果定位方法，其特征在于，包括下述步骤：构建目标视觉定位模型；所述目标视觉定位模型包括预训练参数加载模块、目标特征提取模块、池化模块、多尺度特征融合模块和目标定位预测模块；所述目标特征提取模块使用深度可分离卷积代替传统卷积，利用深度可分离卷积将传统卷积中的部分卷积分离成一个的深度卷积和一个逐点卷积，降低模型的参数量和计算量，提高提取水果果实特征时的速度；所述池化模块采用SPP模块对目标特征提取模块提取的特征进行池化处理，获得更多局部特征信息；所述多尺度特征融合模块中引入scSE注意力模块，所述scSE注意力模块通过全局平均池化排除空间依赖性，增强了对输入水果果实特征图的重要通道和空间特征的学习，提取更深刻的水果果实像素信息；获取水果果园场景中处于成熟期的果实RGB图像和深度图像；对采集的果实RGB图像和深度图像进行预处理，获得初始数据集；对初始数据集中每个RGB图像上的果实用进行标注，获得xml格式的信息文件；将完成标注的初始数据集按照设定的比例分为训练集和验证集；利用训练集中的RGB图像和标注数据对目标视觉定位模型进行训练；利用训练好的目标视觉定位模型对水果果园图像的果实进行定位预测。2.根据权利要求1所述基于RGB
‑
D相机和视觉定位的水果定位方法，其特征在于，所述预训练参数加载模块用于导入预训练参数，对目标赋予一个初始权重值。3.根据权利要求1所述基于RGB
‑
D相机和视觉定位的水果定位方法，其特征在于，所述SPP模块分别使用多个不同大小的卷积核对前层特征进行最大池化处理。4.根据权利要求1所述基于RGB
‑
D相机和视觉定位的水果定位方法，其特征在于，所述获取水果果园场景中处于成熟期的果实RGB图像和深度图像，具体为：在水果果实处于成熟期阶段时，分别选择晴天和阴天的白天时间；采用RGB
‑
D相机在距离水果果实0.5
‑
2m之间采集RGB图像和深度图像；在太阳直射光下和背光下的场景中都要采集RGB图像和深度图像。5.根据权利要求1所述基于RGB
‑
D相机和视觉定位的水果定位方法，其特征在于，所述对采集的果实RGB图像和深度图像进行预处理，获得初始数据集，具体为：对采集的果实RGB图像进行预处理，去除模糊图像；将采集的果实深度图像在Intel RealSense SDK包上通过空间边缘保留过滤器和孔填充过滤器进行优化处理。6.根据权利要求1所述基于RGB
‑
D相机和视觉定位的水果定位方法，其特征在于，所述利用训练集中的RGB图像和标注数据对目标视觉定位模型进行训练，具体包括：利用模型加载模块导入预训练参数，对目标赋予一个初始权重值；将RGB图像输入到目标特征提取模块，提取深层次的水果果实特征；将特征提取模块操作后的特征图像依次进行池化操作、多尺度特征融合操作，获得水果果实在RGB图像中的像素坐标；在目标视觉定位模型训练的过程中，每完成一轮训练，利用验证集中的RGB图像和标注数据对当前目标视觉定位模型进行验证，根据验证结果调整当前目标视觉定位模型的权重值；设定最大迭代次数，当达到预设的最大迭代次数或者在验证集上错误率不再下降时终
止训练，选取验证结果最优的目标视觉定位模型作为水果果实的目标视觉定位模型。7.根据权利要求1所述基于RGB
‑
D相机和视觉定位的水果定位方法，其特征在于，所述利用训练好的目标视觉定位模型对水果果园图像的果实进行定位预测，具体为：将RGB<...

【专利技术属性】
技术研发人员：李君，李灯辉，姚中威，周浩波，黄光文，贾宇航，林佩怡，周峥琦，李钊，陈盈宜，伍源水，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：