基于RGB-D传感器的水果采摘方法、系统及计算机技术方案

本发明专利技术提供一种基于RGB

【技术实现步骤摘要】
基于RGB
‑
D传感器的水果采摘方法、系统及计算机


[0001]本专利技术涉及数据处理
，特别涉及一种基于RGB
‑
D传感器的水果采摘方法、系统及计算机。

技术介绍

[0002]水果采摘机器人通常需要利用视觉系统来对目标进行识别与定位，通过一系列算法处理后，将操作信息传递到执行机构，通过机械手来抓取果实，完成最后的采摘任务。近年来随着深度学习技术在图像处理领域的广泛应用，深度学习算法在水果检测中显示出巨大的优越性，现有技术中，通常采用两种方式，1)利用YOLOX
‑
Dense
‑
CT网络来做圣女果进行检测。2)基于GB
‑
D信息融合和目标检测的番茄串采摘点识别定位方法：先通过YOLOv4目标检测算法快速识别番茄串和可采摘果梗的目前区域(Region of Interest，ROI)，再融合RGB
‑
D图像中的深度信息和颜色特征精确识别采摘点，通过深度分割算法、形态学操作、K
‑
means聚类算法和细化算法提取果梗图像。
[0003]第一种方式在实际的采摘场景中，在IOU等于0.5的情况下的预测框的中心点已经大幅度偏离了圣女果，会导致机器人的采摘成功率很低，而第二种方式是先通过深度学习算法在RGB图上得到大致的目标区域，然后结合深度信息做精确定位，深度信息没有在深度学习方法中发挥作用。

技术实现思路

[0004]基于此，本专利技术的目的是提供一种基于RGB
‑
D传感器的水果采摘方法、系统及计算机，以至少解决上述相关技术中的不足。
[0005]本专利技术提出一种基于RGB
‑
D传感器的水果采摘方法，包括：
[0006]采集目标作物和目标水果的颜色
‑
深度图像，并基于颜色和深度的限定条件下对标定后的颜色
‑
深度图像进行水果聚类分析，以得到采摘区域兴趣图像；
[0007]对所述采摘区域兴趣图像进行点云处理，以分别得到双通道颜色和双通道深度的点云图像以及双通道颜色和双通道深度的采摘区域兴趣新图像；
[0008]利用对称结构编码
‑
解码深度神经网络分别对所述双通道颜色和双通道深度的点云图像和所述双通道颜色和双通道深度的采摘区域兴趣新图像进行可采摘水果检测，以得到可采摘水果所对应的检测结果，并根据所述检测结果对所述可采摘水果进行水果采摘。
[0009]进一步的，基于颜色和深度的限定条件下对标定后的颜色
‑
深度图像进行水果聚类分析，以得到采摘区域兴趣图像的步骤包括：
[0010]对标定后的颜色
‑
深度图像依次进行滤波去噪和对齐处理，以得到初步处理图像；
[0011]基于RGB图像对所述初步处理图像进行颜色空间变换，并对H通道进行阈值分割，以得到颜色分割结果；
[0012]对所述初步处理图像中的深度通道进行阈值分割，以得到深度分割结果，并分别对所述颜色分割结果和所述深度分割结果进行形态学滤波，以融合颜色分割结果和深度图
像分割结果形成复合图像；
[0013]根据掩膜图像大小、输出兴趣区域尺寸和所述目标水果的最小半径计算聚类参数，并利用所述聚类参数对所述掩膜图像进行聚类，以得到聚类输出结果；
[0014]根据所述聚类输出结果在所述复合图像分割出多个聚类兴趣图像，以得到采摘区域兴趣图像。
[0015]进一步的，对所述采摘区域兴趣图像进行点云处理，以分别得到双通道颜色和双通道深度的点云图像以及双通道颜色和双通道深度的采摘区域兴趣新图像的步骤包括：
[0016]对所述采摘区域兴趣图像中的深度图像转换成点云数据，并计算出所述点云数据中的每个点法向量；
[0017]计算出各所述点法向量和Z轴的夹角，并基于所述夹角将所述采摘区域兴趣图像转换成双通道颜色和双通道深度的点云图像以及双通道颜色和双通道深度的采摘区域兴趣新图像。
[0018]进一步的，利用对称结构编码
‑
解码深度神经网络分别对所述双通道颜色和双通道深度的点云图像和所述双通道颜色和双通道深度的采摘区域兴趣新图像进行可采摘水果检测，以得到可采摘水果所对应的检测结果，并根据所述检测结果对所述可采摘水果进行水果采摘的步骤包括：
[0019]将所述双通道颜色和双通道深度的点云图像和所述双通道颜色和双通道深度的采摘区域兴趣新图像与所述采摘区域兴趣图像进行图像比较，以重新平衡颜色和深度信息；
[0020]通过所述对称结构编码
‑
解码深度神经网络的解码器将颜色信息和深度信息进行融合处理，以得到所述可采摘水果的三维边界顶点坐标、所述可采摘水果的三维质量中心以及所述可采摘水果的采摘概率；
[0021]根据所述三维边界顶点坐标、所述三维质量中心以及所述采摘概率对所述可采摘水果进行水果采摘。
[0022]本专利技术还提出一种基于RGB
‑
D传感器的水果采摘系统，包括：
[0023]聚类分析模块，用于采集目标作物和目标水果的颜色
‑
深度图像，并基于颜色和深度的限定条件下对标定后的颜色
‑
深度图像进行水果聚类分析，以得到采摘区域兴趣图像；
[0024]点云处理模块，用于对所述采摘区域兴趣图像进行点云处理，以分别得到双通道颜色和双通道深度的点云图像以及双通道颜色和双通道深度的采摘区域兴趣新图像；
[0025]水果采摘模块，用于利用对称结构编码
‑
解码深度神经网络分别对所述双通道颜色和双通道深度的点云图像和所述双通道颜色和双通道深度的采摘区域兴趣新图像进行可采摘水果检测，以得到可采摘水果所对应的检测结果，并根据所述检测结果对所述可采摘水果进行水果采摘。
[0026]进一步的，所述聚类分析模块包括：
[0027]初步处理单元，用于对标定后的颜色
‑
深度图像依次进行滤波去噪和对齐处理，以得到初步处理图像；
[0028]阈值分割单元，用于基于RGB图像对所述初步处理图像进行颜色空间变换，并对H通道进行阈值分割，以得到颜色分割结果；
[0029]数据融合单元，用于对所述初步处理图像中的深度通道进行阈值分割，以得到深
度分割结果，并分别对所述颜色分割结果和所述深度分割结果进行形态学滤波，以融合颜色分割结果和深度图像分割结果形成复合图像；
[0030]图像聚类单元，用于根据掩膜图像大小、输出兴趣区域尺寸和所述目标水果的最小半径计算聚类参数，并利用所述聚类参数对所述掩膜图像进行聚类，以得到聚类输出结果；
[0031]聚类分析单元，用于根据所述聚类输出结果在所述复合图像分割出多个聚类兴趣图像，以得到采摘区域兴趣图像。
[0032]进一步的，所述点云处理模块包括：
[0033]点云处理单元，用于对所述采摘区域兴趣图像中的深度图像转换成点云数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB
‑
D传感器的水果采摘方法，其特征在于，包括：采集目标作物和目标水果的颜色
‑
深度图像，并基于颜色和深度的限定条件下对标定后的颜色
‑
深度图像进行水果聚类分析，以得到采摘区域兴趣图像；对所述采摘区域兴趣图像进行点云处理，以分别得到双通道颜色和双通道深度的点云图像以及双通道颜色和双通道深度的采摘区域兴趣新图像；利用对称结构编码
‑
解码深度神经网络分别对所述双通道颜色和双通道深度的点云图像和所述双通道颜色和双通道深度的采摘区域兴趣新图像进行可采摘水果检测，以得到可采摘水果所对应的检测结果，并根据所述检测结果对所述可采摘水果进行水果采摘。2.根据权利要求1所述的基于RGB
‑
D传感器的水果采摘方法，其特征在于，基于颜色和深度的限定条件下对标定后的颜色
‑
深度图像进行水果聚类分析，以得到采摘区域兴趣图像的步骤包括：对标定后的颜色
‑
深度图像依次进行滤波去噪和对齐处理，以得到初步处理图像；基于RGB图像对所述初步处理图像进行颜色空间变换，并对H通道进行阈值分割，以得到颜色分割结果；对所述初步处理图像中的深度通道进行阈值分割，以得到深度分割结果，并分别对所述颜色分割结果和所述深度分割结果进行形态学滤波，以融合颜色分割结果和深度图像分割结果形成复合图像；根据掩膜图像大小、输出兴趣区域尺寸和所述目标水果的最小半径计算聚类参数，并利用所述聚类参数对所述掩膜图像进行聚类，以得到聚类输出结果；根据所述聚类输出结果在所述复合图像分割出多个聚类兴趣图像，以得到采摘区域兴趣图像。3.根据权利要求1所述的基于RGB
‑
D传感器的水果采摘方法，其特征在于，对所述采摘区域兴趣图像进行点云处理，以分别得到双通道颜色和双通道深度的点云图像以及双通道颜色和双通道深度的采摘区域兴趣新图像的步骤包括：对所述采摘区域兴趣图像中的深度图像转换成点云数据，并计算出所述点云数据中的每个点法向量；计算出各所述点法向量和Z轴的夹角，并基于所述夹角将所述采摘区域兴趣图像转换成双通道颜色和双通道深度的点云图像以及双通道颜色和双通道深度的采摘区域兴趣新图像。4.根据权利要求1所述的基于RGB
‑
D传感器的水果采摘方法，其特征在于，利用对称结构编码
‑
解码深度神经网络分别对所述双通道颜色和双通道深度的点云图像和所述双通道颜色和双通道深度的采摘区域兴趣新图像进行可采摘水果检测，以得到可采摘水果所对应的检测结果，并根据所述检测结果对所述可采摘水果进行水果采摘的步骤包括：将所述双通道颜色和双通道深度的点云图像和所述双通道颜色和双通道深度的采摘区域兴趣新图像与所述采摘区域兴趣图像进行图像比较，以重新平衡颜色和深度信息；通过所述对称结构编码
‑
解码深度神经网络的解码器将颜色信息和深度信息进行融合处理，以得到所述可采摘水果的三维边界顶点坐标、所述可采摘水果的三维质量中心以及所述可采摘水果的采摘概率；根据所述三维边界顶点坐标、所述三维质量中心以及所述采摘概率对所述可采摘水果
进行水果采摘。5.一...

【专利技术属性】
技术研发人员：田宜彬，曾智，崔波，
申请(专利权)人：重庆师范大学，
类型：发明
国别省市：