基于深度学习与多维信息融合聚类的果实采摘点识别方法技术

本发明专利技术提出基于深度学习与多维信息融合聚类的果实采摘点识别方法。首先Yolo算法识别目标采摘果实，并确定目标采摘果实的采摘点感兴趣区。然后对感兴趣区的深度图像进行孔洞填充和空间边缘保留滤波处理，选取预处理后的深度信息以及筛选后的彩色图像颜色分量，自适应融合组成多个维度的数据样本。使用上述数据样本对采摘点感兴趣区进行基于K

【技术实现步骤摘要】
基于深度学习与多维信息融合聚类的果实采摘点识别方法


[0001]本专利技术属于机器人农业采摘领域，尤其涉及基于深度学习与多维信息融合聚类的果实采摘点识别的方法，适用于植物工厂或植物大棚中采摘机器人通过剪梗的方式进行采摘的场景。

技术介绍

[0002]农业作为国民经济的基础产业，正在被互联网、大数据、人工智能等新科技进行重构和升级，人工智能已经成为农业现代化发展的重要方向。农业机械化是建设现代化农业的基础，农业机器人的出现给予了农业机械化一个崭新的实现方法，是机器人技术和人工智能技术发展的必然产物。采摘作业季节性强、劳动强度大、费用高，因此保证果实适时采收、降低收获作业费用是农业增收的重要途径。又因采摘作业的复杂性，采摘自动化程度依然很低。人力成本的上升导致果蔬采摘成本大幅提高，采摘机器人逐渐成为研究热点。
[0003]采摘机器人作为一种智慧农业装备，不仅集成了机器人、传感和控制等先进技术，而且需要适应复杂的农业场景，因此其开发和研制具有很高的技术难度。目前制约采摘机器人性能提升的技术瓶颈主要集中在目标识别、定位与控制等方面。采摘机器人主要是通过视觉系统识别和定位目标，然后将信息传递给执行机构，由执行机构完成采摘任务。视觉系统识别的速度、准确率、鲁棒性以及对采摘环境的适应能力对机器人的工作效率和工作时长有较大影响。在现有的采摘点识别研究中，如专利公开号为CN112861654A的“一种基于机器视觉的名优茶采摘点位置信息获取方法”，该专利虽然在HSV颜色空间下使用OSTU算法对感兴趣区图像进行分割，但该方法无法筛选对图像分割有效的颜色分量，而且未考虑利用深度信息减少干扰而产生的有益分割效果，只适用于理想的采摘环境。因此，有必要对果实采摘点识别算法进行设计，以提高识别的准确率和鲁棒性，以应对复杂的农业采摘环境。

技术实现思路

[0004]为了克服现有的采摘点识别方法鲁棒性不强，易受果实成熟度等因素干扰的问题，本专利技术从提高采摘点识别准确率和鲁棒性等方面，提出一种基于深度学习与多维信息融合聚类的果实采摘点识别方法。
[0005]所述的果实采摘点识别方法适用于农业采摘机器人通过剪切果梗的方式进行采摘的场景，即果实采摘点设置在果梗处。所述农业采摘机器人采用六自由度机械臂，安装在可移动轮式机器人平台上，深度相机安装在机械臂末端。剪切果梗的采摘方式要求对果梗进行精确的识别与定位，提高果实采摘点识别的准确率会提高果实采摘的成功率、降低果实的损坏率。其中采摘环境应具备良好的光照条件，要求果实采摘区域的明度V∈[50,255]以满足光照条件。
[0006]由于采摘环境复杂，直接识别果梗会存在目标采摘果实与识别到的果梗不属于同一植物体的情况，且环境中存在其他果实的果梗，支茎，主茎等因素的干扰，直接识别果梗存在困难。因此本专利技术选择先选取目标采摘果实，再对目标采摘果实对应的采摘点感兴趣
区进行采摘点识别。
[0007]本专利技术的具体技术方案为：基于深度学习与多维信息融合聚类的果实采摘点识别方法，包括以下步骤：
[0008]步骤1：采摘机器人选取目标采摘果实；
[0009]采摘机器人到达采摘位置后，深度相机采集目标采摘区域的图像，包括彩色图像和深度图像；选取彩色图像中置信度最高的果实作为目标采摘果实；获取目标采摘果实识别框坐标，其中左上角坐标是(x
min
,y
min
)，右下角坐标是(x
max
,y
max
)；
[0010]步骤2：获取果实采摘点感兴趣区；
[0011]根据步骤1中识别框坐标，求目标采摘果实在已采集图像中的宽度w
object
，高度h
object
；设定采摘点感兴趣区ROI的宽度w
ROI
，高度h
ROI
；及采摘点感兴趣区ROI的左上角坐标，确保涵盖整个果梗结构；
[0012]步骤3：对深度图像进行预处理；消除噪声，保留边缘；
[0013]步骤4：将采摘点感兴趣区多维信息融合聚类，实现果实与枝作为目标类，叶与空白区域作为背景类；所述聚类过程中：
[0014]步骤4.1，将采摘点感兴趣区的像素点作为聚类数据样本X，包含N个对象X＝{X1,X2,X3,
…
X
N
}，其中N为采摘点感兴趣区像素点数量；选取颜色空间以及对彩色图像分割有效颜色分量；每个对象具有多个有效颜色分量及深度图像的灰度信息的多维度属性；所述有效颜色分量的颜色直方图中，目标类和背景类呈现双峰分布；
[0015]步骤4.2，定义深度信息自适应权重系数λ，λ能够实现根据不同果实的采摘环境，感兴趣区分割时依赖深度信息程度的不同，做出适应性的调整；
[0016]步骤4.3，利用基于K
‑
means的聚类算法，结合乘以自适应权重系数λ的深度信息，得到聚类结果；
[0017]步骤4.4，定义一个与采摘点感兴趣区相同尺寸的单通道图像用于接收聚类结果，此时图像中的像素点已分为两类，并将聚类结果图转化为二值图像；
[0018]步骤5：对二值图像进行形态学处理，得到细化图像；
[0019]步骤6：遍历细化图像的像素点，找到果梗的上、下端点；确定采摘点感兴趣区中采摘点坐标，再将此坐标转换至初始彩色图像的位置；读取深度相机内参计算该点的深度值z；根据手眼标定得到的坐标转换关系，最终得到机械臂基坐标系下的果实采摘点(x,y,z)。
[0020]进一步地，所述步骤1中采用Yolo算法识别采摘区域的彩色图像中符合成熟度要求的果实，获取识别框坐标。
[0021]进一步地，所述步骤2中目标采摘果实在已采集图像中的宽度w
object
，高度h
object
如式(1)、(2)所示：
[0022]w
object
＝x
max
‑
x
min
(1)
[0023]h
object
＝y
max
‑
y
min
(2)
[0024]根据果实的生长形态设置合适的采摘点感兴趣区尺寸，确保感兴趣区能够包含完整的果梗，且满足步骤4中目标类像素面积小于背景类像素面积；
[0025]设定采摘点感兴趣区ROI的宽度w
ROI
，高度h
ROI
如式(3)(4)所示：
[0026]w
ROI
＝g1*w
object
(3)
[0027]h
ROI
＝g2*h
object
(4)
[0028]其中g1,g2是常数；
[0029]采摘点感兴趣区设置在目标采摘果实的上方区域，若超出图像边界，则将感兴趣区边界设置在初始采集图像边界处。
[0030]进一步地，步骤3对深度图像进行预处理，具体包括步骤如下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习与多维信息融合聚类的果实采摘点识别方法，其特征在于，包括步骤如下：步骤1：采摘机器人选取目标采摘果实；采摘机器人到达采摘位置后，深度相机采集目标采摘区域的图像，包括彩色图像和深度图像；选取彩色图像中置信度最高的果实作为目标采摘果实；获取目标采摘果实识别框坐标，其中左上角坐标是(x
min
,y
min
)，右下角坐标是(x
max
,y
max
)；步骤2：获取果实采摘点感兴趣区；根据步骤1中识别框坐标，求目标采摘果实在已采集图像中的宽度w
object
，高度h
object
；设定采摘点感兴趣区ROI的宽度w
ROI
，高度h
ROI
；及采摘点感兴趣区ROI的左上角坐标，确保涵盖整个果梗结构；步骤3：对深度图像进行预处理；消除噪声，保留边缘；步骤4：将采摘点感兴趣区多维信息融合聚类，实现果实与枝作为目标类，叶与空白区域作为背景类；所述聚类过程中：步骤4.1，将采摘点感兴趣区的像素点作为聚类数据样本X，包含N个对象X＝{X1,X2,X3,
…
X
N
}，其中N为采摘点感兴趣区像素点数量；选取颜色空间以及对彩色图像分割有效颜色分量；每个对象具有多个有效颜色分量及深度图像的灰度信息的多维度属性；所述有效颜色分量的颜色直方图中，目标类和背景类呈现双峰分布；步骤4.2，定义深度信息自适应权重系数λ，λ能够实现根据不同果实的采摘环境，感兴趣区分割时依赖深度信息程度的不同，做出适应性的调整；步骤4.3，利用基于K
‑
means的聚类算法，结合乘以自适应权重系数λ的深度信息，得到聚类结果；步骤4.4，定义一个与采摘点感兴趣区相同尺寸的单通道图像用于接收聚类结果，此时图像中的像素点已分为两类，并将聚类结果图转化为二值图像；步骤5：对二值图像进行形态学处理，得到细化图像；步骤6：遍历细化图像的像素点，找到果梗的上、下端点；确定采摘点感兴趣区中采摘点坐标，再将此坐标转换至初始彩色图像的位置；读取深度相机内参计算该点的深度值z；根据手眼标定得到的坐标转换关系，最终得到机械臂基坐标系下的果实采摘点(x,y,z)。2.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法，其特征在于，所述步骤1中采用Yolo算法识别采摘区域的彩色图像中符合成熟度要求的果实，获取识别框坐标。3.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法，其特征在于，所述步骤2中目标采摘果实在已采集图像中的宽度w
object
，高度h
object
如式(1)、(2)所示：w
object
＝x
max
‑
x
min
(1)h
object
＝y
max
‑
y
min
(2)根据果实的生长形态设置合适的采摘点感兴趣区尺寸，确保感兴趣区能够包含完整的果梗，且满足步骤4中目标类像素面积小于背景类像素面积；设定采摘点感兴趣区ROI的宽度w
ROI
，高度h
ROI
如式(3)(4)所示：w
ROI
＝g1*w
object
(3)
h
ROI
＝g2*h
object
(4)其中g1,g2是常数；采摘点感兴趣区设置在目标采摘果实的上方区域，若超出图像边界，则将感兴趣区边界设置在初始采集图像边界处。4.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法，其特征在于，步骤3对深度图像进行预处理，具体包括步骤如下：步骤3.1：运用孔洞填充算法，首先获取缺失数据像素点的上、下、左、右四个相邻方向的像素值，选择四个像素点中的最大灰度值，赋值给缺失数据像素点。步骤3.2：对深度图像进行空间边缘保留滤波处理；所述空间边缘保留滤波器采用双边滤波器。5.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法，其特征在于，步骤4.1中，定义属性维度M∈[2,4]，即属性中包含该对象的深度信息和1
‑
3个有效颜色分量；定义存在n个有效颜色分量，其中n∈[1,3],n∈N
*
；则属性维度M＝n+1；对n个有效颜色分量及深度图像的灰度信息进行归一化处理如式(5)、(6)所示；s
p
＝S
p
/255p＝1,
…
,n(5)d＝D/65535(6)其中S
p
表示第p个有效颜色分量且S
p
∈[0,25，D∈[0,65535]，s
p
,d∈[0,1]。6.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实采摘点识别方法，其特征在于，步骤4.2中深度信息自适应权重系数λ的计算方法为：颜色分量的颜色直方图中，目标类和背景类呈现标准的双峰分布，即两个高频率区被一个低频率区隔开；在颜色分量的颜色直方图中，获取低频率区域中频率最低的灰度值L，其取值范围为(0,255)；选取灰度值区间U1,U2；U1,U2应同时满足以下三个条件：(1)U1,U2区间长度是min(L,255
‑
L)；(2)(3)U1区间内像素点数量最多，U2在条件(2)下像素点数量最多；两个区间U1,U2的中心点μ1、μ2即为双峰分布看作两个高斯分布f1(x)，f2(x)后的期望；定义像素点灰度值聚集程度Δ如式(7)所示：其中，N1、N2为U1,U2区域内像素点数量，N为感兴趣区像素点个数；自适应权重系数λ如式(8)所示；其中k1,k2是常数,0.3＜λ＜2.3。7.根据权利要求1所述的基于深度学习与多维信息融合聚类的果实...

【专利技术属性】
技术研发人员：王东，秦浩然，潘青慧，连捷，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：