一种用于火龙果自动化采摘的图像识别与姿态评估方法技术

本发明专利技术提供一种用于火龙果自动化采摘的图像识别与姿态评估方法，涉及水果采摘领域，包括：步骤一、图像数据集的形成；步骤二、火龙果图像分割图的获取；步骤三、图像分割图转换为灰度图、再转换为二值化图像；步骤四、通过二值化图像分别获得生态姿态向量与果实姿态向量、最后拟合获得果实最终姿态。该方法能够对大面积的火龙果进行位姿检测、实现精确化采摘；其检测精度高、采摘效率高、误差小，能够有效避免采摘过程中对火龙果果实、枝条等造成损伤。伤。伤。

【技术实现步骤摘要】
一种用于火龙果自动化采摘的图像识别与姿态评估方法


[0001]本专利技术涉及水果采摘
，具体涉及一种用于火龙果自动化采摘的图像识别与姿态评估方法。

技术介绍

[0002]火龙果因具有较高的经济价值、营养价值和加工利用价值，近年来在我国的水果种植产业链中发展迅猛。现有技术中，在火龙果果实成熟后，主要依赖于人工进行采摘；然而，人工采摘存在劳动强度大、劳动力成本高、采摘效率低等问题，且火龙果果树的枝条带刺，人工采摘过程中易出现划伤、刺伤等不可控的安全问题。
[0003]目前，随着机器视觉与计算机技术的逐步成熟、以及基于深度学习的神经网络技术的迅速发展，越来越多的自动化采摘机器人已经用于水果的采摘工作中；自动化采摘能够有效缓解农业劳动力稀缺的问题，降低水果种植成本(主要为劳动力成本)，同时提高采摘效率、确保水果采摘的及时性(保证当季水果采摘、避免采摘时间过长造成果实过度成熟)。然而，火龙果由于生长姿态各异，即火龙果的果实形貌具有差异，以及成熟果实的位置、生长角度等杂乱无章，同时，自动化采摘机器人在采摘过程中易受枝条的遮挡，导致采摘条件复杂多变，无法实现统一化、规模化、效率化的采摘，采摘过程中易出现果实损伤、枝条折断以及采摘机构卡滞等问题。

技术实现思路

[0004]针对以上现有技术存在的问题，本专利技术的目的在于提供一种用于火龙果自动化采摘的图像识别与姿态评估方法，该方法能够对大面积的火龙果进行位姿检测，进而拟合果实的轮廓、质心、最小外界矩形框和三维边界框，结合果实与生长枝条的位置关系对火龙果的三维姿态进行预估，进而实现精确化采摘；该方法检测精度高、采摘效率高、误差小，能够有效避免采摘过程中对火龙果果实、枝条等造成损伤。
[0005]本专利技术的目的通过以下技术方案实现：
[0006]一种用于火龙果自动化采摘的图像识别与姿态评估方法，包括以下步骤：
[0007]步骤一、对火龙果果园中的火龙果实际生长图像进行采集，形成卷积神经网络的图像数据集；
[0008]步骤二、采用基于注意力残差模块的改进U
‑
Net火龙果检测分割算法对步骤一中的图像数据集中的图像进行处理，得到火龙果的图像分割图；
[0009]步骤三、采用基于连通组件标记算法获得火龙果掩膜图，并利用RGB颜色空间对红龙果掩膜图进行分离，获得火龙果枝条、果实的灰度图；再将灰度图转化为二值化图像；
[0010]步骤四、首先，通过图像扫描法获得果实质心及果实生长点，通过果实质心与果实生长点获得生长姿态向量；然后，利用相机成像原理拟合果实的三维边界框、通过三维边界框获得果实姿态向量；最后，通过生长姿态向量与果实姿态向量的拟合，获得果实最终姿态。
[0011]基于上述方案的进一步优化，所述步骤一具体为：首先，采用REALSENSE D455相机，分别于晴天顺光、晴天逆光与阴天三种环境下，进行火龙果图像的获取火龙果图像包括RGB图与深度图，同时，火龙果图像中包括整株多果与任意单果的原始图像；之后，人工对采集到的原始图像进行数据筛选，将未满足要求(即图像不清晰、未包含火龙果果实等)的图像剔除，获得标注图像；最后，采用标注工具对标注图像进行标注，获得图像数据集。
[0012]基于上述方案的进一步优化，所述标注工具采用Labelme标注软件。
[0013]基于上述方案的进一步优化，所述图像数据集按照8:1:1的比例随机划分为训练集、测试集与验证集。
[0014]基于上述方案的进一步优化，所述基于注意力残差模块的改进U
‑
Net火龙果检测分割算法具体为：首先，将通道和空间注意力机制(Concurrent Spatial and Channel Squeeze and Channel Excitation,SCSE)模块集成到残差结构(Double Residual Block,DRB)中，获得SD注意力残差模块；然后，在U
‑
Net网络结构中引入SD注意力残差模块与SCSE模块。
[0015]基于上述方案的进一步优化，所述步骤三具体为：
[0016]步骤S301、首先，基于连通组件标记算法(Connected Component Labeling，CCL)，结合火龙果二值图像对原图像进行连通区域分析；遍历火龙果二值图像中的像素，对于相邻像素、若值相同，则将它们标记为同一个连通区域，当遍历完所有像素后，获得火龙果果实及其连接的枝条掩膜图像；
[0017]步骤S302、对步骤S301中获得的掩膜图像进行图像处理，获得果实轮廓更明显的掩膜图像；
[0018]步骤S303、利用RGB颜色空间对步骤S302中的掩膜图像分别进行绿色通道与红色通道图像的分离，获得火龙果枝条和果实的灰度图；然后分别付火龙果枝条、果实的灰度图进行高斯模糊处理，以减少噪声影响；
[0019]步骤S304、通过预设阈值将步骤S303中的灰度图转化为二值化图像。
[0020]基于上述方案的进一步优化，所述步骤S302中的图像处理包括侵蚀、膨胀和孔洞填充等数学形态学操作，以达到填充检测区域之间的间隙、去除噪声以及平滑区域边界的目的。
[0021]基于上述方案的进一步优化，所述步骤四中通过果实质心与果实生长点获得生长姿态具体步骤为：首先，采用基于深度优选搜索的图像扫描算法提取火龙果果实及其生长枝条的轮廓，具体为：从图像的左上角像素开始扫描，若某一像素点为火龙果果实、生长枝条轮廓上的像素点，则将该点及其周围的像素点标记为已访问，直至扫描完整个轮廓，分别标注果实轮廓像素点为(x
t
,y
t
)，t＝1,2,
…
,n、生长枝条轮廓像素点为(x
i
,y
i
)，i＝1,2,
…
,n；
[0022]然后，根据图像质心矩的定义，获得火龙果质心坐标(x
c
,y
c
)：
[0023][0024]式中：f(x
t
,y
t
)表示果实二值化图像中果实轮廓像素点(x
t
,y
t
)的像素值；
[0025]之后，分别计算生长枝条轮廓像素点与质心坐标之间的距离d1：
[0026][0027]遍历所有生长枝条轮廓像素点到质心坐标之间的距离，获得生长枝条轮廓到质心坐标的最小距离d
min
，其对应的像素点(x
i
‑
min
,y
i
‑
min
)即为果实生长点；
[0028]通过果实生长点与质心坐标获得火龙果果实生长姿态向量Q1：
[0029]Q1＝(x
c
‑
x
i
‑
min
,y
c
‑
y
i
‑
min
)。
[0030]基于上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于火龙果自动化采摘的图像识别与姿态评估方法，其特征在于：包括以下步骤：步骤一、对火龙果果园中的火龙果实际生长图像进行采集，形成卷积神经网络的图像数据集；步骤二、采用基于注意力残差模块的改进U
‑
Net火龙果检测分割算法对步骤一中的图像数据集中的图像进行处理，得到火龙果的图像分割图；步骤三、采用基于连通组件标记算法获得火龙果掩膜图，并利用RGB颜色空间对红龙果掩膜图进行分离，获得火龙果枝条、果实的灰度图；再将灰度图转化为二值化图像；步骤四、首先，通过图像扫描法获得果实质心及果实生长点，通过果实质心与果实生长点获得生长姿态向量；然后，利用相机成像原理拟合果实的三维边界框、通过三维边界框获得果实姿态向量；最后，通过生长姿态向量与果实姿态向量的拟合，获得果实最终姿态。2.根据权利要求1所述的一种用于火龙果自动化采摘的图像识别与姿态评估方法，其特征在于：所述步骤一具体为：首先，采用REALSENSE D455相机，分别于晴天顺光、晴天逆光与阴天三种环境下，进行火龙果图像的获取火龙果图像包括RGB图与深度图，同时，火龙果图像中包括整株多果与任意单果的原始图像；之后，人工对采集到的原始图像进行数据筛选，将未满足要求的图像剔除，获得标注图像；最后，采用标注工具对标注图像进行标注，获得图像数据集。3.根据权利要求1或2所述的一种用于火龙果自动化采摘的图像识别与姿态评估方法，其特征在于：所述标注工具采用Labelme标注软件。4.根据权利要求1～3任一项所述的一种用于火龙果自动化采摘的图像识别与姿态评估方法，其特征在于：所述图像数据集按照8:1:1的比例随机划分为训练集、测试集与验证集。5.根据权利要求2所述的一种用于火龙果自动化采摘的图像识别与姿态评估方法，其特征在于：所述步骤三具体为：步骤S301、首先，基于连通组件标记算法，结合火龙果二值图像对原图像进行连通区域分析；遍历火龙果二值图像中的像素，对于相邻像素、若值相同，则将它们标记为同一个连通区域，当遍历完所有像素后，获得火龙果果实及其连接的枝条掩膜图像；步骤S302、对步骤S301中获得的掩膜图像进行图像处理，获得果实轮廓更明显的掩膜图像；步骤S303、利用RGB颜色空间对步骤S302中的掩膜图像分别进行绿色通道与红色通道图像的分离，获得火龙果枝条和果实的灰度图；然后分别付火龙果枝条、果实的灰度图进行高斯模糊处理，以减少噪声影响；步骤S304、通过预设阈值将步骤S303中的灰度图转化为二值化图像。6.根据权利要求5所述的一种用于火龙果自动化采摘的图像识别与姿态评估方法，其特征在于：所述步骤四中通过果实质心与果实生长点获得生长姿态具体步骤为：首先，采用基于深度优选搜索的图像扫描算法提取火龙果果实及其生长枝条的轮廓，具体为：从图像的左上角像素开始扫描，若某一像素点为火龙果果实、生长枝条轮廓上的像素点，则将该点及其周围的像素点标记为已访问，直至扫描完整个轮廓，分别标注果实轮廓像素点为(x
t
,y
t
)，t＝1,2,
…
,n、生长枝条轮廓像素点为(x
i
,y
i
)，i＝1,2,
…
,n；
然后，根据图像质心矩的定义，获得火龙果质心坐标(x
c
,y
c
)：式中：f(x
t
,y
t
)表示果实二值化图像中果实轮廓像素点(x
t
...

【专利技术属性】
技术研发人员：朱立学，邓文乾，赖颖杰，张世昂，付根平，郭晓耿，罗文轩，
申请(专利权)人：仲恺农业工程学院，
类型：发明
国别省市：