果蔬采摘机器人的智能识别方法技术

本发明专利技术属于采摘机器人技术领域，具体涉及果蔬采摘机器人的智能识别方法，包括以下步骤：S1：获取果蔬图像；S2：图像预处理，增强S1得到果蔬图像的图像；S3：对图像进行图像超像素分割，并去除图像中的噪声干扰；S4：提取图像超像素分割后每一个超像素的颜色特征和纹理特征；S5：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果蔬模板图像；S6：将S5获得的果蔬模板图像与预先训练好的卷积神经网络检测模型图像对比，判断果蔬的成熟度；S7：确定目标果蔬的圆心坐标，对S6中合格的目标果蔬进行圆形拟合，并确定拟合后的圆心坐标；S8：匹配识别与定位，根据S7得到的圆心坐标，采用快速归一化互相关匹配对果蔬进行快速识别与定位。

【技术实现步骤摘要】
果蔬采摘机器人的智能识别方法
本专利技术属于采摘机器人
，具体涉及果蔬采摘机器人的智能识别方法。
技术介绍
果蔬生产的快速发展和农业劳动力短缺、劳动强度过大的矛盾日益显现，而替代选择性收获这一复杂人力劳动只有通过采摘机器人技术的深入研究才能实现。因此，水果农作物采摘机器人的研究应用，对于减轻农业从业者的劳动强度、解放农业劳动力和提高果蔬的集约化生产水平，都具有重要的意义。采摘机器人的首要任务是利用视觉系统进行成熟苹果目标的识别与定位。基于图像处理研究领域的相关算法，以实现果实的自动化检测、识别和定位，成为当前果实自动采摘机器人研发应用中的研究热点。面向果实的机械化采摘，通过相关的图像技术自动识别和定位场景中的果实信息成为一个广泛的研究课题。2010年，司永胜等人提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理,获得苹果的轮廓图像。对轮廓图像采用随机圆环法进行果实圆心、半径提取。识别算法可以较好地消除阴影、裸露土壤等影响,以苹果个数为单位，识别率达到92％。2012年，赵文旻等人提出选用R-G色差模型，改进的Ostu最大类间方差法分割图像。然后用面积阈值法消除噪声，获取成熟苹果果实的目标区域，同样以苹果的个数为计算单位单位，识别率为84.7％。现有技术存在的算法复杂度较高且(或)运行时间较长，未能较好的实现实时自适应的采摘操作的问题；并且现有果蔬采摘机器人只是对果实进行识别采摘，并无法判定果实是否成熟，导致摘取了一部分未成熟的果实，造成了果实的浪费。
技术实现思路
针对上述
技术介绍
所提出的问题，本专利技术的目的是：旨在提供果蔬采摘机器人的智能识别方法。为实现上述技术目的，本专利技术采用的技术方案如下：果蔬采摘机器人的智能识别方法，包括以下步骤：S1：在自然光作用下，获取果蔬图像；S2：图像预处理，采用矢量中值滤波的图像增强方法增强图像；S3：对S2处理后的图像采用HLS颜色模型中色度分量算法进行图像超像素分割，并去除图像中的噪声干扰；S4：提取S3中图像超像素分割后每一个超像素的颜色特征和纹理特征；S5：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果蔬模板图像，并去除面积小于300像素的连通区域；S6：将S5获得的果蔬模板图像与预先训练好的卷积神经网络检测模型图像对比，判断果蔬的成熟度，判定结果合格的果蔬进行采摘，不合格的果蔬则不进行采摘；S7：确定目标果蔬的圆心坐标，对S6中合格的目标果蔬进行圆形拟合，并确定拟合后的圆心坐标；S8：匹配识别与定位，根据S7得到的圆心坐标，采用快速归一化互相关匹配对果蔬进行快速识别与定位。作为本专利技术的一种优选方案，所述S1中使用CCD摄像机采集图像。作为本专利技术的一种优选方案所述S2中，对图像预处理方法为将给定窗口中所有矢量X(x,y)＝[r(x,y),g(x,y),b(x,y)]T取平均，得到平均矢量计算窗口中矢量X(x,y)到平均矢量的距离，把距离最小的矢量作为窗口中心像素的输出值；设原始图像集合X(x,y)的大小为M×N，用一个n×n窗口进行矢量中值滤波，其算法如下：通过求解r、g、b平均值，计算窗口平均矢量计算各矢量到平均矢量的距离Sxy，比较Sxy的大小，取得最小的Smin；用Smin所对应的像素Xmin作为该窗口的矢量中值，用它代替窗口中心像素矢量。作为本专利技术的一种优选方案，所述S3中图像超像素分割是将HLS模型下的色度图像投影到色度直方图上，求出概率较大的几个颜色点作为备选生长点，接下来选取这些备选生长点所在的5*5像素区域，设置阀值，统计在这一区域内小于阀值的像素数；如果大于阀值，认为像素周围是目标实体，即为果蔬果蔬，如果小于阀值，认为可能备选生长点正好选到了一些与目标颜色相近似的孤立点，则舍弃这个备选生长点，选择新的生长点。作为本专利技术的一种优选方案，所述S3中，去除图像中的噪声干扰采用数学形态中的开闭运算消除噪声。作为本专利技术的一种优选方案，所述卷积神经网络检测模型的构建方法为：A1：选取m个成熟度不一的果实，在自然光作用下，每个果实从n角度获取果实图像，并且计算果实的果糖浓度；A2：图像预处理，采用矢量中值滤波的图像增强方法增强图像；然后图像采用HLS颜色模型中色度分量算法进行图像超像素分割，并去除图像中的噪声干扰；A3：提取S3中图像超像素分割后每一个超像素的颜色特征和纹理特征；A4：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果实模板图像，并去除面积小于300像素的连通区域；A5：将A4得到的果实模板图像随机划分为训练集和测试集；A6：构造卷积神经网络，具体为：卷积神经网络为8层卷积神经网络，包括3个卷积层，3个池化层，2个全连接层；其中，3个卷积层为卷积层C1、卷积层C3、卷积层C5，3个池化层为池化层P2、池化层P4、池化层P6，2个全连接层为全连接层F7、全连接层F8；卷积神经网络的输入为n张果实模板图像，输出为果糖浓度；卷积层C1和池化层P2的特征图数量为10，卷积层C3和池化层P4的特征图数量为16，卷积层C5和池化层P6的特征图数量为24，全连接层F7设置神经元个数为1024，全连接层F8设置神经元个数为1；A7：训练卷积神经网络，包括以下子步骤：A7.1：初始化卷积神经网络的网络参数权重和网络参数偏置；A7.2：将训练集及其对应的果糖浓度输入A7.1初始化后的卷积神经网络训练，得到实际输出；A7.3：使用步骤A7.2得到的实际输出和训练集对应的果糖浓度之间的均方差作为损失函数，结合反向传播算法，通过ADam梯度下降方式减小损失函数并调整卷积神经网络的参数，完成卷积神经网络的训练，得到卷积神经网络检测模型。本专利技术的有益效果：与现有技术相比，本算法实现成本低，精度高，实时性好，提高苹果采摘机器人的工作效率；该方法可实现果实目标的实时检测定位和识别，为采摘机器人机械动作的实施提供先决条件，并且实现对于重叠果实的有效分离，极大提高了苹果采摘机器人的工作效率；并且本专利技术对果实的成熟度进行了判定，摘取的成熟的果实的概率达到了98％以上。附图说明本专利技术可以通过附图给出的非限定性实施例进一步说明；图1为本专利技术果蔬采摘机器人的智能识别方法实施例的流程示意图；图2为本专利技术果蔬采摘机器人的智能识别方法实施例中卷积神经网络示意图。具体实施方式为了使本领域的技术人员可以更好地理解本专利技术，下面结合附图和实施例对本专利技术技术方案进一步说明。如图1所示，本专利技术的果蔬采摘机器人的智能识别方法，包括以下步骤：S1：在自然光作用下，获取果蔬图像；S2：图像预处理，采用矢量中值滤波的图像增强方法增强图像；S3：对S2处理后本文档来自技高网...

【技术保护点】
1.果蔬采摘机器人的智能识别方法，其特征在于：包括以下步骤：/nS1：在自然光作用下，获取果蔬图像；/nS2：图像预处理，采用矢量中值滤波的图像增强方法增强图像；/nS3：对S2处理后的图像采用HLS颜色模型中色度分量算法进行图像超像素分割，并去除图像中的噪声干扰；/nS4：提取S3中图像超像素分割后每一个超像素的颜色特征和纹理特征；/nS5：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果蔬模板图像，并去除面积小于300像素的连通区域；/nS6：将S5获得的果蔬模板图像与预先训练好的卷积神经网络检测模型图像对比，判断果蔬的成熟度，判定结果合格的果蔬进行采摘，不合格的果蔬则不进行采摘；/nS7：确定目标果蔬的圆心坐标，对S6中合格的目标果蔬进行圆形拟合，并确定拟合后的圆心坐标；/nS8：匹配识别与定位，根据S7得到的圆心坐标，采用快速归一化互相关匹配对果蔬进行快速识别与定位。/n

【技术特征摘要】
1.果蔬采摘机器人的智能识别方法，其特征在于：包括以下步骤：
S1：在自然光作用下，获取果蔬图像；
S2：图像预处理，采用矢量中值滤波的图像增强方法增强图像；
S3：对S2处理后的图像采用HLS颜色模型中色度分量算法进行图像超像素分割，并去除图像中的噪声干扰；
S4：提取S3中图像超像素分割后每一个超像素的颜色特征和纹理特征；
S5：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果蔬模板图像，并去除面积小于300像素的连通区域；
S6：将S5获得的果蔬模板图像与预先训练好的卷积神经网络检测模型图像对比，判断果蔬的成熟度，判定结果合格的果蔬进行采摘，不合格的果蔬则不进行采摘；
S7：确定目标果蔬的圆心坐标，对S6中合格的目标果蔬进行圆形拟合，并确定拟合后的圆心坐标；
S8：匹配识别与定位，根据S7得到的圆心坐标，采用快速归一化互相关匹配对果蔬进行快速识别与定位。


2.根据权利要求1所述的果蔬采摘机器人的智能识别方法，其特征在于：所述S1中使用CCD摄像机采集图像。


3.根据权利要求2所述的果蔬采摘机器人的智能识别方法，其特征在于：所述S2中，对图像预处理方法为将给定窗口中所有矢量X(x,y)＝[r(x,y),g(x,y),b(x,y)]T取平均，得到平均矢量计算窗口中矢量X(x,y)到平均矢量的距离，把距离最小的矢量作为窗口中心像素的输出值；
设原始图像集合X(x,y)的大小为M×N，用一个n×n窗口进行矢量中值滤波，其算法如下：
通过求解r、g、b平均值，计算窗口平均矢量
计算各矢量到平均矢量的距离Sxy，比较Sxy的大小，取得最小的Smin；



用Smin所对应的像素Xmin作为该窗口的矢量中值，用它代替窗口中心像素矢量。


4.根据权利要求3所述的果蔬采摘机器人的智能识别方法，其特征在于：所述S3中图像超像素分割是将HLS模型下的色度图像投影到色度直方图上，求出概率较大的几个颜色点作为备选生长点，接下来选取这些备选生长点所在的5*5像素区域，设置阀值，统计在这一区域内小于阀值的像素数；如果大于阀值...

【专利技术属性】
技术研发人员：吴浩，
申请(专利权)人：深圳市多彩汇通实业有限公司，
类型：发明
国别省市：广东;44