基于单目相机与双目相机识别串型水果母枝的方法技术

本发明专利技术提供一种基于单目相机与双目相机识别串型水果母枝的方法，该方法首先采用单目相机获取包括果实、叶子及树枝的串型水果特征的彩色图像；然后利用支持向量机与AdaBoost算法对彩色图像进行训练、分割、识别、提取，得到果实、叶子及树枝的彩色图像；再利用果串分类原则对果实进行单果实果串、双果实果串及多果实果串的分类，然后通过果串的轮廓外切矩形上下底的中垂线识别果串母枝；最后采用双目相机获取果串母枝的双目立体图像，利用归一化互相关函数实现左图像与右图像的特征匹配，最终得到母枝的空间坐标。该方法能精确、有效的识别果串及对果串母枝进行定位，实现智能化采摘串型水果、采摘效率高，有效降低人力成本。

【技术实现步骤摘要】
基于单目相机与双目相机识别串型水果母枝的方法
本专利技术涉及水果智能采摘
，具体涉及一种基于单目相机与双目相机识别串型水果母枝的方法。
技术介绍
我国是龙眼、葡萄、荔枝等串型水果的主要生产国，种植和生产总量位居世界前列，具有巨大的经济潜力；例如荔枝，作为亚热带典型的串型水果，在我国华南地区，种植荔枝已成为农民脱贫致富的重要经济支柱之一。目前，采摘串型水果基本依靠人工进行，采摘劳动强度大、采摘费用高，浪费大量的人力物力。随着科技的进步以及智能化水平的发展，采摘机器人的研究和应用越来越多，给果园管理以及水果采摘带来一定的便捷，同时，也有效解放了人力、降低了人力成本。人工在采摘串型水果的过程中，需要优先确定果串的母枝，以采摘、剪断母枝的方式，使果串与果树分离；从母枝进行果串的剪断确保果串的完整性、避免其散成若干小串，从而有利于储存、运输以及保证果串的美观性，确保其经济价值。但是，由于串型水果自身生长特点，果串整体极易随机分布生长，从而造成果串识别难、母枝识别定位难、无法准确找到整个串型水果母枝的问题，从而使得替代人工采摘作业的串型水果智能化采摘系统在广泛应用方面面临巨大挑战。
技术实现思路
针对以上现有技术存在的问题，本专利技术的目的在于提供一种基于单目相机与双目相机识别串型水果母枝的方法，该方法能够精确、有效的识别果串以及对果串母枝进行定位，从而实现智能化采摘串型水果、采摘效率高，有效降低人力成本。本专利技术的目的通过以下技术方案实现：一种基于单目相机与双目相机识别串型水果母枝的方法，其特征在于：S001、采用单目CCD相机随机获取连同串型水果特征在内的多副彩色图像；S002、选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；S003、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用AdaBoost算法构造强分类器，通过强分类器分割单目CCD相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I1；S004、重复步骤S002～S003，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I1的原始彩色图像中分割提取出树枝与叶子，分别存储成彩色图像I2和彩色图像I3；S005、根据果实的分布位置将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I1中随机分布的果实所属的果串类型；S006、根据步骤S005中所确定的果串类型进行母枝确定：对于单果实果串，其与果实相连的树枝即为母枝；对于双果实果串与多果实果串，首先在彩色图像I1中做果串的轮廓外切矩形上下底的中垂线，然后结合彩色图像I1与彩色图像I2进行融合分析，通过彩色图像I1的中垂线与彩色图像I2的树枝相切情况确定果串的母枝；S007、利用双目CCD相机获取果串母枝的双目立体图像，取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，实现特征匹配，得到母枝的几何中心点；S008、最后计算母枝几何中心点的空间坐标，实现对母枝的定位。采用对果串类型分类以及利用贯串轮廓线外切矩形的中垂线进行母枝的确定，一是能有效消除每颗果实所连接的分枝的干扰、提高辨认精度；二是快速识别到果串的母枝，增加识别效率以及减少识别时间。作进一步优化，所述步骤S001中串形水果特征包括果实、叶子以及树枝。作进一步优化，所述步骤S005中采用果串分类原则进行单果实果串、双果实果串以及多果实果串的分类；具体为：单果实果串：若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径，则该果实为单果实果串；双果实果串：若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和，则这两个果实为一个双果实果串；多果实果串：若两个以上果实中，任意两个果实几何中心之间的欧式距离均小于两个果实的直径和，则该组果实为多果实果串。作进一步优化，所述步骤S006中通过彩色图像I1的中垂线与彩色图像I2的树枝相切情况确定果串的母枝具体为：将果串的轮廓外切矩形上下底的中垂线绕该中垂线下方的点、向靠近树枝的一侧旋转，与该中垂线最先相切的树枝为该果串的母枝。作进一步优化，所述步骤S007中在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点的步骤具体为：首先，通过双目CCD相机左图像P1的特征匹配点(x，y)构建匹配窗口，同时右图像P2的待匹配点(x+m，y+m)同样构建匹配窗口，通过归一化相关函数进行相关程度度量，具体公式如下：式中，F(m,n)表示归一化相关函数；(m,n)表示右图像相对于左图像的位置向量；Wp表示以待匹配点坐标为中心的匹配窗口；P2(x+m,y+n)表示右图像待匹配点的灰度值；表示右图像匹配窗口的灰度均值；P1(x,y)表示左图像特征匹配点的灰度值；表示左图像匹配窗口的灰度均值；式中，F(m,n)的取值范围为[-1,1]；当F(m,n)＝-1时，左图像的特征匹配点与右图像的待匹配点完全不相关；当F(m,n)＝1时，左图像的特征匹配点与右图像的待匹配点完全匹配，即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。优选的，所述匹配窗口通常为3*3的匹配窗口。作进一步优化，所述左图像与右图像在进行特征匹配前进行极线校正，从而使左图像与右图像的极线处于水平方向，即使左图像与右图像图像的光心处于同一水平线上。优选的，采用Bouguet极线校正算法进行极线校正。作进一步优化，所述步骤S008中采用三角测量原理计算母枝几何中心点的空间坐标。本专利技术具有如下技术效果：本专利技术提供的方法能快速、有效、准确的确定串型水果的母枝，避免果实分枝的干扰以及果实、叶子的遮挡影响母枝的识别，从而避免采摘时无法准确对母枝进行剪断、导致串型水果散开或果实易脱落，进而影响后续储存、运输。本专利技术方法有效提高采摘串型水果过程中的智能化水平，自动对果树进行拍照、分析以及母枝空间坐标点的确认，提高了采摘的工作效率以及串型水果的收率。附图说明图1为本专利技术实施例中识别串型水果母枝的流程图。图2为本专利技术实施例中识别串型水果母枝的原理示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例：如图1～2所示，以荔枝串型水果为例，一种基于单目相机与双目相机识别串型水果母枝的方法，其特征在于：S001、采用单目CCD相机随机获取连同串型水果果实、叶子以及树枝等特征在内的多副彩色图本文档来自技高网...

【技术保护点】
1.一种基于单目相机与双目相机识别串型水果母枝的方法，其特征在于：/nS001、采用单目CCD相机随机获取连同串型水果特征在内的多副彩色图像；/nS002、选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；/nS003、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用AdaBoost算法构造强分类器，通过强分类器分割单目CCD相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I

【技术特征摘要】
1.一种基于单目相机与双目相机识别串型水果母枝的方法，其特征在于：
S001、采用单目CCD相机随机获取连同串型水果特征在内的多副彩色图像；
S002、选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；
S003、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用AdaBoost算法构造强分类器，通过强分类器分割单目CCD相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I1；
S004、重复步骤S002～S003，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I1的原始彩色图像中分割提取出树枝与叶子，分别存储成彩色图像I2和彩色图像I3；
S005、根据果实的分布位置将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I1中随机分布的果实所属的果串类型；
S006、根据步骤S005中所确定的果串类型进行母枝确定：
对于单果实果串，其与果实相连的树枝即为母枝；
对于双果实果串与多果实果串，首先在彩色图像I1中做果串的轮廓外切矩形上下底的中垂线，然后结合彩色图像I1与彩色图像I2进行融合分析，通过彩色图像I1的中垂线与彩色图像I2的树枝相切情况确定果串的母枝；
S007、利用双目CCD相机获取果串母枝的双目立体图像，取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，实现特征匹配，得到母枝的几何中心点；
S008、最后计算母枝几何中心点的空间坐标，实现对母枝的定位。


2.根据权利要求1所述的一种基于单目相机与双目相机识别串型水果母枝的方法，其特征在于：所述步骤S001中串形水果特征包括果实、叶子以及树枝。


3.根据权利要求1或2任一项所述的一种基于单目相机与双目相机识别串型水果母枝的方法，其特征在于：所述步...

【专利技术属性】
技术研发人员：王成琳，罗天洪，柳苏纯，王雅薇，罗陆锋，熊俊涛，
申请(专利权)人：重庆文理学院，
类型：发明
国别省市：重庆;50