一种基于TOF相机的树上苹果识别与定位方法技术

本发明专利技术公开了一种基于TOF相机的树上苹果识别与定位方法。其技术方案是，使用分辨率为1280(h)×1024(v)、型号为OI‑VS‑1000的TOF相机的三维成像技术获取苹果的反射光强度图像和深度图像，并对所得图像进行预处理，应用选择性对比度增强算法，对深度图像进行改善，然后采用形态滤波算法，滤除深度图中的噪声，采用区域分裂合并的算法将目标果实区域与背景区域分割，然后利用Canny算子提取边界，最后对边界图像利用图像中定位形状的Hough变换进行圆检测，获得果实圆及圆心位置，结合TOF相机三维数据库的定位技术对每个果实圆心的三维坐标进行提取，求得果实实际半径值，实现对苹果的识别和定位。

【技术实现步骤摘要】
一种基于TOF相机的树上苹果识别与定位方法
本专利技术涉及一种基于TOF相机的树上苹果识别与定位方法，属于图像识别

技术介绍
我国是一个苹果种植大国，种植面积广阔，每年的苹果产量高速增长，因此，智能化、信息化的植物相关检测技术应运而生，而植物果实的完整分割，是相关算法的基础，也是计算机视觉领域的核心研究课题之一。随着市场需求量增加，苹果大面积种植，为了及时采摘成熟的苹果，解决上述问题的重要途径之一就是苹果采摘机器人的应用。机器视觉是采摘机器人最大的外部环境信息源，其主要任务包括采摘目标的识别、定位及相关特征的提取。目前，双目立体视觉技术、超声波成像和激光扫描技术得到了关注与研究。双目立体视觉技术利用颜色空间实现对果实的识别，并通过图像处理技术处理重叠和遮挡问题，最后通过立体匹配实现定位。在双目图像中所提取的区域由于遮挡和光线的变化导致同一目标存在差异性，致使深度信息不准确，同时立体匹配算法复杂、耗时。超声波成像和激光扫描技术通过对果实表面的三维特征及光谱吸收特征的分析，实现对果实的识别和定位。虽然此技术定位精度高，但实时性差、成本高，不能普遍使用。TOF相机以其成像速度快、定位精度高、高分辨率等优点在环境感知、导航及目标跟踪识别等领域得到了广泛应用，相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景，对复杂物体的姿态判断极为有效。TOF相机的测量主要利用了光的物理传播特性，红外光发射器向目标场景发出余弦调制信号，经场景中物体反射后被光探测器接收，通过“四点测量法”计算出各像素点处的三维信息域反射光幅值。
技术实现思路
本专利技术针对上述的现有的视觉系统中，苹果的识别率方面存在的不足，提出了一种识别率高、定位准确的基于高精度TOF相机的树上苹果识别与定位方法。本专利技术解决识别与定位问题采用如下方案：本专利技术采用一种基于TOF相机的树上苹果识别与定位方法是按如下步骤进行的：步骤1：使用分辨率为1280(h)×1024(v)、型号为OI-VS-1000的TOF相机的三维成像技术获取自然生长的苹果的反射光强度图像和深度图像，并对图像进行预处理；步骤2：将步骤1得到的图像的视觉效果进行增强改善，抑制无用信息，然后对其进行滤波处理。步骤3：对步骤2得到的改善的强度图和深度图进行分裂合并，取两部分交集作为识别的目标区域。然后利用Canny算子对二值图像进行边缘检测，提取果实图像的轮廓步骤4：将得到的图像进行区域标记，绘制区域的最小外接圆，然后利用Hough变换对单个果实的轮廓线进行拟合，完成对果实的识别。步骤5：由步骤4可以提取到果实的圆心坐标、半径等形状特征，利用TOF相机三维数据库的特点直接读取圆心的三维坐标，进而求得果实实际半径值，实现对苹果的定位。在步骤1中，通过计算机实时采集处理程序获取系统校正后的深度图和代表反射光幅值的强度图。通过式(1)将各测试点到相机平面的深度信息转换为灰度图像各像素的灰度值，实现三维数据的可视化。式中，g(i,j)表示灰度图像的灰度值；z(i,j)表示传感器获取的深度值。将灰度图像的像素类型设定为16位的，用数据库的形式保存各像素点的三维坐标，这样做可以使由连续的深度信息转化为离散的灰度值时的误差比较小。在苹果识别过程中，通过式(2)将采集到的强度信息结合深度信息进行校正，消除物距对强度图灰度值产生的影响。A'(i,j)＝A(i,j)z(i,j)2(2)式中，A'(i,j)为校正后的的强度值；A(i,j)为原始强度值。在步骤2中采用选择性对比度增强方法。背景的灰度值在图像直方图中的范围比较大，直接忽略对应元素，将包含重要信息的灰度空间[a,b]扩充，通过式(3)，即灰度范围从[a,b]到[0,255]的灰度转换就完成了。然后再进行形态滤波处理去除噪声。式中，G(x,y)为灰度值，G'(x,y)为经过处理后的灰度值。在步骤3中，对步骤2得到的强度图和深度图分别进行分裂合并算法。具体步骤是，令R表示整个强度图像区域，P代表某种相似性准则。首先将图像等分为4个区域，然后反复将分割得到的子图像再次分为4个区域，直到对任意Ri，P(Ri)＝TRUE，表示区域Ri已经满足相似性准则，此时不再进行分裂操作。如果P(Ri)＝FALSE，则将Ri分割为4个区域。如此继续下去，直到P(Ri)＝TRUE或者已经到单个像素。在分离之后或在分裂的同时，将图像中任意两个具有相似特征的相邻区域Rj、Rk合并，即如果P(Rj∪Rk)＝TRUE，则合并Rj、Rk。当无法再进行聚合或分裂时操作停止。然后利用Canny算子对二值图像进行边缘检测，提取果实图像的轮廓。在步骤4中，首先对图像进行区域标记，并绘制区域的最小外接圆，在外接圆内按照确定的参数范围进行圆形Hough变换对单个果实的轮廓进行拟合，再去除已识别果实的轮廓线，对剩余苹果果实轮廓进行拟合，依次识别出所有果实。在步骤5中，由步骤4利用Hough变换进行圆检测可以获得果实圆及圆心位置，利用TOF相机三维数据库的算法对果实圆心的三维坐标进行提取，然后求得果实实际半径值，实现对苹果的准确定位。和其他相机拍摄的图像相比，本专利技术的优势体现在：1、本专利技术提出使用分辨率为1280(h)×1024(v)、型号为OI-VS-1000的TOF相机，此型号TOF相机具有成像速度快、定位精度高、高分辨率的特点。相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景，对复杂物体的姿态判断极为有效。TOF相机的测量主要利用了光的物理传播特性，红外光发射器向目标场景发出余弦调制信号，经场景中物体反射后被光探测器接收，通过“四点测量法”计算出各像素点处的三维信息与反射光幅值。2、本专利技术在增强和去噪方面分别使用选择性对比度增强算法和形态滤波算法，并很好地对图像进行了改善；并分别对强度图和深度图使用分裂合并的算法，将两部分交集作为识别的目标区域，利用Canny算子提取目标轮廓，根据果实的形状特点，利用圆形Hough变换识别果实。3、本专利技术使用OI-VS-1000型号的高分辨率的TOF相机，不仅能实现对果实的识别，而且在定位上，根据上述识别苹果的步骤，再结合三维数据库的信息，能准确快速的对识别出的苹果进行定位。附图说明图1是本专利技术提供的一种基于TOF相机的树上苹果识别与定位方法的流程图；图2是本专利技术实施例提供的一种基于TOF相机的树上苹果识别与定位方法的通过TOF相机并经过处理的获取的强度图(a)和深度图(b)；图3是本专利技术实施例提供的一种基于TOF相机的树上苹果识别与定位方法的对比度增强的深度图像；图4是本专利技术实施例提供的一种基于TOF相机的树上苹果识别与定位方法的分裂合并后经Canny算法对图像进行边缘检测的图；图5是本专利技术实施例提供的一种基于TOF相机的树上苹果识别与定位方法的经圆形Hough变换后识别出的苹果果实；图6是本专利技术实施例提供的一种基于TOF相机的树上苹果识别与定位方法的果实圆心标注示意图。具体实施方式以下结合附图对本专利技术的方法进一步描述，本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及应用。如图1所示，本专利技术实施例以基于TOF相机采集的本文档来自技高网...

【技术保护点】
一种基于TOF相机的树上苹果识别与定位方法，其特征在于：包括以下步骤：步骤1：使用相机的三维成像技术获取自然生长的苹果树的反射光强度图像和深度图像，并对图像进行预处理；步骤2：对步骤1得到的图像进行选择性对比度增强处理，改善图像，抑制无关信息，然后对改善后的图像进行形态滤波处理，去除图像中的噪声；步骤3：对步骤2改善过的图像进行分裂合并，对强度图进行分裂合并时得到的区域会将相邻苹果的区域合并到同一个区域，而通过深度图进行分裂合并时得到的区域会将贴附于苹果表面的树叶合并到同一个区域，因此，取两部分合并的交集作为识别得到的目标区域，然后用Canny算子进行边缘检测，获取目标果实区域的轮廓；步骤4：对经过步骤3得到的图像进行区域标记，并绘制区域的最小外接圆，在外接圆内通过圆形Hough变换对单个果实的轮廓线进行拟合，依次识别出所有的果实；步骤5：由步骤4可以获得果实圆及圆心位置，然后根据相机的三维数据库对每个果实圆心的三维坐标进行提取，然后求苹果的实际半径值，实现对苹果的定位。

【技术特征摘要】
1.一种基于TOF相机的树上苹果识别与定位方法，其特征在于：包括以下步骤：步骤1：使用相机的三维成像技术获取自然生长的苹果树的反射光强度图像和深度图像，并对图像进行预处理；步骤2：对步骤1得到的图像进行选择性对比度增强处理，改善图像，抑制无关信息，然后对改善后的图像进行形态滤波处理，去除图像中的噪声；步骤3：对步骤2改善过的图像进行分裂合并，对强度图进行分裂合并时得到的区域会将相邻苹果的区域合并到同一个区域，而通过深度图进行分裂合并时得到的区域会将贴附于苹果表面的树叶合并到同一个区域，因此，取两部分合并的交集作为识别得到的目标区域，然后用Canny算子进行边缘检测，获取目标果实区域的轮廓；步骤4：对经过步骤3得到的图像进行区域标记，并绘制区域的最小外接圆，在外接圆内通过圆形Hough变换对单个果实的轮廓线进行拟合，依次识别出所有的果实；步骤5：由步骤4可以获得果实圆及圆心位置，然后根据相机的三维数据库对每个果实圆心的三维坐标进行提取，然后求苹果的实际半径值，实现对苹果的定位。2.根据权利要求1所述的一种基于TOF相机的树上苹果识别与定位方法，其特征在于，所述步骤1中获取图像方法是，计算机通过实时采集处理程序获取系统校正后的深度图和反射光幅值的强度图，然后转化为灰度图像各像素的灰度图。3.根据权利要求1所述的一种基于TOF相机的树上苹果识别与定位方法，其特征在于，所述步骤2中采用选择性对比度增强方法，因为灰度...

【专利技术属性】
技术研发人员：姬伟，孟祥利，许波，钱志杰，唐伟，赵德安，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32