当前位置: 首页 > 专利查询>江苏大学专利>正文

一种激光扫描与机器视觉相结合的果实识别定位方法技术

技术编号:9618627 阅读:104 留言:0更新日期:2014-01-30 06:33
本发明专利技术公开了一种激光扫描与机器视觉相结合的果实识别定位方法,利用激光扫描不受光照条件的影响且同时获得距离、反射率、坐标多信息的特点,在扫描生成的反射率图中,利用反射率显著差异而形成的清晰轮廓将果实与枝叶进行区分,根据彩色图像与反射率图中特征点的颜色特征差异将反射率相近的成熟果实和未成熟果实进行区分,根据深度图中多个相互重叠果实所处的距离不同将成熟目标果实从与之相重叠果实中区分出来。本发明专利技术将激光扫描获得的反射率、深度、坐标等多信息与机器视觉的彩色图像信息相结合,综合实现成熟目标果实与枝叶、未成熟果实、相重叠果实的区分和定位,方法简单快速,实时性与实用性强,可应用于株上果实的识别定位。

A method of fruit recognition and location based on laser scanning and machine vision

The invention discloses a positioning method for fruit recognition of laser scanning and combining the characteristics of machine vision, is not affected by light conditions and at the same time obtained by laser scanning distance, reflectivity, coordinate information, the reflectance map scanning generated by the reflectivity, a clear outline of significant differences and the formation of the fruit and foliage according to the characteristics of color difference between color image and reflectance map feature point will be similar to the reflectivity of mature fruit and immature fruit were distinguished according to the depth map in multiple overlapping fruits at the distance with the target and the mature fruit from the overlapping fruit distinguish. The invention of laser scanning reflectivity, depth, get the coordinates of color information in image information and machine vision combine to achieve comprehensive and mature fruit and distinguish positioning target leaves, immature fruit, fruit overlap, method is simple, real-time and strong practicability, can be applied to the identification of fruit plants.

【技术实现步骤摘要】
所属
本专利技术涉及农业机器人领域,特别涉及一种激光扫描与机器视觉结合的果实识别定位方法。
技术介绍
在机器人采摘中,果实的识别与定位是关键技术难题。目前普遍利用机器视觉来进行果实的识别与定位,但机器视觉对光照条件敏感,背光、逆光等条件均会造成图像中的果实边缘信息提取的困难与错误,而补光等措施的效果受到实际光照条件的严格限制。同时,对普遍存在的果实相重叠情况,在机器视觉图像中难以判别,仅能通过复杂算法处理来进行有限分割,其实时性与准确性严重不足。少数利用多光谱技术进行果实识别,其精度与实时性难以保证,且无法满足重叠果实区分与果实定位的需要。近年来国内外开展了以激光为光源的三维视觉传感器开发(刘兆祥等,苹果采摘机器人三维视觉传感器设计,农业机械学报,2010,41,2:171?175;1 Dewa Made SUBRATA 等,3_D Vision Sensorfor Cherry Tomato Harvesting Robot, JARQ,1997: 257-264 ;Kanae Tanigakia 等,Cherry-harvesting robot,Computer and Electronics in Agriculture, 2008:65?72.),利用果树对激光的反射差异实现果实识别,利用激光三角测量原理实现果实定位,但对于成熟果实和未成熟果实的反射率相近等情况,由于信息的不足而难以做出正确判断。
技术实现思路
本专利技术提供,实现对成熟目标果实的准确识别和定位。为了解决以上技术问题,本专利技术采用的具体技术方案包括以下步骤: 步骤一,利用激光扫描仪(I)通过三维扫描同时获得前方场景的反射率(3)、坐标(4)和距离(5)信息,同时由相机(2)获得前方场景的彩色图像(6); 步骤二,将反射率(3)和坐标(4)信息相结合得到前方场景的反射率图(7),将坐标(4)和距离(5)信息相结合得到前方场景的深度图(7); 步骤三,根据反射率图(7)中的果实(9)与枝(10)、叶(11)轮廓形状的圆度等特征,将果实(9)与枝(10)、叶(11)进行区分; 步骤四,将彩色图像(6)与反射率图(7)进行匹配,根据彩色图像(6)与反射率图(7)中特征点(12)的颜色不同将成熟果实(13)和未成熟果实(14)进行区分,区分的依据为:当果实为番茄果实时,成熟果实(13)与未成熟果实(14)的颜色分别为青白和红;当果实为柑橘时,成熟果实(13)与未成熟果实(14)的颜色分别为青和橘黄;当果实为桃时,成熟果实(13)与未成熟果实(14)的颜色分别为青和桃红。步骤五,根据深度图(8)不同果实所处的不同距离,将成熟目标果实(15)从各个相重叠果实(17)中区分出来; 步骤六,根据深度图(8)中成熟目标果实(15)的距离(5)与坐标(4)信息,实现对成熟目标果实(15)进行定位。所述果实(9)为番茄、柑橘、桃果实中的任一种。本专利技术的工作原理如下:激光扫描仪(I)的三维扫描不受光照条件的影响,在扫描生成的反射率图(7)中,反射率具有显著差异的果实(9)与枝(10)、叶(11)间可形成清晰轮廓并进行区分;将相机(2)获得的彩色图像(6)与反射率图(7)匹配,可根据彩色图像(6)与反射率图(7)中特征点(12)的颜色特征差异将反射率(3)相近的成熟果实(13)和未成熟果实(14)进行区分;在激光扫描所获得的深度图(8)中,根据多个相互重叠的果实(9)所处的距离不同可以将成熟目标果实(15)从各个相重叠果实(17)中区分出来。本专利技术具有有益效果。本专利技术结合利用激光扫描获得的反射率、深度、坐标等多信息与机器视觉的彩色图像信息,综合实现成熟目标果实与枝叶、未成熟果实、相重叠果实的区分和定位,识别和定法准确,方法简单快速,实时性与实用性强。【附图说明】图1为本专利技术的方法流程图。图2为本专利技术的果实识别定位示意图。图3为番茄生长状态示意图。图中:1.激光扫描仪,2.相机,3.反射率,4.坐标,5.距离,6.彩色图像,7.反射率图,8.深度图,9.果实,10.枝,11.叶,12.特征点,13.成熟果实,14.未成熟果实,15.成熟目标果实,16.采摘机器人,17.相重叠果实。【具体实施方式】下面结合附图和具体实施例,对本专利技术的技术方案做进一步详细说明。图1展示了本专利技术的方法流程图。以番茄为例,本专利技术的实施过程如下: (1)激光扫描不受光照条件的影响,激光扫描仪I通过三维扫描,同时获得前方场景的反射率3、坐标4和距尚5信息,由于番爺果实9与番爺枝10、番爺叶11的反射率具有显著差异,从而可在反射率图7中形成清晰轮廓,从而将番茄果实9与番茄枝10、番茄叶11进行区分,如图3所示; (2)针对成熟番爺果实13和未成熟番爺果实14的反射率3相近的情况,由相机2获得彩色图像6,并通过彩色图像6与反射率图7的匹配,根据彩色图像6与反射率图7中特征点12的颜色特征差异将成熟番茄果实13和未成熟番茄果实14进行区分; (3)对多个番茄果实相重叠的情况,由于在激光扫描所获得的深度图8中不同番茄果实处于不同的距离,可以将成熟目标番茄果实15从各个相重叠番茄中区分出来。本专利技术的具体识别定位的过程如下: (1)激光扫描仪I通过三维扫描同时获得前方场景的反射率3、坐标4和距离5信息,同时由相机2获得前方场景的彩色图像6 ; (2)将反射率3和坐标4信息相结合得到前方场景的反射率图7,将坐标4和距离5信息相结合得到前方场景的深度图7 ; (3)根据反射率图7中的番茄果实9与番茄枝10、番茄叶11轮廓形状的圆度等特征,将番茄果实9与番茄枝10、番茄叶11进行区分; (4)将彩色图像6与反射率图7进行匹配,根据彩色图像6与反射率图7中特征点12的颜色特征差异将(半)红色成熟番茄果实13和青白未成熟番茄果实14进行区分; (5)根据深度图8不同果实所处的不同距离,将成熟目标番茄果实15从各个相重叠番茄果实17中区分出来; (6)根据深度图8中成熟目标番茄果实15的距离5与坐标4信息,对成熟目标番茄果实15进行定位,引导米摘机器人16完成对成熟目标番爺果实15的米摘,如图2所不。本文档来自技高网...

【技术保护点】
一种激光扫描与机器视觉相结合的果实识别定位方法,其特征在于包括以下步骤:步骤一,利用激光扫描仪(1)通过三维扫描同时获得前方场景的反射率(3)、坐标(4)和距离(5)信息,同时由相机(2)获得前方场景的彩色图像(6);步骤二,将反射率(3)和坐标(4)信息相结合得到前方场景的反射率图(7),将坐标(4)和距离(5)信息相结合得到前方场景的深度图(7);步骤三,根据反射率图(7)中的果实(9)与枝(10)、叶(11)轮廓形状的圆度等特征,将果实(9)与枝(10)、叶(11)进行区分;?步骤四,将彩色图像(6)与反射率图(7)进行匹配,根据彩色图像(6)与反射率图(7)中特征点(12)的颜色不同将成熟果实(13)和未成熟果实(14)进行区分;步骤五,根据深度图(8)不同果实所处的不同距离,将成熟目标果实(15)从各个相重叠果实(17)中区分出来;步骤六,根据深度图(8)中成熟目标果实(15)的距离(5)与坐标(4)信息,实现对成熟目标果实(15)进行定位。

【技术特征摘要】
1.一种激光扫描与机器视觉相结合的果实识别定位方法,其特征在于包括以下步骤: 步骤一,利用激光扫描仪(I)通过三维扫描同时获得前方场景的反射率(3)、坐标(4)和距离(5)信息,同时由相机(2)获得前方场景的彩色图像(6); 步骤二,将反射率(3)和坐标(4)信息相结合得到前方场景的反射率图(7),将坐标(4)和距离(5)信息相结合得到前方场景的深度图(7); 步骤三,根据反射率图(7)中的果实(9)与枝(10)、叶(11)轮廓形状的圆度等特征,将果实(9)与枝(10)、叶(11)进行区分; 步骤四,将彩色图像(6)与反射率图(7)进行匹配,根据彩色图像(6)与反射率图(7)中特征点(12)的颜色不同将成熟果实(13)和未成熟果实(14)进行区分; 步骤五,根据深度图(8)不同...

【专利技术属性】
技术研发人员:刘继展贾允毅席宁
申请(专利权)人:江苏大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1