一种基于全景立体视觉的采摘对象的识别、分类和空间定位装置，包括双目立体全景视觉传感器，用于对采摘对象的识别、分类和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器与所述的微处理器进行连接；所述的双目立体全景视觉传感器，包括两台具有相同参数的固定单视点的全方位视觉装置，全方位视觉装置简称ODVS，两台ODVS按照全方位的极线平面要求以垂直连接固定，并保证两个ODVS的主轴在同一直线上。本发明专利技术具有采摘识别率高、边采摘边分级分类、空间定位计算量少、空间定位高等优点。
【技术实现步骤摘要】
本专利技术属于全景立体视觉技术、采摘机器人技术、数字图像处理技术和模式识别技术在颗粒状农作物自动化采摘方面的应用，尤其适用于采摘机器人的自动采摘作业。
技术介绍
农作物采摘作业是农作物生产链中最耗时、最费力的一个环节。同时，采摘作业质量的好坏还直接影响到产品的后 续加工和储存。如何以低成本获得高品质的产品是农作物生产环节中必须重视和考虑的问题。由于采摘作业的复杂性，目前我国采摘作业的规模化、自动化和智能化程度仍然很低，基本上农作物采摘作业都是手工进行，就棉花采摘这一项来说每年约需要人工采摘成本8个亿。随着人口的老龄化和农业劳动力的减少，农业生产成本也相应提高，这样会大大降低产品的市场竞争力。因此采摘机器人是未来智能农业机械的发展方向。采摘机器人工作在高度非结构化的环境下，采摘对象是有生命的生物体，具有以下的特点1)采摘对象娇嫩、易脆，形状复杂且个体之间的差异性大；2)采摘对象大多数被树叶、树枝等掩盖，增大了机器人视觉定位难度，降低采摘成功率；3)采摘对象分布是随机的，分布在采摘机器人的周围，因此需要全方位的检测方法；4)希望实现智能化自动分级技术边采摘边分级，即在采摘过程中进行分类，以提高采摘物的品质和减少后续的分拣工序。采摘对象的识别与定位，是实现采摘自动化的第一步。考虑到采摘对象的生长环境、空间位置和分布状态等要素，采用三维视觉进行采摘对象的检测是一种非常有前途的解决方案。所谓三维视觉信息包括从摄像机到物体之间的距离、物体的大小和形状、各物体之间的关系等。对于采摘机器人视觉系统而言，在自然光条件下，不仅要探测到目标的存在，还要计算出采摘对象的空间坐标。目前，在园林生产和田间作业中，对于橙、橘、番茄、土豆、蘑菇、黄瓜、苹果、西瓜、葡萄等果蔬的基于机器视觉的采摘技术，国内外已有一些相关报道，但尚未检索到棉花采摘机器人的相关报道。颜色、大小和形状是反映采摘对象的重要视觉特征，是基于机器视觉的采摘对象的识别、分类的重要依据。每一种采摘对象都有其特有的颜色、大小和形状特征，这些视觉信息是识别采摘对象的重要属性特征；同时每一种采摘对象在其不同的生长期和不同的品质上，其颜色、大小和形状均有较大的差别，这些差别是基于机器视觉的分类和分级中各种判定指标和阈值取值的根据。在采摘对象颜色测量中，应选用一定的颜色模型来对采摘对象表面的颜色特征进行研究。通过该研究建立多种各具特色的颜色模型，在机器视觉研究中，常用的RGB和HIS颜色模型，HIS颜色模型的描述更接近人的视觉对颜色的感知方式，它包含色相、饱和度和亮度三要素。根据对颜色的研究结果，结合有关评级标准，就可选定区别不同色度等级的色相阈值，计算出此值下的累计频度值，就可完成颜色分级。利用被采摘对象的颜色色差信息进行图像识别，对于有些被采摘对象，如果蔬的识别，采用HIS彩色模型用于颜色评价和图像处理是非常有效的。对于棉桃的识别，主要是基于棉桃的R、G、B均值几乎相等，而棉叶、棉枝的R、G、B均值相差较大。棉桃颜色差值绝大多数分布在45°线上，只有少量偏离45°线，且偏离程度较小；而棉叶和棉枝的颜色差值偏离45°线，且偏离程度较大，因此可以利用此特征差异进行图像识别。利用此色差模型可以有效地将棉桃从背景图像中分离出来。机器视觉的作用是从三维环境图像中获得所需的信息并构造出观察对象的明确而有意义的描述。视觉包括三个过程图像增强、特征提取和图像理解。由视觉传感器获取数字图像，经图像增强后提取颜色、形状和纹理特征参数对棉花进行分类、识别和描述。目前获取采摘对象的三维坐标的定位方法主要有下面4种类型1)多目立体视觉融合多个摄像机观察到的目标特征，重构这些特征的三维原像，并计算出目标的空间坐标；2)时间差法利用一台摄像机的多幅连续图像序列实现“从运动得到结构”，由图像匹 配估计匹配点的三维坐标；3)结构光法选择激光、微波或超声波等光源，采用光栅法、移动投光法获取距离图像和反射图像，经联合分析测出物体的形状和空间分布；4)传感器融合由视觉传感器获取原始平面图像，计算其形心坐标，再利用测距传感器测量目标的深度信息。就上述4种定位方式来说，立体视觉具有投资小、能与采摘机器人的自动导航共用一套立体视觉系统、能与前期采摘对象的识别和分类等处理共用一种视频源，因此是一种首选的解决方案。立体视觉系统一般可分为图像采集、摄像系统标定、特征选择与提取、立体匹配、深度确定和内插6个步骤。双目立体视觉运用两个相同的摄像机对同一景物从不同位置成像，获得景物的立体图像对，通过各种算法匹配出相应像点，从而计算出视差，然后采用基于三角测量的方法恢复深度信息。目前的立体视觉系统，利用立体摄像机获取不同距离的采摘对象的立体图像对，通过对图像进行灰度图像处理，将彩色图像转换为灰度图像.然后根据灰度图像对中像素点的相关性进行立体匹配，计算像素点的位置信息而获得一幅深度图像。最后对照采摘对象在深度图像中的位置，获取采摘对象的三维位置信息。但是目前的立体视觉系统在农作物采摘的实际应用中还存在着不少问题，其主要问题在于立体成像范围有限，由于采摘机器人行走在农田采摘作物环境中，采摘对象的生长区域是开放式的、随机的、不规则的和全方位的，因此，需要转动立体视觉系统来获取周边的采摘对象视频信息；其次，立体成像摄像机标定、特征提取和立体图像匹配方面在实际应用上仍然存在着一些难以解决的问题。另外由于固定的焦距只能在一定景深范围内清晰拍摄图像，因而，它限制了在某些方面的应用。此外，还存在着以下不足之处1)由于标定技术不够完善，立体视觉测量系统在采摘机器人运动中其摄像机的内外参数变化是不可避免的，因而限制了许多应用；2)在各种shape from X过程中，涉及多次坐标的转换，造成计算量过大，难以进行实时处理，限制了对采摘对象的实时识别等应用；3)双目视觉的对应点匹配歧异性大，造成了匹配的误差，影响了匹配精度。立体匹配属于典型的视觉“病态”计算问题，目前的技术还很难对图像进行无歧义高准确率的立体匹配。近年发展起来的全方位视觉传感器，以下简称0DVS，为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由，为感知采摘机器人自身周围状态提供了一种新的重要手段；0DVS技术是以人为中心观察的图像获取技术，能使人产生身临其境的沉浸感，将ODVS技术应用于采摘机器人的导航、采摘对象的识别、分类和定位，就相当给予了采摘机器人具备了以采摘机器人为中心观察的图像获取技术，特别的是单视点的全景成像镜面的设计为构建采摘机器人的双目立体全景获取技术提供了一个良好的技术基础。
技术实现思路
为了克服已有的农作物采摘机器人的视觉系统难以同时完成自主导航、农作物的识别、分类和空间定位等不足，本专利技术提供一种既能用于采摘机器人的自主导航，又能用于农作物的识别、分类和空间定位的基于全景立体视觉的采摘对象的识别、分类和空间定位>J-U ρ α 装直。本专利技术解决其技术问题所采用的技术方案是一种基于全景立体视觉的采摘对象的识别、分类和空间定位装置，包括双目立体全景视觉传感器，用于对采摘对象的识别、分类和空间定位进行分析处理本文档来自技高网...
【技术保护点】
一种基于全景立体视觉的采摘对象的识别、分类和空间定位装置，其特征在于：包括双目立体全景视觉传感器，用于对采摘对象的识别、分类和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器与所述的微处理器进行连接；所述的双目立体全景视觉传感器，包括两台具有相同参数的固定单视点的全方位视觉装置，全方位视觉装置简称ODVS，两台ODVS按照全方位的极线平面要求以垂直连接固定，并保证两个ODVS的主轴在同一直线上；所述的微处理器包括：视频图像读取单元，用于读取两个相同成像参数的ODVS的视频图像，并保存在指定的存储设备中，其输出与视频图像展开单元连接；视频图像展开单元，用于对ODVS获取的原始视频图像进行图像预处理，图像预处理中首先对全方位图像进行展开，展开全景图保存在指定的存储单元中，其输出与采摘对象识别模块和比较标准特征参数抽取模块相连接；采摘对象识别模块，用于根据采摘对象的颜色和外形特征对采摘机器人周围的展开全景图中的采摘对象进行识别，其输出与采摘对象分类模块和采摘点匹配单元相连接；采摘对象分类模块，用于根据各种不同的采摘对象的分类标准指标库中相对应的采摘对象的分类标准对采摘对象进行分类分级，其输出与采摘对象分类控制模块相连接；各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，用于存放各种不同的采摘对象的分类标准指标和颜色与外形特征值；采摘点匹配单元，用于找出同一时刻两个不同视点的图像中同一采摘对象的中心点对应的两个像点，其输出与空间信息计算单元连接；空间信息计算单元，用于计算空间上的采摘对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与机械手空间位置计算单元连接；机械手空间位置计算单元，用于计算机械手的采摘端的空间位置，其输出控制机械手的动作，完成采摘任务；采摘对象分类控制模块，用于控制将分类分级后的采摘对象收集或分拣到相对应的采摘对象容器中。...
【技术特征摘要】
【专利技术属性】
技术研发人员：汤一平，俞立，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。