一种苹果套袋机器人视觉定位方法技术

本发明专利技术涉及一种机器人的视觉定位方法，更具体地，涉及基于机器视觉的苹果套袋机器人视觉定位系统及方法。该方法可以对苹果幼果进行准确的图像处理与分析，通过算法快速的对苹果幼果进行准确定位，确定幼果的精确位置，引导机械臂完成套袋工作。本发明专利技术的方法组成有硬件和软件两个部分，其中的硬件包括图像采集装置、存储装置、处理器、控制器；软件部分包括图像处理程序与定位程序。本发明专利技术的方法是由ROI提取、灰度化、图像增强、图像分割、相机标定、图像极线校正、图像的特征提取和匹配以及图像的三维重建来实现的。?

【技术实现步骤摘要】

本专利技术涉及一种机器人的视觉定位系统，更具体地，涉及基于机器视觉的苹果套袋机器人精准定位系统的组成及其实现方法。
技术介绍
随着我国整体农业科技水平和高技术产业的高速发展，人工智能和机器视觉等新型技术在农业机械中的应用研究得到了高度重视。由于当今劳动资源的逐步短缺，国家十分重视农业机器人的研究，而机器人视觉的研究是农业机器人研究的一个重要内容之一，所以设计一种视觉精准定位系统引导机器人工作成为了一项非常紧迫的任务。国内也有一部分人针对此问题进行了研究并取得了一定的成果，目前研制的视觉定位系统绝大多数是对前景颜色和背景颜色具有较大差异的图像进行处理实现定位的，而这样的视觉定位系统局限性很强，结构复杂，鲁棒性低。当环境改变，图像的前景和背景颜色差异较小时就很难进行准确的定位。而在现实环境中，天气的变化，光照的变化等多方面的不利条件的影响总是存在的，相比以上方法的不足，设计一种能克服已有系统的不足之处以及能适应环境变化的视觉定位系统显得尤为重要，尤其是针对那些前后背景差异较小的情况下能进行精准定位的系统。
技术实现思路
本专利技术的目的是提供，提高了工作效率、减少操作工人，降低生产成本。采用的技术方案是: 一种苹果套袋机器人 视觉定位方法，由硬件和软件两部分组成。硬件部分包括苹果幼果图像采集装置、存储装置、处理器和控制器。处理器可选用微机或单板机。苹果幼果图像采集装置用来在远景处对果树及苹果幼果进行图像采集，需要模拟人类的眼睛，因此选用二台工业CXD摄像机(双目摄像机)，并装设在苹果套袋机器人的设定位置上，二台工业CXD摄像机将采集到的图像信息输送到存储装置。存储装置用来存储苹果幼果图像采集装置采集的图像，还用来存储图像处理程序的处理结果及系统运行的实时数据记录等。所述软件部分包括图像处理程序和定位程序。所述的软件部分中图像处理程序是用来对从存储装置中读取的图像进行预处理的。所述的软件部分中定位程序是用来对预处理后的图像提取目标并进行精准定位的。本专利技术的一种基于机器视觉的苹果套袋机器人视觉定位方法，包括如下步骤: I)用工业CXD双目摄像机对苹果树及苹果幼果进行采集，得到整体图像后，将左目和右目采集到的图像分别存储在存储装置中，并从存储装置中读取出这两幅图像；2)对读取的左目和右目两幅图像分别进行预处理，提取出感兴趣的部分(ROI)，判断图像中是否有苹果幼果，如果没有就调整摄像头的位置，返回步骤I )，如果有将其分割提取出来后进入步骤3)； 3)对相机进行标定后对目标体匹配，以及去除误匹配，匹配成功，则进入步骤4)，否则进入2)； 4)对匹配好的目标体进行三维重建，最后确定目标体在图像中的位置以及获取准确的三维坐标； 5)将获取的位置与坐标信息传输给处理器，处理器再将处理后的数据传输给机械臂控制系统，并求取运动学逆解，从而引导机械臂完成套袋动作。进一步，所述步骤2)具体包括如下几个步骤: 21)对图像进行预处理并提取出ROI； 22)判断是否有苹果幼果并分割； 进一步，所述步骤3)具体包括如下几个步骤: 31)对双目摄像机进行标定； 32)对两幅图像进行极线校正； 33)特征提取与匹配； 进一步，所述步骤4)具体包括如下: 41)对目标体进行三维重建； 42)获取目标体位置与三维坐标； 进一步，所述步骤21)具体包括如下几个步骤: 211)对图像进行灰度处理； 212)对图像进行增强处理； 213)对图像进行二值化处理； 214)对图像进行形态学运算； 进一步，所述步骤22)具体为: 本专利技术中判断是否有苹果幼果是基于圆形度概念进行的，所谓的圆形度就是用于特征的提取与描述，其计算公式的描述为:权利要求1.，采用本方法完成苹果套袋视觉定位，包括硬件和软件两部分； 硬件部分包括苹果幼果图像采集装置、存储装置、处理器和控制器；苹果幼果图像采集装置为工业C⑶双目摄像机，装设在苹果套袋机器人的设定位置上； 软件部分包括图像处理程序和定位程序，图像处理程序包括ROI提取，灰度化，图像增强和图像分割；定位程序包括摄像机标定，极线校正，特征提取与匹配和三维重建；图像处理程序用于将从存储装置中读取的图像进行预处理，定位程序用来对预处理后的图像提取目标并进行精确定位；其特征在于苹果套袋机器人视觉定位包括下述步骤: 1)用工业C⑶双目摄像机对苹果树及苹果幼果进行采集，得到整体图像后，将左目和右目采集到的图像分别存储在存储装置中，并从存储装置中读取出这两幅图像； 2)对读取的左目和右目两幅图像分别进行预处理，提取出感兴趣的部分R0I，判断图像中是否有苹果幼果，如果没有就调整摄像头的位置，返回步骤I)，如果有则将其分割提取出来后进入步骤3)； 3)对相机进行标定后对目标体匹配，以及去除误匹配，匹配成功，则进入步骤4)，否则进入2)； 4)对匹配好的目标体进行三维重建，最后确定目标体在图像中的位置以及获取准确的三维坐标； 5)将获取的位置与坐标信息传输给处理器，处理器再将处理后的数据传输给机械臂控制系统，并求取运动学逆解，从而引导机械臂完成套袋动作； 进一步，所述步骤2)具体包括如下几个步骤: 21)对图像进行预处理并提取出ROI； 22)判断是否有苹果幼果并分割； 进一步，所述步骤3)具体包括如下几个步骤: 31)对双目摄像机进行标定； 32)对两幅图像进行极线校正； 33)特征提取与匹配； 进一步，所述步骤4)具体包括如下: 41)对目标体进行三维重建； 42)获取目标体位置与三维坐标； 进一步，所述步骤21)具体包括如下几个步骤: 211)对图像进行灰度处理； 212)对图像进行增强处理； 213)对图像进行二值化处理； 214)对图像进行形态学运算； 进一步，所述步骤22)具体为: 判断是否有苹果幼果是基于圆形度概念进行的，所谓的圆形度就是用于特征的提取与描述，其计算公式的描述为:2.根据权利要求1所述的，其特征在于所述的三维重建方法是运用了最小二乘法，其表达公式为:全文摘要本专利技术涉及一种机器人的视觉定位方法，更具体地，涉及基于机器视觉的苹果套袋机器人视觉定位系统及方法。该方法可以对苹果幼果进行准确的图像处理与分析，通过算法快速的对苹果幼果进行准确定位，确定幼果的精确位置，引导机械臂完成套袋工作。本专利技术的方法组成有硬件和软件两个部分，其中的硬件包括图像采集装置、存储装置、处理器、控制器；软件部分包括图像处理程序与定位程序。本专利技术的方法是由ROI提取、灰度化、图像增强、图像分割、相机标定、图像极线校正、图像的特征提取和匹配以及图像的三维重建来实现的。文档编号A01G13/02GK103198477SQ20131009596公开日2013年7月10日 申请日期2013年3月25日 优先权日2013年3月25日专利技术者高宏伟, 李斌, 刘哲, 洪坤, 于洋 申请人:沈阳理工大学本文档来自技高网...

【技术保护点】
一种苹果套袋机器人视觉定位方法，采用本方法完成苹果套袋视觉定位，包括硬件和软件两部分；硬件部分包括苹果幼果图像采集装置、存储装置、处理器和控制器；苹果幼果图像采集装置为工业CCD双目摄像机，装设在苹果套袋机器人的设定位置上；软件部分包括图像处理程序和定位程序，图像处理程序包括ROI提取，灰度化，图像增强和图像分割；定位程序包括摄像机标定，极线校正，特征提取与匹配和三维重建；图像处理程序用于将从存储装置中读取的图像进行预处理，定位程序用来对预处理后的图像提取目标并进行精确定位；其特征在于苹果套袋机器人视觉定位包括下述步骤：1）用工业CCD双目摄像机对苹果树及苹果幼果进行采集，得到整体图像后，将左目和右目采集到的图像分别存储在存储装置中，并从存储装置中读取出这两幅图像；2）对读取的左目和右目两幅图像分别进行预处理，提取出感兴趣的部分ROI，判断图像中是否有苹果幼果，如果没有就调整摄像头的位置，返回步骤1），如果有则将其分割提取出来后进入步骤3）；3）对相机进行标定后对目标体匹配，以及去除误匹配，匹配成功，则进入步骤4），否则进入2）；4）对匹配好的目标体进行三维重建，最后确定目标体在图像中的位置以及获取准确的三维坐标；5）将获取的位置与坐标信息传输给处理器，处理器再将处理后的数据传输给机械臂控制系统，并求取运动学逆解，从而引导机械臂完成套袋动作；进一步，所述步骤2）具体包括如下几个步骤：21）对图像进行预处理并提取出ROI；22）判断是否有苹果幼果并分割；进一步，所述步骤3）具体包括如下几个步骤：31）对双目摄像机进行标定；32）对两幅图像进行极线校正；33）特征提取与匹配；进一步，所述步骤4）具体包括如下：41）对目标体进行三维重建；?42）获取目标体位置与三维坐标；进一步，所述步骤21）具体包括如下几个步骤：211）对图像进行灰度处理；212）对图像进行增强处理；213）对图像进行二值化处理；214）对图像进行形态学运算；进一步，所述步骤22）具体为：判断是否有苹果幼果是基于圆形度概念进行的，所谓的圆形度就是用于特征的提取与描述，其计算公式的描述为：????????????????????????????????????????????????????????????????????????????????????????????其中代表的是圆形度，代表面积，代表周长；当的数值为1的时候，代表的是圆，开始的时候设置一个阈值，由于苹果为近似圆形的，而树叶及树干不是圆形的，所以，设置的阈值，当连通的区域的圆形度小于设定的阈值，则认定为是背景，设定为白色；当连通的区域的圆形度大于设定的阈值，则认定为是前景，也就是感兴趣的部分，即苹果幼果果实，设定为黑色，这样，感兴趣的区域就从图像中分离出来，完成了图像分割过程；进一步，所述步骤31）具体为：摄像机进行标定采用的方法是Tsai两步标定方法，该算法分为两步进行：第一步：基于图像点坐标只有径向畸变误差，通过建立和求解超定线性方程组，先计算出外部参数；第二步，考虑畸变因素，利用一个三变量的优化搜索算法求解非线性方程组，以确定其他参数；进一步，所述步骤33）具体为：本专利技术所用到的特征提取和匹配的方法是基于Gensus变换的匹配算法，该算法的变换原则为以窗口中心元素的灰度值为阈值，将窗口中的其他元素与之相比，若其他元素的值比中心元素的值大，则将该元素设为0，否则将该元素设为1；基于Gensus变换的匹配算法的步骤如下：（1）、读取两幅校正后的图像，分别将像素灰度值存入两个动态数组中，令总循环变量i=0；（2）、以存储左图像像素灰度值数组的第i个元素为基准进行窗口内部的秩变换，在算法设定的搜索空间内在右图像中通过计算海明距离搜索候选匹配点，并记录距离最小的点；（3）、以记录的右图像中最大分数值的点为基准进行窗口内部的秩变换，反过来在左图像中进行海明距离最小的候选匹配点的搜索并记录，判断该点与步骤（2）的左图像的基准点是否相同，相同则认为匹配正确并保存匹配点对；令i=i+1，判断i是否达到存储左图像像素灰度值数组的上限，达到了则转步骤（4），否则转步骤（2）。783851dest_path_image001.jpg,543997dest_path_image002.jpg,811030dest_path_image003.jpg,9930dest_path_image004.jpg,678809dest_path_image002.jpg,859123dest_path_image002.jpg,613453dest_path_image002.jpg,350465dest_path_image002.jpg...

【技术特征摘要】

【专利技术属性】
技术研发人员：高宏伟，李斌，刘哲，洪坤，于洋，
申请(专利权)人：沈阳理工大学，
类型：发明
国别省市：