智能化机械臂基于视觉的多目标快速高精度识别与定位方法技术

本发明专利技术涉及一种对于固联视觉单元的智能化机械臂对多目标快速高精度的识别与定位方法。本发明专利技术中通过模板图像和源图像实现在源图像中对模板图像的快速高精度的识别与定位。本发明专利技术中运用高斯金字塔降采样和拉普拉斯金字塔复原的方法，在提高识别与定位速度的同时保证了识别与定位的高精度。另外本发明专利技术提出了一种基于归一化互相关匹配算法与非极大值抑制相结合的平面多目标识别与定位方法，该方法可以实现对源图像中多个目标的同时识别与定位，并且相较于传统识别与定位算法大大提高了鲁棒性。

【技术实现步骤摘要】
智能化机械臂基于视觉的多目标快速高精度识别与定位方法
本专利技术属于计算机视觉领域，具体涉及对于固联视觉单元的智能化机械臂对多目标快速高精度的识别与定位方法。
技术介绍
随着机器视觉领域的研究与发展，越来越多的工业机器人配备了视觉系统，使机器人在自主移动和机械臂准确定位技术方面有了显著提高。与此同时，形形色色的视觉和图像算法的成功应用也显著地提升了机械臂的智能水平，而机械臂对目标物进行抓取的实时性、准确性和稳定性，也是机械臂采用视觉引导进行智能抓取的智能水平的标准体现。要提高机械臂所作的一系列动作的智能水平，使其具备智能化移动和抓取的功能，关键是使机器人对环境目标具备一定的认知能力，通过感知环境目标确定自身的行动，使其不需运动接触即可对环境目标实现抓取等动作，因此，视觉系统的研究已成为提高机器人智能化的一个较为热门的方向，目标的识别与定位方法更是这其中重点的研究问题。目前，在该研究领域内，已有一些比较成熟的并投入应用的识别与定位算法，但当下存在的方法更多是针对某一种具体应用，存在较大的局限性。例如“基于区域划分的平面工件识别与定位方法”只对具有直线轮廓的工件适用，当工件为不规则形状时无法得到正确的识别结果；“统计矩阵标记区域算法”利用目标本身的几何特征达到识别目的，选取质心标记法实现目标物体的定位，该方法用于识别杂乱物体中的某一个形状物体，并不适用于相同的多目标识别与定位；“基于特征模板并利用主成分分析(PCA)方法进行模板匹配的算法”实现了多种类别目标的识别与定位，具有一定的鲁棒性并提高了效率，但在算法运行之前都需要较长的离线时间对模板或特征进行学习，无法满足工程任务需求的多变性。总结而言，现有的目标识别与定位算法主要存在以下问题：(1)基于灰度或特征匹配的算法只能识别单目标；(2)多目标的识别方法需要较长的离线时间对模板或特征进行学习，不适应工程任务多变的实际情况；(3)大多数算法可以保证识别定位的准确性，但是速度较慢，无法满足实时性的要求。
技术实现思路
本专利技术的目的在于对包含视觉单元的智能化机械臂提供一种通用性的目标识别与定位方法，实现对多目标快速、高准确率、高鲁棒性的识别与定位，为智能化机械臂相关功能，包括但不限于目标抓取、目标移动、目标挑拣等，提供信息支撑。本专利技术中需要用到包含视觉单元的智能化机械臂，其中视觉单元(单相机)与机械臂固联安装，机械臂能够根据相机对目标的定位信息得到机械臂与目标的相对位置，从而对目标实施抓取、移动、挑拣等功能。固联安装是指视觉单元与机械臂的相对位置固定。实施基于视觉的多目标快速高精度识别与定位方法需要用到模板图像和源图像，其中模板图像是事先已知的需要识别的目标的图像，源图像是通过智能化机械臂固联视觉单元拍摄得到的图像。用本专利技术中的方法对图像中多目标进行高精度快速识别与定位，实现在源图像中对模板图像的快速高精度识别与定位，包括以下步骤：第一步，高斯金字塔降采样本专利技术中的多目标快速高精度识别与定位算法，需要目标的模板图像和相机单元拍摄到的源图像。首先将模板图像和源图像通过高斯金字塔降采样来减小图像大小以提高图像匹配速度，高斯金字塔通过高斯平滑和亚采样获得一系列下采样图像，每一层都按照从下到上的顺序编号，层Gi+1表示尺寸小于层Gi的相邻层。给定一个整数变量n和一维取样序列f(n)，则基为2的上采样序列定义如下：基为2的下采样操作的定义为：f2↓(n)＝f(2n)(2)一般而言，进行一次下采样能够将整个过程时间缩短到三分之一，但是降采样之后也会损失一些图像的细节信息。第二步，归一化互相关匹配得到模板图像和源图像的降采样之后，将两者进行归一化互相关操作。归一化互相关匹配算法是一种经典的模板匹配算法，通过计算模板图像和匹配图像的互相关值，可以确定匹配的程度，互相关值最大时的搜索窗口位置决定了模板图像在待匹配图像中的位置。NCC算法具有很高的准确性和适应性，并且对图像灰度值的线性变换具有鲁棒性，不受灰度值的线性变换的影响。NCC算法响应函数R在坐标(i,j)位置的数学表达形式如下式所示：I(i+m-1,j+n-1)表示源图像在坐标(i+m-1,j+n-1)位置的像素值，T(m,n)表示模板图像在坐标(m,n)位置的像素值，分别表示模板图像和源图像在对应的模板大小区域内像素值的平均值，(M,N)为模板图像的尺寸。通过上式可以计算得到源图像与模板图像的互相关值，可以确定匹配的程度，互相关值最大时的搜索窗口位置决定了模板图像在待匹配图像中的位置，但是那仅限于识别单目标的情况。针对基于单模板的多目标识别问题，由于光照、噪声等一系列干扰的影响，需要找到多个目标就需要找到超过一定响应值的所有位置，并去除在响应图像中体现为粘连在一起的像素点。第三步，非极大值抑制在一个窗口内，如果有多个像素点的响应值满足阈值条件，则保留响应值最大的那个像素点，排除其它像素点。本专利技术中首先将符合响应阈值条件的像素点按照响应值降序排列，然后利用图像的膨胀运算来达到检测极大值的目的，另外过程中设置了距离阈值对满足条件的像素点进行约束，从而达到去除误匹配的作用，进而避免单一约束的不确定性。专利技术中使用的两像素点(x1,y1)和(x2,y2)间距离的表达式为：根据经验可知，当NCC响应函数值超过0.9时，匹配情况良好。设置膨胀操作窗口18*18，距离阈值选取为0.9*模板短边长，得到模板在源图像中的响应位置，但该位置仅仅是一个点目标，要得到完整的目标需要对其进行复原。第四步，拉普拉斯金字塔复原拉普拉斯金字塔是通过源图像减去先缩小后放大的图像的一系列图像构成的，可以理解为高斯金字塔的逆形式，拉普拉斯金字塔第i层的数学定义：式中Gi表示第i层图像，UP操作是将源图像中位置为(x,y)的像素映射到目标图像的(2x+1,2y+1)位置，符号表示卷积运算，g5×5表示5*5的高斯内核。本专利技术的优点：1.本专利技术中通过高斯金字塔降采样减小了源图像与模板图像的大小，从而大大减小了归一化互相关匹配的计算量，在最后得到目标识别定位结果之后再通过拉普拉斯金字塔对检测得到的结果进行复原，从而在提高识别与定位速度的同时保证了识别与定位的高精度。2.本专利技术提出了一种基于归一化互相关匹配算法与非极大值抑制相结合的平面多目标识别与定位方法，该方法可以实现对源图像中多个目标的同时识别与定位，并且相较于传统识别与定位算法大大提高了鲁棒性，使得虚警、错检、漏检的概率都大大降低。具体实施方式本专利技术中需要首先获取模板图像，并拍摄得到源图像，通过模板图像和源图像就可以通过本专利技术中的多目标快速高精度识别与定位方法在源图像中识别定位出所有的模板图像目标。得到目标定位信息后为智能化机械臂后续操作提供信息基础。本专利技术中多目标快速高精度识别与定位方法具体步骤如下：第一步，高斯金字塔降采样将得到的模板图像和源图像进行高斯金字塔降采样，具体的高斯金字塔降采样参数需根据实际工程情况中的需求进行选择；第二步，归一化互相关匹配将第一步得到的模板图像和源图像的降采样结果进行归一化互相关匹配，得到对应的互相关值；第三步，非极大值抑制对于第二步中通过归一化互相关匹配得到的互相关值进行非极大值抑制操作，剔除重复检测提高算法效率，同时设置约束条件去除误匹配；第四步，拉普拉斯金字塔复原本文档来自技高网...

【技术保护点】
1.智能化机械臂基于视觉的多目标快速高精度识别与定位方法，实现在源图像中对模板图像的快速高精度的识别与定位，其中模板图像是事先已知的需要识别的目标的图像，源图像是智能化机械臂固联的视觉单元拍摄得到的图像，其特征在于，包括以下步骤：第一步,高斯金字塔降采样首先将模板图像和源图像通过高斯金字塔降采样来减小图像大小以提高图像匹配速度，高斯金字塔通过高斯平滑和亚采样获得一系列下采样图像，每一层都按照从下到上的顺序编号，层Gi+1表示尺寸小于层Gi的相邻层。给定一个整数变量n和一维取样序列f(n)，则基为2的上采样序列定义如下：

【技术特征摘要】
1.智能化机械臂基于视觉的多目标快速高精度识别与定位方法，实现在源图像中对模板图像的快速高精度的识别与定位，其中模板图像是事先已知的需要识别的目标的图像，源图像是智能化机械臂固联的视觉单元拍摄得到的图像，其特征在于，包括以下步骤：第一步,高斯金字塔降采样首先将模板图像和源图像通过高斯金字塔降采样来减小图像大小以提高图像匹配速度，高斯金字塔通过高斯平滑和亚采样获得一系列下采样图像，每一层都按照从下到上的顺序编号，层Gi+1表示尺寸小于层Gi的相邻层。给定一个整数变量n和一维取样序列f(n)，则基为2的上采样序列定义如下：基为2的下采样操作的定义为：f2↓(n)＝f(2n)(2)第二步,归一化互相关匹配对得到的降采样后的模板图像和源图像进行归一化，得到归一化后的模板图像T(m,n)和源图像I(m,n)，通过互相关算法计算T(m,n)和I(m,n)的互相关值，响应函数R在坐标(i,j)位置的数学表达形式如下式所示：I(i+...

【专利技术属性】
技术研发人员：谢美华，邓立新，
申请(专利权)人：湖南牛顺科技有限公司，
类型：发明
国别省市：湖南,43