一种机器人运动姿态视觉估计方法技术

本发明专利技术公开了一种机器人运动姿态视觉估计方法。涉及机器人与机器视觉的技术领域，包括：采集动态环境中的连续视频图像，选取其中两张采集的图像，检测关键点，计算关键点特征值，检测并保存特征点位置；对原始图像进行分割，获取并保存图像中动态物体所在像素区域的位置；对比保存特征点信息的图像和保存分割结果的图像，剔除保存特征点信息的图像中分布在动态物体所在像素区域的位置的特征点；使用剔除优化后剩余的特征点在相邻图像间进行特征匹配，计算在相邻图像间机器人的位姿运动，输出机器人运动位姿估计。本发明专利技术具有位姿估计准确率高、计算量小、抗背景环境干扰能力强的优点。

【技术实现步骤摘要】
一种机器人运动姿态视觉估计方法
本专利技术涉及机器人与机器视觉的
，尤其涉及一种机器人运动姿态视觉估计方法。
技术介绍
移动机器人在工作环境中需要对自身的运动姿态进行估计，这对于移动机器人实现路径规划、避障等功能尤为重要。机器人使用高精度的惯性传感器虽然能够获得运动姿态估计，但是成本相对高昂。目前机器人运动姿态估计受到干扰因素比较多，在仅使用视觉传感器进行的机器人运动姿态估计涉及较少。本专利技术提供一种机器人运动姿态视觉估计方法，极大的降低了传感器硬件成本以及消除累计误差，解决了现有的机器人运动姿态方法较少采用视觉进行估计，且机器人单纯采用视觉传感器进行运动姿态估计易受干扰的问题，具有较好的实用价值及工程意义。
技术实现思路
针对上述问题，本专利技术提供了一种机器人运动姿态视觉估计方法。本专利技术的技术方案是：一种机器人运动姿态视觉估计方法，包括以下步骤：步骤(1.1)、采集动态环境中的连续视频图像，选取其中两张采集的图像，检测关键点，计算关键点特征值，检测并保存特征点位置；步骤(1.2)、对原始图像进行分割，获取并保存图像中动态物体所在像素区域的位置；步骤(1.3)、对比保存特征点信息的图像和保存分割结果的图像，剔除保存特征点信息的图像中分布在动态物体所在像素区域的位置的特征点；步骤(1.4)、使用剔除后剩余的特征点在相邻图像间进行特征匹配，计算在相邻图像间机器人的位姿运动，输出机器人运动位姿估计。进一步的，在步骤(1.1)中，所述采集动态环境中的连续视频图像的具体操作步骤包括：步骤(1.1.1)、在采集的图像中检测关键点，其具体的操作方法如下：在图像中选定任意一个像素点p，计算其像素值Bp：Bp＝0.30R+0.59G+0.11B式中，R、G和B分别表示像素点p在红色、绿色和蓝色三个颜色通道的值；设定阈值Tp：Tp＝Bp*30％以像素点p为中心选取半径为3的圆上16个像素点p；计算选取出的圆上的像素点p的亮度与像素点p的差值，圆上有连续9个像素点的亮度与像素点p的差值大于Tp，或圆上有连续9个像素点p的亮度与像素点p的差值小于Tp，则像素点p标记为关键点，保存像素点p的位置；步骤(1.1.2)、在检测出的关键点中，计算特征值；其具体的操作方法如下：选取其中两张采集的图像，在第一张图像中以挑选出的关键点为中心，取25×25的邻域窗口；设x1i和y1i为窗口内选取的一对像素点，其像素值分别为Bp(x1i)，Bp(y1i)；其中，x1i和y1i在窗口内都呈高斯0-1分布，准则采样服从各向同性的同一高斯分布；比较第一幅图像中像素点x1i和y1i的像素值Bp(x1i)和Bp(y1i)的大小，T1(i)为第i个关键点特征值；在Bp(x1i)大于Bp(y1i)时，T1(i)＝1；在Bp(x1i)小于Bp(y1i)时，T1(i)＝0；在第二张图像中以挑选出的关键点为中心，取25×25的邻域窗口；设x2i和y2i为窗口内选取的一对像素点，在窗口内都呈高斯0-1分布，准则采样服从各向同性的同一高斯分布；比较第二幅图像中像素点x2i和y2i的像素值Bp(x2i)和Bp(y2i)的大小，T2(i)为第i个关键点特征值；在Bp(x2i)大于Bp(y2i)时，T2(i)＝0；在Bp(x2i)小于Bp(y2i)时，T2(i)＝0；步骤(1.1.3)、在关键点中检测选取特征点，并保存特征点位置；基于步骤(1.1.2)中所述的关键点分别计算Harries响应值，选取前2000个响应值最大的关键点作为特征点。进一步的，在步骤(1.2)中，所述获取并保存图像中动态物体所在像素区域的位置具体包括：将图像作为输入，采用独热码编码方式将动态物体所在图像区域的像素值置1，其他区域置0，保存图像。进一步的，在步骤(1.3)中，所述对比保存特征点信息的图像和保存分割结果的图像具体包括：将提取了特征点的图像与独热码编码的图像的对应像素点进行对比；在特征点的图像中，所有与独热码编码图像值为1的像素点位置重合的特征点位置不再保存为特征点。进一步的，在步骤(1.4)中，所述使用剔除后剩余的特征点在相邻图像间进行特征匹配的具体操作步骤包括：步骤(1.4.1)、使用剔除动态区域内的特征点后剩余的特征点在相邻图像间进行特征匹配；其具体的操作方法如下：设p1m为第一幅图像中的第m个特征点，p1n为第二幅图像中的第n个特征点；计算特征点p1m与p2n之间特征距离，距离测量方法使用以下公式：式中，d(pm1,pn2)表示第一幅图像中第m个特征带点和第二幅图像中第n个特征点的距离，为对T1(m)和T2(n)作异或运算；选取d(pm1,pn2)值中最小值所对应的一组点作为匹配点；步骤(1.4.2)：计算出机器人的运动姿态信息，输出机器人运动位姿估计；其具体的操作方法如下：步骤(1.4.2.1)、计算位姿估计时的运动矩阵，运动矩阵由下述方程定义为x1Fx2＝0x1＝[u1,v1,1]Tx2＝[u2,v2,1]T式中，x1表示第一张图中的特征点对，x2表示第二张图中的特征点对，F表示运动矩阵，u1、u2和v1、v2分别表示第一张图像和第二张图像中对应的特征点；运动矩阵F的各元素由上述方程x1Fx2＝0解得；步骤(1.4.2.2)、在运动矩阵的基础上，计算出机器人的运动姿态信息；F的奇异值分解为：F＝UMVT式中，U、V表示正交阵，M表示奇异值矩阵；机器人的姿态变化R由以下公式求得：式中，表示沿Z轴旋转90°得到的旋转矩阵。本专利技术的有益效果是：本专利技术实施例提供一种机器人运动姿态视觉估计方法，包括：采集动态环境中的连续视频图像，选取其中两张采集的图像，检测关键点，计算关键点特征值，检测并保存特征点位置；对原始图像进行分割，获取并保存图像中动态物体所在像素区域的位置；对比保存特征点信息的图像和保存分割结果的图像，剔除保存特征点信息的图像中分布在动态物体所在像素区域的位置的特征点；使用剔除优化后剩余的特征点在相邻图像间进行特征匹配，计算在相邻图像间机器人的位姿运动，输出机器人运动位姿估计。本专利技术提供一种机器人运动姿态视觉估计方法，在机器人运动姿态视觉估计中，极大的降低了传感器硬件成本、消除累计误差具有实用价值及工程意义。附图说明图1是本专利技术的工作流程示意图；图2是本专利技术实施例提供的进行特征点提取的图像示意图；图3是本专利技术实施例提供的动态区域独热码编码的图像的彩色图像示意图；图4是本专利技术实施例提供的将图2进行动态区域分割的二值图像示意图；图5是本专利技术实施例提供的剔除图像中落在动态物体区域中的特征点的图像示意图；图6是本专利技术实施例提供的将两幅图像进行特征点匹配图像示意图；图7是本专利技术实施例提供的在公共数据集上将移动机器人运动姿态视觉估计与标准位姿本文档来自技高网...

【技术保护点】
1.一种机器人运动姿态视觉估计方法，其特征在于，包括以下步骤：/n步骤(1.1)、采集动态环境中的连续视频图像，选取其中两张采集的图像，检测关键点，计算关键点特征值，检测并保存特征点位置；/n步骤(1.2)、对原始图像进行分割，获取并保存图像中动态物体所在像素区域的位置；/n步骤(1.3)、对比保存特征点信息的图像和保存分割结果的图像，剔除保存特征点信息的图像中分布在动态物体所在像素区域的位置的特征点；/n步骤(1.4)、使用剔除后剩余的特征点在相邻图像间进行特征匹配，计算在相邻图像间机器人的位姿运动，输出机器人运动位姿估计。/n

【技术特征摘要】
1.一种机器人运动姿态视觉估计方法，其特征在于，包括以下步骤：
步骤(1.1)、采集动态环境中的连续视频图像，选取其中两张采集的图像，检测关键点，计算关键点特征值，检测并保存特征点位置；
步骤(1.2)、对原始图像进行分割，获取并保存图像中动态物体所在像素区域的位置；
步骤(1.3)、对比保存特征点信息的图像和保存分割结果的图像，剔除保存特征点信息的图像中分布在动态物体所在像素区域的位置的特征点；
步骤(1.4)、使用剔除后剩余的特征点在相邻图像间进行特征匹配，计算在相邻图像间机器人的位姿运动，输出机器人运动位姿估计。


2.根据权利要求1所述的一种机器人运动姿态视觉估计方法，其特征在于，在步骤(1.1)中，所述采集动态环境中的连续视频图像的具体操作步骤包括：
步骤(1.1.1)、在采集的图像中检测关键点，其具体的操作方法如下：在图像中选定任意一个像素点p，计算其像素值Bp：
Bp＝0.30R+0.59G+0.11B
式中，R、G和B分别表示像素点p在红色、绿色和蓝色三个颜色通道的值；设定阈值Tp：
Tp＝Bp*30％
以像素点p为中心选取半径为3的圆上16个像素点p；计算选取出的圆上的像素点p的亮度与像素点p的差值，圆上有连续9个像素点的亮度与像素点p的差值大于Tp，或圆上有连续9个像素点p的亮度与像素点p的差值小于Tp，则像素点p标记为关键点，保存像素点p的位置；
步骤(1.1.2)、在检测出的关键点中，计算特征值；其具体的操作方法如下：
选取其中两张采集的图像，在第一张图像中以挑选出的关键点为中心，取25×25的邻域窗口；设x1i和y1i为窗口内选取的一对像素点，其像素值分别为Bp(x1i)，Bp(y1i)；其中，x1i和y1i在窗口内都呈高斯0-1分布，准则采样服从各向同性的同一高斯分布；比较第一幅图像中像素点x1i和y1i的像素值Bp(x1i)和Bp(y1i)的大小，T1(i)为第i个关键点特征值；在Bp(x1i)大于Bp(y1i)时，T1(i)＝1；在Bp(x1i)小于Bp(y1i)时，T1(i)＝0；
在第二张图像中以挑选出的关键点为中心，取25×25的邻域窗口；设x2i和y2i为窗口内选取的一对像素点，在窗口内都呈高斯0-1分布，准则采样服从各向同性的同一高斯分布；比较第二幅图像中像素点x2i和y2i的像素值Bp(x2i)和Bp(y2i)的大小，T2(i)为第i个关键点特征值；在Bp(x2i)大于Bp(y2i)时，T2(i)＝0；在Bp(x2i)小于Bp(y2i)时，T2(i...

【专利技术属性】
技术研发人员：吴俊，谢非，吴奕之，梅一剑，吴启宇，卢毅，曹湘玉，何逸，周钟文，叶欣雨，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：江苏;32