一种基于目标检测的机器人视觉定位模块及方法技术

本发明专利技术公开了一种基于目标检测的机器人视觉定位模块及方法，属于机器人领域，所述的机器人视觉定位方法包括步骤1、利用视觉与IMU松耦合检测出两个连续立体帧中包含的动态特征点，并计算IMU在两帧之间的预积分；步骤2、对IMU与视觉信息紧耦合；步骤3、进行滑动窗口优化与边缘化。本发明专利技术减少优化计算量，采用滑动窗口和边缘化方法对机器人位姿、速度等状态量进行优化更新，从而得到估计的机器人定位信息。算法相比于纯视觉算法对移动机器人的定位估计误差有一定的降低，可满足机器人的定位精度需求。度需求。度需求。

【技术实现步骤摘要】
一种基于目标检测的机器人视觉定位模块及方法


[0001]本专利技术属于机器人领域，更具体的说涉及一种基于目标检测的机器人视觉定位模块及方法。

技术介绍

[0002]机器人是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类工作的工作，例如生产业、建筑业，或是危险的工作。现有的室内定位方法装置大多过于复杂，机器人搭载起来过于笨重而庞大，成本和造价也颇高，机器人移动主要是通过一些定位元件辅助才能进行移动，同时还有设置在机器人上的多个感应探头以及避障器件配合进行移动，然而随着科技的发展普通的定位元件难以满足机器人的高精度移动。
[0003]然而，现有的基于目标检测的机器人视觉定位方法，均是采用单一的视觉定位，在单一的视觉定位过程中，由于机器人在移动过程中会一直存在误差，导致机器人摄像头在对目标进行视觉检测时，会由于机器人移动造成的累计误差，从而对会对机器人的视觉定位参数误差。机器人自身的当前位置判断主要是基于自身的IMU惯性导航单元测量的数据进行判断。如果能将惯性导航单元内的测量数据与视觉定位的数据结合起来，进行机器人的定位。将可以消除机器人移动过程中产生的误差。

技术实现思路

[0004]本专利技术减少优化计算量，采用滑动窗口和边缘化方法对机器人位姿、速度等状态量进行优化更新，从而得到估计的机器人定位信息。算法相比于纯视觉算法对移动机器人的定位估计误差有一定的下降，可满足机器人的定位精度需求。
[0005]为了实现上述目的，本专利技术是采用以下技术方案实现的：所述的机器人视觉定位方法包括步骤1、利用视觉与IMU松耦合检测出两个连续立体帧中包含的动态特征点，并计算IMU在两帧之间的预积分；步骤2、动态点筛选步骤3、对IMU与视觉信息紧耦合；步骤4、对步骤2采用滑动窗口法进行优化和边缘化。
[0006]进一步地，所述的步骤1包括以下步骤：S101、对图像的特征点进行提取与跟踪；S102、对IMU进行预积分；S103、根据上述计算得到的数据对重力方向、陀螺仪的角速度偏置、时间同步误差等进行初始化。
[0007]进一步地，所述的S101采用Shi
‑
Tomas角点进行图像特征信息的提取，并使用LK光流法来追踪左右目图像帧以及前后两图像帧提取出的特征点，实现图像在时间和空间上的
特征匹配。
[0008]进一步地，所述的S102，为了得到两帧图像之间的位姿，减少后端的计算量，IMU需要先进行预积分处理，得到相邻IMU数据之间的位姿，IMU预积分更新公式为：要先进行预积分处理，得到相邻IMU数据之间的位姿，IMU预积分更新公式为：为t时刻的加速度；为i时刻到j时刻的平均角速度；为时刻到时刻的时间间隔；为重力加速度；为时刻到时刻IMU的旋转四元数；为时刻到时刻的IMU角度预积分；为时刻到时刻的IMU速度预积分；为时刻到时刻的IMU位移预积分。
[0009]进一步地，所述的S103初始化采用IMU和视觉的松耦合方法，其中视觉利用特征点匹配与PnP算法求解滑动窗口内所有图像帧的位姿以及对应的所有3D路标点，然后与IMU预积分得到的值进行对齐，求解出陀螺仪偏置、重力方向以及每一帧所对应的速度。
[0010]进一步地，所述的步骤2动态点筛选，连续三帧该点均被判定为动态，且该点的世界坐标系的运动速度未产生较大改变，再将其打上动态特征点标签，直到后面某连续两帧图像判定其为静态，再将其标签改为静态特征点。
[0011]进一步地，所述的步骤3、对IMU与视觉信息紧耦合；步骤如下：S301、定义机器人定位求解中的需要优化变量；S302、构建优化残差方程。
[0012]进一步地，步骤4采用滑动窗口的方法对计算进行简化，通过对以前的数据进行边缘化将信息保存成先验信息，其滑动窗口的删除对象分为对当前帧图像信息和滑动窗口最老一帧图像信息；
当视觉信息积累数量超过滑动窗口的窗口数时，会调用边缘化过程，将拍摄时间最老的图像帧上的特征点与对应的相机位姿删除，并将这些信息转换为先验约束，以继续参加状态量的优化。
[0013]再一方面，一种基于目标检测的机器人视觉定位模块，所述的模块包括RGB
‑
D摄像模块、IMU惯性测量单元、图像识别及主控模块；所述的RGB
‑
D摄像模块与IMU惯性测量单元与图像识别及主控模块连接。
[0014]本专利技术有益效果：本专利技术将机器人视觉定位与机器人自身所携带的惯性导航单元检测到的惯性导航数据进行结合定位。通过紧耦合的方法，减少优化计算量，并且采用滑动窗口和边缘化方法对机器人位姿、速度等状态量进行优化更新，从而得到估计的机器人定位信息。算法相比于纯视觉算法对移动机器人的定位估计误差有一定的下降，可满足机器人的定位精度需求，提高了机器人的目标视觉定位能力。
附图说明
[0015]图1为本专利技术流程图；图2为本专利技术紧耦合算法框架图；图3为滑动窗口法的残差约束因子图；图4为IMU和视觉测量协方差对系统的选择影响。
具体实施方式
[0016]为了便于理解本专利技术，下面将参照相关附图对本专利技术进行更全面的描述。附图中给出了本专利技术的典型实施例。但是，本专利技术可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本专利技术的公开内容更加透彻全面。
[0017]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。
[0018]所述的机器人视觉定位方法包括步骤1、利用视觉与IMU松耦合检测出两个连续立体帧中包含的动态特征点，并计算IMU在两帧之间的预积分；所述的步骤1包括以下步骤：S101、对图像的特征点进行提取与跟踪；使用双目相机作为视觉传感器，其相比于单目相机优势在于可以计算得到尺度信息，图像上任一点深度信息也可以通过左右目同一时刻拍摄的两幅图像得到的视差直接获得，并且双目得到的视觉约束更多，尤其是在动态对象较多导致特征不足的场景中。
[0019]所述的S101采用Shi
‑
Tomas角点进行图像特征信息的提取，并使用LK光流法来追踪左右目图像帧以及前后两图像帧提取出的特征点，实现图像在时间和空间上的特征匹配。为了尽可能排除特征点错误跟踪点过多的问题，算法采用了反向光流进行外点滤除，右目光流跟踪失败的左目特征点会被删除。这样可保证每个被提取出的特征点都可根据双目基线进行深度恢复。
[0020]S102、对IMU进行预积分；所述的S102，为了得到两帧图像之间的位姿，减少后端的计算量，IMU需要先进行预积分处理，得到相邻IMU数据之间的位姿，IMU预积分更新公式为：预积分处理，得到相邻IMU数据之间的位姿，IMU预积分更新公式为：为t时刻的加速度；为i时刻到j时刻的平均角速度；为时刻到时刻的时间间隔；为重力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的机器人视觉定位方法，其特征在于：所述的基于目标检测的机器人视觉定位方法包括以下步骤：步骤1、利用视觉与IMU松耦合检测出两个连续立体帧中包含的动态特征点，并计算IMU在两帧之间的预积分；步骤2、动态点筛选；步骤3、对IMU与视觉信息紧耦合；步骤4、对步骤2采用滑动窗口法进行优化和边缘化。2.根据权利要求1所述的一种基于目标检测的机器人视觉定位方法，其特征在于：所述的步骤1包括以下步骤：S101、对图像的特征点进行提取与跟踪；S102、对IMU进行预积分；S103、根据上述计算得到的数据对重力方向、陀螺仪的角速度偏置、时间同步误差等进行初始化。3.根据权利要求2所述的一种基于目标检测的机器人视觉定位方法，其特征在于：所述的S101采用Shi
‑
Tomas角点进行图像特征信息的提取，并使用LK光流法来追踪左右目图像帧以及前后两图像帧提取出的特征点，实现图像在时间和空间上的特征匹配。4.根据权利要求2所述的一种基于目标检测的机器人视觉定位方法，其特征在于：所述的S102，为了得到两帧图像之间的位姿，减少后端的计算量，IMU需要先进行预积分处理，得到相邻IMU数据之间的位姿，IMU预积分更新公式为：到相邻IMU数据之间的位姿，IMU预积分更新公式为：为t时刻的加速度；为i时刻到j时刻的平均角速度；为时刻到时刻的时间间隔；为重力加速度；为时刻到时刻IMU的旋转四元数；为时刻到时刻的IMU角度预积分；
为时刻到时刻的IMU速度预积分；为时刻到时刻的IMU位移预积分。5.根据权利要求2所述的一种基于目标检测的机器人视觉定位方法，其特征在于：所述的S...

【专利技术属性】
技术研发人员：栾东丽，赵之喜，
申请(专利权)人：济宁市技师学院，
类型：发明
国别省市：