一种三维空间中移动机器人定位系统及方法技术方案

本发明专利技术涉及一种三维空间中移动机器人定位系统及方法。其中，事件信息处理模块从事件相机读取事件流，并将事件流中的光照强度变化事件按照一定的时间窗组成事件图像帧；深度图像采集模块从深度相机中读取深度图像，并对其进行去噪等处理，从而生成深度图像帧；处理后的图像帧传输到信息融合模块，信息融合模块根据两个相机的内参以及它们之间的外参，计算出事件图像帧中每一个事件的深度信息，从而得到带深度的事件图像帧；VO模块利用带深度的事件图像帧实现三维空间中的定位。本发明专利技术利用事件相机的特性，可以适应黑暗环境、高动态范围环境等极端环境，并且该系统中传感器体积小、功耗低、易于安装等优点，适合搭载到移动机器人或自动驾驶系统上。

A positioning system and method of mobile robot in 3D space

【技术实现步骤摘要】
一种三维空间中移动机器人定位系统及方法
本专利技术涉及机器人
，更具体地，涉及一种三维空间中移动机器人定位系统及方法。
技术介绍
近年来，移动机器人领域得到了长足的发展，自动驾驶、自主导航、无人巡检、无人物流等应用纷纷出现。而这些应用的基础技术，便是移动机器人的定位技术。激光雷达的定位方案误差小，但设备成本高；GPS的定位方案成本较低，但在室内等卫星信号受遮挡的环境无法使用。视觉里程计具有成本低，易部署的优点，并且能适应室内外等多种环境。但受传统相机工作原理本身的限制，传统相机的动态范围较小，在高动态范围(亮暗比非常大)的环境下传统相机会丢失图像细节，导致视觉里程计算法失效；同时，由于相机需要曝光时间，传统相机通常存在高延迟、容易产生运动模糊的缺陷，也会影响视觉里程计算法的性能。
技术实现思路
本专利技术为克服上述现有技术中传统视觉里程计延迟高、无法应对高动态范围的环境、无法应对机器人快速运动的缺陷，提供一种三维空间中移动机器人定位系统及方法，基于事件相机和深度相机信息融合，组成简单高效的视觉里程计系统，使得视觉里程计能适应更多的极端环境。为解决上述技术问题，本专利技术采用的技术方案是：一种三维空间中移动机器人定位系统，包括：事件信息处理模块：按照滑动时间窗口的方法，累计一定时间间隔内每个像素位置发生事件的次数，形成初始事件图像帧；随后使用预先标定的事件相机内参对初始事件图像帧进行畸变矫正，矫正完成后使用高斯滤波对事件图像帧进行平滑处理，形成可用的事件图像帧，输出给信息融合模块；深度图像采集模块：用于实时从深度相机读取深度图，使用预先标定的深度相机内参进行畸变矫正，然后使用像素滤波的方法对深度图中的无效点进行深度恢复，处理完成后得到可用的深度图像帧，输出给信息融合模块；信息融合模块：用于从事件信息处理模块和深度图像处理模块获取可用的事件图像帧和深度图像帧，按照时间戳进行匹配，随后利用预先标定好的两个相机之间的外参，将深度图像帧中的像素投影到事件相机的像素坐标系，形成深度映射；根据生成的深度映射，事件图像帧中的事件结合深度信息生成带深度的事件图像帧，输出给VO模块；VO模块：用于在获取带深度的事件图像帧后，使用FAST特征点算法提取图像中的特征点，并利用LK光流法计算出上一个事件图像帧与当前事件图像帧中的特征点的对应关系；利用事件图像帧中的深度信息，计算出特征点在相机坐标系下的三维坐标，进而使用PnP算法求解出当前事件图像帧相对于上一个事件图像帧的相机相对位姿。进一步的，在系统中分别采用事件相机传感器和深度相机传感器。在奔赴马中使用的事件相机为CelePixel公司生产的，型号为CeleX-IV的DVS事件相机；使用的深度相机为Kinectv1。进一步的，所述的事件信息处理模块中，事件相机输出的是事件流，事件流由多个异步的光照变化事件组成；每个事件的信息包括该事件发生的像素地址、时间以及极性。进一步的，事件相机的内参使用LED显示器显示闪烁的棋盘板进行标定；深度相机的内参使用普通棋盘板进行标定；将两个相机固定后，两个相机的外参使用立体视觉的原理，用闪烁的棋盘板进行标定。本专利技术还提供一种三维空间中移动机器人定位方法，包括以下步骤：S1.对所述事件相机以及深度相机进行内外参标定；事件相机的内参使用LED显示器显示闪烁的棋盘板进行标定；深度相机的内参使用普通棋盘板进行标定；将两个相机固定后，两个相机的外参使用立体视觉的原理，用闪烁的棋盘板进行标定；S2.事件信息处理模块从事件相机中读取事件流，按照滑动时间窗口的方法，累计一定时间间隔内每个像素位置发生事件的次数，形成初始事件图像帧；随后使用预先标定的事件相机内参对初始事件图像帧进行畸变矫正，矫正完成后使用高斯滤波对事件图像帧进行平滑处理，形成可用的事件图像帧；S3.深度图像采集模块实时从深度相机读取深度图，使用预先标定的深度相机内参进行畸变矫正，然后使用像素滤波的方法对深度图中的无效点进行深度恢复，处理完成后得到可用的深度图像帧，输出给信息融合模块；S4.信息融合模块获取可用的事件图像帧和可用的深度图像帧，按照时间戳进行匹配，随后利用预先标定好的两个相机之间的外参，将深度图像帧中的像素投影到事件相机的像素坐标系，形成深度映射；根据生成的深度映射，事件图像帧中的事件结合深度信息生成带深度的事件图像帧；S5.VO模块获取去带深度的事件图像帧，用FAST特征算法提取图像中的特征点；S6.VO模块使用LK光流法计算上一事件图像帧和当前事件图像帧中特征点的匹配关系；S7.VO模块根据上一事件图像帧和当前事件图像帧中特征点的匹配关系，使用PnP算法求解当前帧相对于上一帧的相机相对位姿；S8.重复步骤S2至步骤S7，将每次计算出的相对位姿累乘获得相机的绝对位姿。进一步的，为了保证标定出来的事件相机与深度相机之间的外参误差较小，同时保证两个相机的视野范围相近，两个相机应靠近摆放并固定；事件相机和深度相机须使用同样或相近焦距的镜头，镜头保持平行并朝同一方向。进一步的，所述事件信息处理模块中所采用的滑动时间窗口算法，时间窗口的长度可根据具体的应用需求进行调整，并且时间窗口之间可以有交叠。进一步的，所述的事件信息处理模块和深度图像采集模块输出图像帧的频率是可调的，两者输出图像帧的频率保持一致。与现有技术相比，有益效果是：1.本专利技术利用事件相机的特性，可以应对高动态范围的环境，而基于传统相机的视觉定位系统无法做到这一点；2.本专利技术的视觉定位系统可以承受机器人自身的快速运动，而基于传统相机的视觉定位系统在快速运动的情况下会严重受到运动模糊的影响；3.本专利技术利用事件相机的特性，可以适应黑暗环境、高动态范围环境、光照变化环境等极端环境，并且该系统中传感器体积小、功耗低、易于安装等优点，适合搭载到移动机器人或自动驾驶系统上；4.本专利技术成本低、功耗低、稳定性高、适用范围广，在多种需要视觉定位系统的应用中，如自动驾驶、飞行器自主导航、巡检机器人等，都可以应用。附图说明图1是本专利技术系统的结构关系示意图。图2是本专利技术方法流程图。具体实施方式附图仅用于示例性说明，不能理解为对本专利技术的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利技术的限制。实施例1：如图1所示，一种三维空间中移动机器人定位系统，包括：事件信息处理模块：按照滑动时间窗口的方法，累计一定时间间隔内每个像素位置发生事件的次数，形成初始事件图像帧；随后使用预先标定的事件相机内参对初始事件图像帧进行畸变矫正，矫正完成后使用高斯滤波对事件图像帧进行平滑处理，形成可用的事件图像帧，输出给信息融合模块；深度图像采集模块：用于实时从深度本文档来自技高网...

【技术保护点】
1.一种三维空间中移动机器人定位系统，其特征在于，包括：/n事件信息处理模块：按照滑动时间窗口的方法，累计一定时间间隔内每个像素位置发生事件的次数，形成初始事件图像帧；随后使用预先标定的事件相机内参对初始事件图像帧进行畸变矫正，矫正完成后使用高斯滤波对事件图像帧进行平滑处理，形成可用的事件图像帧，输出给信息融合模块；/n深度图像采集模块：用于实时从深度相机读取深度图，使用预先标定的深度相机内参进行畸变矫正，然后使用像素滤波的方法对深度图中的无效点进行深度恢复，处理完成后得到可用的深度图像帧，输出给信息融合模块；/n信息融合模块：用于从事件信息处理模块和深度图像处理模块获取可用的事件图像帧和深度图像帧，按照时间戳进行匹配，随后利用预先标定好的两个相机之间的外参，将深度图像帧中的像素投影到事件相机的像素坐标系，形成深度映射；根据生成的深度映射，事件图像帧中的事件结合深度信息生成带深度的事件图像帧，输出给VO模块；/nVO模块：用于在获取带深度的事件图像帧后，使用FAST特征点算法提取图像中的特征点，并利用LK光流法计算出上一个事件图像帧与当前事件图像帧中的特征点的对应关系；利用事件图像帧中的深度信息，计算出特征点在相机坐标系下的三维坐标，进而使用PnP算法求解出当前事件图像帧相对于上一个事件图像帧的相机相对位姿。/n...

【技术特征摘要】
1.一种三维空间中移动机器人定位系统，其特征在于，包括：
事件信息处理模块：按照滑动时间窗口的方法，累计一定时间间隔内每个像素位置发生事件的次数，形成初始事件图像帧；随后使用预先标定的事件相机内参对初始事件图像帧进行畸变矫正，矫正完成后使用高斯滤波对事件图像帧进行平滑处理，形成可用的事件图像帧，输出给信息融合模块；
深度图像采集模块：用于实时从深度相机读取深度图，使用预先标定的深度相机内参进行畸变矫正，然后使用像素滤波的方法对深度图中的无效点进行深度恢复，处理完成后得到可用的深度图像帧，输出给信息融合模块；
信息融合模块：用于从事件信息处理模块和深度图像处理模块获取可用的事件图像帧和深度图像帧，按照时间戳进行匹配，随后利用预先标定好的两个相机之间的外参，将深度图像帧中的像素投影到事件相机的像素坐标系，形成深度映射；根据生成的深度映射，事件图像帧中的事件结合深度信息生成带深度的事件图像帧，输出给VO模块；
VO模块：用于在获取带深度的事件图像帧后，使用FAST特征点算法提取图像中的特征点，并利用LK光流法计算出上一个事件图像帧与当前事件图像帧中的特征点的对应关系；利用事件图像帧中的深度信息，计算出特征点在相机坐标系下的三维坐标，进而使用PnP算法求解出当前事件图像帧相对于上一个事件图像帧的相机相对位姿。


2.根据权利要求1所述的三维空间中移动机器人定位系统，其特征在于，在系统中分别采用事件相机传感器和深度相机传感器。


3.根据权利要求2所述的三维空间中移动机器人定位系统，其特征在于，所述的事件信息处理模块中，事件相机输出的是事件流，事件流由多个异步的光照变化事件组成；每个事件的信息包括该事件发生的像素地址、时间以及极性。


4.根据权利要求3所述的三维空间中移动机器人定位系统，其特征在于，事件相机的内参使用LED显示器显示闪烁的棋盘板进行标定；深度相机的内参使用普通棋盘板进行标定；将两个相机固定后，两个相机的外参使用立体视觉的原理，用闪烁的棋盘板进行标定。


5.一种三维空间中移动机器人定位方法，其特征在于，包括以下步骤：
S1.对所述事件相机以及深度相机进行内外参标定；事件相机的内参使用LED显...

【专利技术属性】
技术研发人员：马艳阳，单云霄，陈龙，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44