【技术实现步骤摘要】
本专利技术属于视觉惯性里程计系统(vio)，具体涉及一种高频率的视觉惯性里程计方法。
技术介绍
1、近年来，随着自动驾驶技术、自主控制机器人和无人穿越机等技术的快速发展，在汽车面对进出隧道时，穿越机在各种复杂环境中快速避障等场景中，涉及到光照条件的剧烈变化、设备的快速运动和位姿信息的快速变化，使得传统相机面对这类场景时出现运动模糊，过曝、欠曝等问题，导致视觉里程计系统难以精准估计位姿信息。
2、事件相机的高动态范围、高时间分辨率、异步性等优势，可以很好的替代传统相机在极端场景下难以完成数据输入的任务。与传统相机相比，事件相机的每个像素能够独立输出感受到的光照强度变化，同时它能以微秒级的延迟输出每个像素上的事件，使得事件相机拥有异步性和高时间分辨率的特性，此外它的动态范围能够达到传统相机的2-3倍(140db)。这些特性保证了事件相机在面对高动态范围、高速运动的场景时，依然不会产生运动模糊和过曝、欠曝的问题，能给视觉里程计系统提供良好的输入数据。
3、现有的基于事件相机的视觉里程计算法中，虽然能够工作在绝大部分极端场景下，但系统的输出频率还比较低，在面对穿越机这类高速飞行且频繁变换位姿的对象来说，较低频率的位姿信息估计难以精准反映穿越机在高速飞行时的全局轨迹信息，同时单目视觉里程计无法获得真实尺度信息，不能准确刻画系统在现实中的位置信息；为克服上述缺点，所述方法在事件相机基础上引入imu传感器(惯性测量仪)，imu为系统提供真实的尺度信息和高频率的角速度和加速度数据。另外现有事件相机的方法中大都对事件流数据
技术实现思路
1、为了克服上述问题，补充现有方法的不足，本专利技术提供一种基于事件相机的高频率的视觉惯性里程计方法。
2、本专利技术提供的基于事件相机的高频率的视觉惯性里程计方法，通过对事件数据和imu数据的处理，设计出能够适应高动态范围、高速运动场景下输出高频率位姿信息的视觉惯性里程计系统，用于获取系统自身高频率的位姿信息，具体步骤为：
3、步骤s1，将事件相机输出的异步事件流进行事件角点特征检测，并创建事件块，同时使用事件时间表面(time surface)的计算方式以固定事件数量创建事件图像；
4、步骤s2，通过当前事件帧事件图像观测到的事件块中心坐标，利用imu预积分数据预测下一帧事件图像中相同事件块的中心坐标，并对事件块中心坐标参数化，进行坐标3维到2维的降维操作；
5、步骤s3，对两帧或多帧间的事件图像中的部分已提取事件块利用灰度值之差构建优化函数，同时当下一帧事件图像到达时更新事件块坐标，使事件块在不同帧间完成对齐；
6、步骤s4，在后端优化中，利用滑动窗口法维持多帧事件图像和对应的imu预积分数据，利用已对齐事件块构建事件块的灰度误差函数；将imu预积分数据与每帧事件图像在频率上对齐，构造imu惯性误差函数；最后为提升优化结果精度，进行固定多帧事件图像的迭代优化，构造边缘化误差函数；将三类误差函数在多帧事件图像上进行联合优化，输出惯性里程计系统的位姿信息。
7、进一步地：
8、步骤s1中，所述异步角点特征检测，采用时间激活表面来处理每个到达的事件，记录每个像素上的最新触发事件的时间戳，依据时间戳，采用类似于fast的角点特征检测算法，以待判定事件为中心，半径为4提取圆上16个事件，并以对应时间戳的先后进行排序，来代替fast算法中的灰度值比较过程；并且以被判定为角点特征的事件坐标为中心，创建9×9的事件块，再次利用时间激活表面，以固定事件数量创建每帧事件图像，其灰度值由每个像素块上记录的最新触发事件时间戳和当前时间通过公式(1)来获取每个像素的灰度值：
9、
10、式中，xi表示待计算的事件像素坐标，t表示当前时间，tlast(xi)表示该像素坐标上最新触发的事件的时间戳，η表示衰减参数。使用事件块代替角点特征，可以增加单个特征的有效信息，进而在优化阶段使用更少的事件块进行运算，降低了计算量。
11、步骤s2中，对事件块中心坐标进行参数化完成降维操作，将参数化后的事件块坐标通过当前帧到下一帧的imu预积分数据预测事件块中心在下一帧中的坐标，并通过映射矩阵将当前帧事件块其余坐标都映射至下一帧事件图像中，具体包括以下子步骤：
12、步骤s2-1，对s1中提取的特征点，将其在相机坐标系下的3维坐标，转为成2维方向向量表示，降低事件块中心坐标的计算维度；
13、步骤s2-2，在当前帧使用imu预积分的值，预测当前帧事件图像所创建的事件块中心坐标在下一帧事件图像中的位置，事件块中心坐标使用方向向量表示；
14、步骤s2-3，利用s2-2中imu预积分数据预测的事件块坐标，建立起当前帧事件图像上的事件块中心坐标映射至下一帧事件图像上的相同事件块中心坐标的映射矩阵。
15、步骤s3中，在当前帧事件图像观测到的事件块坐标，当下一帧事件图像到来时，利用事件块局部灰度值一致性假设，构造当前帧事件块和下一帧事件块的对应灰度差之和，将预测的事件块坐标利用灰度值更新事件块的坐标，同时构造事件块在前后两帧事件图像中的对应坐标灰度值误差之和的优化函数，使灰度值误差之和最小化的同时优化事件块的方向向量和映射矩阵，以获取更加精准的结果。
16、步骤s4中，将步骤s3中构建的事件块灰度误差函数与imu惯性误差函数和滑动窗口内的边缘化误差函数构建成联合优化函数，在滑动窗口中维持5帧事件图像和对应的imu数据进行迭代求解，完成系统位姿信息估计，进行位姿信息输出。
17、在构建联合优化函数时，imu预积分数据与每帧事件图像数据是频率对齐的，构建的事件块灰度误差函数是滑动窗口中每帧已对齐的所有事件块灰度值误差之和。
18、本专利技术中由于采用了异步方式处理事件流数据，并且使用事件块替代事件角点特征构造视觉误差函数，使得vio系统的计算量有所降低，并提升系统输出位姿信息的频率。此外，本专利技术还使用事件块中心坐标参数化的方法和构造映射矩阵替代事件块坐标的前后帧投影过程，这也降低系统的计算量，同时保持较高的位姿精度。在优化阶段，为了保持vio系统的高精度和真实尺度信息，vio系统再次利用imu预积分数据，将高频的imu预积分数据和高频的包含事件块的事件图像进行本文档来自技高网...
【技术保护点】
1.一种基于事件相机的高频率的视觉惯性里程计方法，其特征在于，通过对事件数据和IMU数据的处理，设计出能够适应高动态范围、高速运动场景下输出高频率位姿信息的视觉惯性里程计系统，用于获取系统自身高频率的位姿信息，具体步骤为：
2.根据权利要求1所述的方法，其特征在于，步骤S1中所述异步角点特征检测，采用时间激活表面来处理每个到达的事件，记录每个像素上的最新触发事件的时间戳，依据时间戳，采用类似于FAST的角点特征检测算法，以待判定事件为中心，半径为4提取圆上16个事件，并以对应时间戳的先后进行排序；并且以被判定为角点特征的事件坐标为中心，创建9×9的事件块，再次利用时间激活表面，以固定事件数量创建每帧事件图像，其灰度值由每个像素块上记录的最新触发事件时间戳和当前时间通过公式(1)来获取每个像素的灰度值：
3.根据权利要求2所述的方法，其特征在于，步骤S2具体包括以下子步骤：
4.根据权利要求3所述的方法，其特征在于，步骤S3中，在当前帧事件图像观测到的事件块坐标，当下一帧事件图像到来时，利用事件块局部灰度值一致性假设，构造当前帧事件块和下一帧事件
5.根据权利要求4所述的方法，其特征在于，步骤S4中，将步骤S3中构建的事件块灰度误差函数与IMU惯性误差函数和滑动窗口内的边缘化误差函数构建成联合优化函数，在滑动窗口中维持5帧事件图像和对应的IMU数据进行迭代求解，完成系统位姿信息估计，进行位姿信息输出。
6.根据权利要求5所述的方法，其特征在于，在构建联合优化函数时，IMU预积分数据与每帧事件图像数据是频率对齐的，构建的事件块灰度误差函数是滑动窗口中每帧已对齐的所有事件块灰度值误差之和。
...【技术特征摘要】
1.一种基于事件相机的高频率的视觉惯性里程计方法，其特征在于，通过对事件数据和imu数据的处理，设计出能够适应高动态范围、高速运动场景下输出高频率位姿信息的视觉惯性里程计系统，用于获取系统自身高频率的位姿信息，具体步骤为：
2.根据权利要求1所述的方法，其特征在于，步骤s1中所述异步角点特征检测，采用时间激活表面来处理每个到达的事件，记录每个像素上的最新触发事件的时间戳，依据时间戳，采用类似于fast的角点特征检测算法，以待判定事件为中心，半径为4提取圆上16个事件，并以对应时间戳的先后进行排序；并且以被判定为角点特征的事件坐标为中心，创建9×9的事件块，再次利用时间激活表面，以固定事件数量创建每帧事件图像，其灰度值由每个像素块上记录的最新触发事件时间戳和当前时间通过公式(1)来获取每个像素的灰度值：
3.根据权利要求2所述的方法，其特征在于，步骤s2具体包括以下子步骤：
4.根据权利要求3所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。