一种适应于多变光照环境的自适应视觉SLAM方法技术

本发明专利技术为了解决视觉同步定位与地图构建技术系统在弱光照或偏黑暗等复杂条件下定位失败和跟踪丢失的问题，提出了一种适应于弱光环境的视觉SLAM方法。在ORB

【技术实现步骤摘要】
一种适应于多变光照环境的自适应视觉SLAM方法


[0001]本专利技术属于视觉SLAM（同步定位与地图构建）和图像处理
，具体是涉及一种适应于多变光照环境的自适应视觉SLAM方法。

技术介绍

[0002]机器人想要实现真正意义上的自主运动，需要具备一定的环境感知与理解能力。同步定位与地图构建技术（SLAM）通过机器人自身搭载的各种传感器获取周边环境的信息，自主完成对周围环境的构建，同时在已建环境地图中获取相对位置。经过近 20 年的发展，视觉 SLAM 的整体框架已趋近成熟，不管是基于滤波的后端优化还是基于图优化的方法以及基于特征点或基于光度不变假设的直接法。目前学者们更多的是专注于提升 SLAM系统的鲁棒性和可靠性，以应对更接近真实生活的复杂环境。现有的大部分视觉SLAM方法是在光照良好的条件下进行的，然而现实生活中的真实环境经常会不满足这种假设，不可避免地会遇到光照弱、甚至黑暗、或者光照太强的环境，因此在复杂多变光照环境下如何提升视觉SLAM系统的鲁棒性和可靠性尤其值得研究。
[0003]目前性能最好且完整的视觉SLAM系统ORB
‑
SLAM2，在良好的光照环境下表现出优异。然而，受到特征点法匹配的限制，它无法保证在不同光照条件下进行准确定位的。
[0004]Kim等人通过使用提前构建的具有照明条件的地图，为国际空间站机器人设计了能够应对光照变化的SLAM系统，但此系统需要提前对地图进行构建，并不适合在随机区域使用。
[0005]HAO等人采用对比度受限的自适应直方图均衡化与自适应伽马校正相结合的图像增强方法对图像进行预处理，同时还构建了一个紧耦合非线性优化模型以获取更精确的姿态估计，但此方法对于黑暗的环境所展现出的效果却并不很好。
[0006]HUAN等人提出一种在前端增加图像预处理步骤，并使用多特征提取算法同时提取两类图像特征的方案来解决复杂多变光照带来的影响，在公开数据集上进行评估，结果表明在不影响实时性的情况下，改进措施能提高算法在弱光照下的稳定性。 然而，目前的视觉SLAM方法仅能在光照在一定照度范围内的环境下正常工作，仍然无法避免光照对图像特征提取的影响， 当面对复杂多变的实际光照环境时，这将降低建图与定位的准确性。
[0007]因此，针对复杂多变光照环境设计一种具有强鲁棒性的视觉SLAM方法是SLAM系统拓展实际应用场景的必由之路，这在目前仍是一个挑战。

技术实现思路

[0008]本专利技术目的在于提高SLAM系统在复杂多变光照环境下的鲁棒性，避免周边光照对建图和定位的影响，提供一种适应于多变光照环境的自适应视觉SLAM方法，保持SLAM系统在常规情况下的优秀建图能力和回环检测能力的同时，提高SLAM系统对环境光照的鲁棒性。
[0009]为了实现上述目的，本专利技术是通过以下技术方案实现的：
一种适应于多变光照环境的自适应视觉SLAM方法，其特征在于包括三大线程：跟踪线程、局部建图线程、回环检测线程，具体如下：A.跟踪线程：SLAM系统接收到来自相机中的图像，首先自适应图像亮度预处理算法进行图像增强预处理，自适应地校正图像亮度，从校正后的图像中提取ORB特征，输出每帧图像对应的相机位姿信息用以定位，进行局部地图跟踪，同时挑选关键帧，并传输给局部建图线程；B.局部建图线程：接收跟踪线程输出的关键帧，完成关键帧的插入，生成新的地图点；然后用局部光束平差法（BA）进行调整，最后对插入的关键帧进行筛选，剔除多余的关键帧；C.回环检测线程：主要包括两个过程，分别是回环检测和回环校正，回环检测首先利用词袋进行回环关键帧的检测，然后通过sim3算法进行相似变换，回环校正则是进行回环融合与并优化本征图像。
[0010]如上所述适应于多变光照环境的自适应视觉SLAM方法，其特征在于：为了提高视觉SLAM系统在复杂多变光照环境下的适应能力，保障特征点的提取数量和质量，提高系统的鲁棒性，还在SLAM系统前端增加了校正图像亮度的图像预处理算法，包含以下步骤：第一步：将视觉系统获取的原始图像从RGB空间转换到HSV空间，并分离图像的色调分量，饱和度分量和亮度分量，为像素点在图像上的坐标值。
[0011]第二步：为了兼顾照度分量的全局特性和局部特性，采用多尺度高斯函数的方法，对提取出的环境照度分量进行加权处理；利用式，提取环境照度分量，为原始图像，*表示卷积运算；为高斯模糊滤波器，须满足归一化条件，即；高斯模糊滤波器采用高斯滤波对整幅图像进行加权平均，每一个像素点的灰度值，都由其本身和邻域内的其他像素点的灰度值经过加权平均后得到；具体操作是：用一个模板扫描图像中的每一个像素点，模板确定的邻域内像素点灰度值的加权平均值代替模板中心像素点的灰度值。
[0012]因为每个点都要取周边像素点的平均值，那么就涉及到了权重分配的问题；图像是连续的，越靠近的点关系越密切，越远离的点关系越疏远，因此采用加权平均比直接求平均值更合理，距离越近的点权重越大，距离越远的点权重越小；高斯模糊采用正态分布来分配中心像素点周围像素的权重，，其中为模板内像素点在以中心像素点为原点构建的坐标系下的坐标，服从正态分布，记为：,、分别为x、y的数学期望，、分别为x、y的标准方差，像素点的协方差，为的期望值，相关系数，因为是独立的二维随机变量，，且在横纵两个方向上所服从的正态分布应相同，，令其为，中心点像素在原点位置，，由此，二维图像中像素点权重的
正态分布函数简化为式，对饱和度分量与色调分量不做处理，保持不变；这样既减少了计算量，又充分保留了图像的细节信息。
[0013]为第i个尺度高斯函数照度分量的加权系数，一般取1/N，N为使用到的尺度数目。
[0014]第三步：根据从图像中提取的照度分量，确定自适应γ校正因子，，其中为自然底数，，为所提取照度分量的平均值；第四步：得到自适应校正因子γ后，通过式对亮度分量进行校正；第五步：采用CLAHE算法对亮度分量优化处理，得到优化后的亮度分量，进一步提升图像对比度，使得图像结构和纹理更清晰；第六步：将优化后的亮度分量，与未处理的、分量进行融合，并将图像从HSV空间转换回RGB颜色空间，由此得到原始图像的增强图像；增强后的图像作为特征提取的源图像，将大大提升特征点的数量和质量，从而提高ORB
‑
SLAM2算法在复杂多变光照环境，特别是弱光甚至黑暗的环境下的适应能力。
[0015]与现有技术相比，本专利技术有如下优点：本专利技术适应于多变光照环境的自适应视觉SLAM方法在SLAM系统前端增加了一种校正图像亮度的图像预处理算法，利用多尺度高斯函数提取出环境的照度分量，所设计的校正因子γ可根据照度分量动态调整，用以自适应地调整图像亮度，由此避免复杂多变的光照环境对视觉SLAM方法中特征提取的影响，提高了视觉SLAM在多变光照环境下的建图和定位精度，从而有效提升视觉SLAM系统的鲁棒性。
附图说明
[0016]图1是本专利技术适应于多变光照环境的自适应视觉SLAM算法框图。
[0017]图2是本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适应于多变光照环境的自适应视觉SLAM方法，其特征在于包括三大线程：跟踪线程、局部建图线程、回环检测线程，具体如下：A.跟踪线程：SLAM系统接收到来自相机中的图像，采用自适应图像亮度预处理算法进行图像增强预处理，自适应地校正图像亮度，从校正后的图像中提取ORB特征，输出每帧图像对应的相机位姿信息用以定位，进行局部地图跟踪，同时挑选关键帧，并传输给局部建图线程；B.局部建图线程：接收跟踪线程输出的关键帧，完成关键帧的插入，生成新的地图点；然后用局部光束平差法进行调整，最后对插入的关键帧进行筛选，剔除多余的关键帧；C.回环检测线程：主要包括两个过程，分别是回环检测和回环校正，回环检测首先利用词袋进行回环关键帧的检测，然后通过sim3算法进行相似变换；回环校正则是进行回环融合与并优化本征图像。2.根据权利要求1所述适应于多变光照环境的自适应视觉SLAM方法，其特征在于：在SLAM系统前端增加了校正图像亮度的图像预处理算法，所述图像预处理算法包含以下步骤：第一步：将视觉系统获取的原始图像从RGB空间转换到HSV空间，并分离图像的色调分量，饱和度分量和亮度分量，为像素点在图像上的坐标值；第二步：采用多尺度高斯函数的方法，对提取出的环境照度分量进行加权处理；利用式，提取环境照度分量，*表示卷积运算；为高斯模糊滤波器，须满足归一化条件，即；高斯模糊滤波器采用高斯滤波对整...

【专利技术属性】
技术研发人员：黎萍，操超超，朱军燕，彭芳，
申请(专利权)人：电子科技大学中山学院，
类型：发明
国别省市：