一种针对复杂光照环境的改进型VINS方法技术

本发明专利技术公开了一种针对复杂光照环境的改进型VINS方法，首先通过初始化过程估计相机响应函数，这一过程可以对相机成像过程进行建模和标定，之后利用该函数将光流过程从位姿与灰度的关系拆解为位姿与曝光参数以及辐照度的关系，从而能够在这一过程中估计曝光参数对于位姿估计带来的影响。通过这种方法可以将复杂光照引发的相机参数的变化整合到整体的VINS系统位姿估计中，从而使系统适应环境。最后通过真实实验使用本发明专利技术算法和传统VIINS算法对比，证明了本算法的可行性和有效性，从而完成了对基于传统VINS算法的复杂光照环境下的改进型SLAM系统的实现。进型SLAM系统的实现。进型SLAM系统的实现。

【技术实现步骤摘要】
一种针对复杂光照环境的改进型VINS方法


[0001]针对传统VINS算法在复杂光照环境中位姿估计不准确的问题，本专利技术设计了一种基于传统VINS系统的、对于复杂光照环境更鲁棒的改进型VINS系统。该方法通过估计相机成像响应函数，将传统光流中的灰度误差进一步拆分为辐照度误差，同时将相机将现实中真实的场景采集成为视觉信息过程中的曝光参数加入视觉数据关联过程，同时进行数据关联与估计曝光信息，改善了视觉信号在复杂光照环境下的质量，从而使得整体改进型VINS系统在复杂光照环境中更鲁棒。

技术介绍

[0002]导航就是正确地引导载体沿着预定的航线、以要求的精度、在指定的时间内将载体引导至目的地的过程。多年以来，惯性导航单元已经十分成熟并成功的应用于诸如导弹舰艇航空航天等多方面应用，特别是在GPS信号受到较大影响是尤为重要。惯性导航系统是一种自主式的导航系统，在工作时不依靠外界信息，也不向外界辐射任何能量，隐蔽性好、抗干扰性强，能够全天时、全天候为载体提供完备的运动信息。然而大多数高精度惯性导航，精度较高的同时占地面积较大且成本较高。
[0003]近些年来，随着微电子技术的发展，通过微电子技术实现的低成本陀螺仪和加速度计单元使得惯性导航单元更多的应用与各个领域。然而，低成本惯性单元在测量中更容易受到噪声的干扰。为了弥补惯性导航单元低成本化带来的精度损失，许多解决方案选择了采用视觉测量模块对惯性单元进行一定的补偿和纠正，视觉测量模块成本低体积小，能够很好的与惯性模块集成在一起。单目视觉slam和低成本惯性slam相融合可以很好的弥补对方的缺陷。
[0004]通过视觉传感器获取机体位姿信息的实现方法主要分为直接法与特征点法两类。直接法通过假设视觉传感器获取的图像流中对应点的灰度不变，从而优化对应点的光度误差来获取机体的位姿变化。这种方法具有恢复稠密地图的可能，但是通常需要计算量大耗时较长。特征点法通过计算图像梯度等方式选取关键点，通过对应关键点匹配得到机体的位姿变化。然而仅有关键点很多时候无法描述复杂的图像信息。为此，引入了描述子描述特征点周围图像特征，如著名的SIFT、SURF、ORB、FAST。但是描述子的匹配计算过程其精度与速度无法兼得。
[0005]目前的主流视觉惯性SLAM方法中，为了充分利用IMU信息高帧率的优势，也为了能够满足现有图像流的实时帧率，多采用半直接法处理图像数据关联问题。该方法只进行角点检测计算关键点不计算描述子，用光流追踪关键点的运动。这种方法的好处在于光流计算通常较描述子的计算耗时更短，使得整体系统实时性更好并能够将更多的计算资源放在整体优化层面提高整体系统位姿估计精度。然而光流法对图像灰度变化鲁棒性较差，光照和相机曝光等会对图像灰度产生影响的因素极大的影响了视觉信息的精度。由于传统VINS系统采用该方法进行前端数据关联，所以在光照复杂环境中系统的精度和稳定性都会受到极大的影响。

技术实现思路

[0006]本专利技术为了解决现有系统对于复杂光照环境不适应这一问题，对灰度变化进行估计并补偿，提高机体搭载的系统在该环境中的鲁棒性。许多研究者提出采用光度标定算法用来解决这个问题。但是现行的光度标定算法主要针对直接法设计，由于要同时计算曝光时间与每个像素的辐照度导致优化向量很大，从而导致曝光时间计算速度略慢。对于的相机帧率30H
z
左右的VINS算法，很难满足在线运行的需求。本文提出的针对机体行进过程中图像出现不正常的灰度变化的补偿方案对于机体在光照变化的环境中运行的稳定性有着极大的提高且运行速度能够满足相机帧率要求。
[0007]1.系统初始化过程中标定相机响应函数模型
[0008]相机的成像过程一般分为图像获取部分和图像后处理部分，场景物体吸收光能并遵循光学原理反射到镜头中，通过各种传感器与光学器件转化为一组图像序列。会对位姿估计产生不良影响的主要是第二部分图像后处理部分，该部分中相机传感器或光学元件的性能和设置会直接影响到图像亮度，与直接法匹配过程中的灰度不变假设相冲突，极大的影响了位姿估计的质量。
[0009]为了矫正并估计相机成像过程，本专利技术提出的算法需要在初始化过程中对相机成像模型进行标定，以提高系统运行过程中在线光学补偿的运算速度。
[0010]相机成像过程可以抽象为：(1)场景中的物体吸收光能后反射出一部分光能，称为辐照度B(x)(2)场景辐照度B(x)通过镜头被相机中成像阵列所吸收(传统相机的感光元件是胶卷，数码相机的感光元件一般是CCD、CMOS传感器)(3)通过曝光时间等参数控制成像阵列吸收的能量总量。于是，为了估计相机对图像的影响，引入相机成像模型：
[0011]I(x)＝f(tV(x)B(x))
ꢀꢀꢀ
(1)
[0012]其中，t是相机曝光时间，整张图像具有相同的曝光时间，y(x)表示镜头畸变，与镜头上的透镜形态以及折射率有关，B(x)表示成像平面对应的场景中的辐照度，仅与场景中具体物质自身的性质有关，在光源不变的情况下辐照度B(x)不会发生变化。f()代表映射过程，该过程是一个非线性过程，包含了不同相机个体之间的差异或者相机制造工艺带来的对曝光过程的影响，I(x)是输出的图像，x点的像素灰度值。
[0013]标定相机响应函数模型的过程就是估计f()(或是f
‑1())的过程。在相机模型中，V(x)是镜头固有属性，仅与镜头的物理属性有关，不会随着相机曝光参数改变而改变。因此，在模型设计中令B(x)吸收V(x)，得到宽松的辐照度B
′
(x)，假设B
′
(x)＝V(x)B(x)，相机模型变为：
[0014]I(x)＝f(tB
′
(x))
ꢀꢀꢀꢀ
(2)
[0015]对于第i张图像，有一个假设的f
‑1()，可以得出以下等式：
[0016][0017]即，通过函数f
‑1()可以将图像在位置x处的灰度值变换为曝光时间参数与宽松辐照度的乘积，同时由于变换带来的误差，假设变换后的值与真值之间有一个误差w
i
，该误差为一个服从高斯分布的噪声
[0018]因此，可以构造一个最小二乘问题估计函数f
‑1()如下：
[0019][0020]由于I(x)的函数值范围是0到255的离散整数值，f
‑1(I
i
(x))对应有限个映射关系(总共256个)，待解的未知变量是每个场景点的辐照度和256个映射关系f
‑1()。在响应函数的校准过程中，应使相机保持不动，通过拍摄一系列不同曝光时间的图像，可以得到最优解。该过程中输出的图像流，每一个都已知曝光时间t
i
，并且相机保持不动，图像中的每一个像素x对应的场景点不变，每一个等式中每一个场景点的辐照度B
′
(x)不变，因此未知量仅仅是f
‑1()与场景点的辐照度。对于实际图像来说，未知量个数等于像素数量加256个，采集足够多不同曝光时间的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对复杂光照环境的改进型VINS方法，其特征在于：为了估计相机对图像的影响，引入相机成像模型：I(x)＝f(tV(x)B(x))
ꢀꢀꢀꢀꢀ
(1)其中，t是相机曝光时间，整张图像具有相同的曝光时间，V(x)表示镜头畸变，与镜头上的透镜形态以及折射率有关，B(x)表示成像平面对应的场景中的辐照度，仅与场景中具体物质自身的性质有关，在光源不变的情况下辐照度B(x)不会发生变化；f()代表映射过程，I(x)是输出的图像，x点的像素灰度值；标定相机响应函数模型的过程就是估计f()或是f
‑1()过程；在相机模型中，V(x)是镜头固有属性，在模型设计中令B(x)吸收V(x)，得到宽松的辐照度B
′
(x)，假设B
′
(x)＝V(x)B(x)，相机模型变为：I(x)＝f(tB
′
(x))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)对于第i张图像，有一个假设的f
‑1()，可以得出以下等式：即，通过函数f
‑1()可以将图像在位置x处的灰度值变换为曝光时间参数与宽松辐照度的乘积，同时由于变换带来的误差，假设变换后的值与真值之间有一个误差w
i
，该误差为一个服从高斯分布的噪声因此，可以构造一个最小二乘问题估计函数f
‑1()如下：由于I(x)的函数值范围是0到255的离散整数值，f
‑1(I
i
(x))对应有限个映射关系，待解的未知变量是每个场景点的辐照度和256个映射关系f
‑1()；在响应函数的校准过程中，应使相机保持不动，通过拍摄一系列不同曝光时间的图像，可以得到最优解；该过程中输出的图像流，每一个都已知曝光时间t
i
，并且相机保持不动，图像中的每一个像素x对应的场景点不变，每一个等式中每一个场景点的辐照度B
′
(x)不变，因此未知量仅仅是f
‑1()与场景点的辐照度；对于实际图像来说，未知量个数等于像素数量加256个，采集足够多不同曝光时间的图像可以构建超定方程用以解得最接近真实值的相机响应函数f
‑1()；应用初始化过程中估计的相机响应函数f
‑1()，可以得到在系统运行过程中同步估计相机曝光时间的算法，该算法是基于LK光流进行针对性改进而来的；光流法建立等式如下：因为微动假设，上述方程的右端可以被泰勒展开：当运动较小时，可忽略高阶无穷小，将方程4带入方程3，建立等式如下：等式两端同时除以δt，同时令有：I
x
u+I
y
v＝
‑
I
t
ꢀꢀꢀꢀ
(14)
其中u和v是连续的光流；I
x
和I
y
是点处沿x和y方向的图像梯度；根据空间...

【专利技术属性】
技术研发人员：裴福俊，刘宏康，王迪，王京辉，苗助，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：