一种基于亮度对齐的多阶段估计单目视觉里程计方法技术

本发明专利技术提供一种基于亮度对齐的多阶段估计单目视觉里程计方法，属于计算机视觉技术领域

【技术实现步骤摘要】
一种基于亮度对齐的多阶段估计单目视觉里程计方法


[0001]本专利技术涉及计算机视觉
，特别是指一种基于亮度对齐的多阶段估计单目视觉里程计方法
。

技术介绍

[0002]视觉里程计是视觉同时定位与建图技术的重要组成部分，主要用于相机自我运动估计，其被广泛应用于广泛应用于机器人导航
、
自动驾驶和增强现实等多个领域
。
根据采用的传感器种类及其数量的不同，视觉里程计可分为单目视觉里程计
、
双目视觉里程计和基于视觉
‑
惯性的里程计算法
。
其中，单目视觉里程计算法仅通过单目摄像机即可实现，具有成本低廉
、
易于部署等特性，在近些年来受到了研究者们的广泛关注
。
[0003]传统的视觉里程计方法分为基于特征的方法和直接法
。
基于特征的方法提取并匹配两个连续输入帧的特征，根据匹配特征之间的几何关系估计摄像机的自我运动
。
直接法则利用灰度不变性假设，直接跟踪帧间的像素运动，通过最小化光度误差，进而估计出相机的自我运动
。
[0004]随着深度学习技术的发展，深度神经网络在计算机视觉领域得到了广泛应用
。
研究人员已经采用深度学习的方式实现视觉里程计方法，基于深度学习的视觉里程计方法包含基于有监督学习的视觉里程计算法和基于自监督学习的视觉里程计算法
(
简称：自监督视觉里计算法
)。
自监督视觉里计算法不需要相机的真实相对位姿作为监督信号，具有更加广泛的应用场景
。
[0005]许多现有的自监督视觉里程计算法在相对相机位姿的估计精度还相对较差，且在算法鲁棒性方面仍存在局限性，特别是在环境光照变化场景中
。
此外，在相机自我运动估计过程中，许多现有方法对于输入图像序列中隐含的时序信息未得到充分利用
。

技术实现思路

[0006]本专利技术实施例提供了基于亮度对齐的多阶段估计单目视觉里程计方法，能够有效提高相对相机位姿估计结果的精度与鲁棒性
。
所述技术方案如下：
[0007]一方面，提供了一种基于亮度对齐的多阶段估计单目视觉里程计方法，该方法应用于电子设备，该方法包括：
[0008]构建深度估计网络
、
基于亮度对齐的位姿估计网络以及基于双向长短期记忆网络的位姿优化网络；其中，位姿优化网络用于聚合输入的图像序列中隐含的时序信息，并优化位姿估计网络输出的相对相机位姿；
[0009]根据位姿估计网络输出的每对相邻帧图像之间的相对相机位姿
、
亮度对齐参数以及深度估计网络输出的输入帧的深度图像，计算相邻帧图像之间的基于亮度对齐的光度损失函数；
[0010]计算输入位姿估计网络的图像序列的运动约束损失函数；
[0011]通过位姿优化网络，根据过去时刻使用位姿估计网络估计出的相对相机位姿优化
位姿估计网络当前时刻输出的相对相机位姿，并利用位姿优化网络输出的相对相机位姿计算位姿优化损失函数；
[0012]将图像序列中的所有图像输入到位姿估计网络
、
深度估计网络与位姿优化网络中，基于得到的基于亮度对齐的光度损失函数
、
运动约束损失函数和位姿优化损失函数对构建的位姿估计网络
、
深度估计网络与位姿优化网络进行训练；
[0013]利用训练好的位姿估计网络与位姿优化网络估计待估计位姿的图像序列中每帧图像对应的相对相机位姿
。
[0014]进一步地，所述位姿估计网络采用编码器
‑
解码器结构；
[0015]所述位姿优化网络采用双向长短期记忆网络后连接全连接层构成；其中，
[0016]所述双向长短期记忆网络，用于聚合图像序列中隐含的时序信息；
[0017]所述全连接层，用于将聚合后的时序信息回归出一个6自由度的相对相机位姿
。
[0018]进一步地，所述根据位姿估计网络输出的每对相邻帧图像之间的相对相机位姿
、
亮度对齐参数以及深度估计网络输出的输入帧的深度图像，计算相邻帧图像之间的基于亮度对齐的光度损失函数包括：
[0019]对于一对具有相对运动关系的图像对
I
t
和
I
t+1
，使用位姿估计网络估计对应的相对相机位姿和亮度对齐参数，使用深度估计网络估计输入帧的深度图像，使用亮度对齐参数对齐两幅图像的亮度信息，使用估计出的相对相机位姿与对应的深度图像，将亮度对齐后的第一帧图像
I
t
重投影至第二帧图像
I
t+1
，计算重投影图像与真实图像之间的基于亮度对齐的光度损失，获得基于亮度对齐的光度损失函数值
。
[0020]进一步地，所述对于一对具有相对运动关系的图像对，使用位姿估计网络估计对应的相对相机位姿和亮度对齐参数，使用深度估计网络估计输入帧的深度图像，使用亮度对齐参数对齐两幅图像的亮度信息，使用估计出的相对相机位姿与对应的深度图像，将亮度对齐后的第一帧图像重投影至第二帧，计算重投影图像与真实图像之间的基于亮度对齐的光度损失，获得基于亮度对齐的光度损失函数值包括：
[0021]在当前
t
时刻，将具有相对运动关系的图像对
I
t
和
I
t+1
输入位姿估计网络，位姿估计网络输出相邻帧图像对
I
t
与
I
t+1
之间的6自由度相对相机位姿和亮度对齐参数
a
和
b
；其中，表示为：
[0022][0023]其中，
I
t
和
I
t+1
分别表示
t
时刻和
t+1
时刻的图像，
Pose_BA()
为所述基于亮度对齐的位姿估计网络；
[0024]深度估计网络估计出第二帧图像
I
t+1
对应的深度图像
D
t+1
；
[0025]对于使用欧拉变换公式将其转换为4×4的位姿变换矩阵
[0026][0027]其中，
Euler()
表示欧拉变换公式；
[0028]使用亮度对齐参数
a
和
b
对输入图像
I
t
进行亮度仿射变换，得到图像
[0029][0030]对于图像
I
t+1
上的一个点
p
t+1
，其三维坐标由其深度
D
t+1
(p
t+1
)
还原；其在图像上对应的投影点表示为：
[0031][0032]其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于亮度对齐的多阶段估计单目视觉里程计方法，其特征在于，包括：构建深度估计网络
、
基于亮度对齐的位姿估计网络以及基于双向长短期记忆网络的位姿优化网络；其中，位姿优化网络用于聚合输入的图像序列中隐含的时序信息，并优化位姿估计网络输出的相对相机位姿；根据位姿估计网络输出的每对相邻帧图像之间的相对相机位姿
、
亮度对齐参数以及深度估计网络输出的输入帧的深度图像，计算相邻帧图像之间的基于亮度对齐的光度损失函数；计算输入位姿估计网络的图像序列的运动约束损失函数；通过位姿优化网络，根据过去时刻使用位姿估计网络估计出的相对相机位姿优化位姿估计网络当前时刻输出的相对相机位姿，并利用位姿优化网络输出的相对相机位姿计算位姿优化损失函数；将图像序列中的所有图像输入到位姿估计网络
、
深度估计网络与位姿优化网络中，基于得到的基于亮度对齐的光度损失函数
、
运动约束损失函数和位姿优化损失函数对构建的位姿估计网络
、
深度估计网络与位姿优化网络进行训练；利用训练好的位姿估计网络与位姿优化网络估计待估计位姿的图像序列中每帧图像对应的相对相机位姿
。2.
根据权利要求1所述的基于亮度对齐的多阶段估计单目视觉里程计方法，其特征在于，所述位姿估计网络采用编码器
‑
解码器结构；所述位姿优化网络采用双向长短期记忆网络后连接全连接层构成；其中，所述双向长短期记忆网络，用于聚合图像序列中隐含的时序信息；所述全连接层，用于将聚合后的时序信息回归出一个6自由度的相对相机位姿
。3.
根据权利要求1所述的基于亮度对齐的多阶段估计单目视觉里程计方法，其特征在于，所述根据位姿估计网络输出的每对相邻帧图像之间的相对相机位姿
、
亮度对齐参数以及深度估计网络输出的输入帧的深度图像，计算相邻帧图像之间的基于亮度对齐的光度损失函数包括：对于一对具有相对运动关系的图像对
I
t
和
I
t+1
，使用位姿估计网络估计对应的相对相机位姿和亮度对齐参数，使用深度估计网络估计输入帧的深度图像，使用亮度对齐参数对齐两幅图像的亮度信息，使用估计出的相对相机位姿与对应的深度图像，将亮度对齐后的第一帧图像
I
t
重投影至第二帧图像
I
t+1
，计算重投影图像与真实图像之间的基于亮度对齐的光度损失，获得基于亮度对齐的光度损失函数值
。4.
根据权利要求3所述的基于亮度对齐的多阶段估计单目视觉里程计方法，其特征在于，所述对于一对具有相对运动关系的图像对，使用位姿估计网络估计对应的相对相机位姿和亮度对齐参数，使用深度估计网络估计输入帧的深度图像，使用亮度对齐参数对齐两幅图像的亮度信息，使用估计出的相对相机位姿与对应的深度图像，将亮度对齐后的第一帧图像重投影至第二帧，计算重投影图像与真实图像之间的基于亮度对齐的光度损失，获得基于亮度对齐的光度损失函数值包括：在当前
t
时刻，将具有相对运动关系的图像对
I
t
和
I
t+1
输入位姿估计网络，位姿估计网络输出相邻帧图像对
I
t
与
I
t+1
之间的6自由度相对相机位姿和亮度对齐参数
a
和
b
；其中，
表示为：其中，
I
t
和
I
t+1
分别表示
t
时刻和
t+1
时刻的图像，
Pose_BA()
为所述基于亮度对齐的位姿估计网络；深度估计网络估计出第二帧图像
I
t+1
对应的深度图像
D
t+1
；对于使用欧拉变换公式将其转换为4×4的位姿变换矩阵的位姿变换矩阵其中，
Euler()
表示欧拉变换公式；使用亮度对齐参数
a
和
b
对输入图像
I
t
进行亮度仿射变换，得到图像进行亮度仿射变换，得到图像对于图像
I
t+1
上的一个点
p
t+1
，其三维坐标由其深度
D
t+1
(p
t+1
)
还原；其在图像上对应的投影点表示为：其中，
K
为摄相机内参数，
D
t+1
为
t+1
时刻的深度图像；通过对图像
I
t
采样，得到
t+1
时刻图像
I
t+1
的重投影图像
I
t
′
+1
：确定重投影图像
I
t
′
+1
与真实图像
I
t+1
之间的基于亮度对齐的光度损失表示为：其中，
SSIM(I
t+1
,I
t
′
+1
)
表示真实图像
I
t+1
与重投影图像
I
t
′
+1
...

【专利技术属性】
技术研发人员：曾慧，梁溢友，江左，杨清港，
申请(专利权)人：航天科工集团智能科技研究院有限公司，
类型：发明
国别省市：