一种基于深度学习的端到端视觉里程计及方法技术

本发明专利技术公开了一种基于深度学习的端到端视觉里程计及方法，包括级联的光流网络和帧间估计网络，所述光流网络根据数据集中图像序列中的相邻帧，选取输出光流向量和基准数据之间的光流端点误差为损失函数，进行网络训练后，将生成的光流输出，所述帧间估计网络以光流图像作为输入，基于六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络，进行帧间估计。本发明专利技术采用不同输入输出数据分别训练光流网络模块和帧间估计网络模块，最后将两者级联构成端到端的视觉里程计模块，再进一步深层次训练，优化参数。该层级化训练方法可以大幅降低训练时间，提高训练效率。

【技术实现步骤摘要】
一种基于深度学习的端到端视觉里程计及方法
本专利技术涉及一种基于深度学习的端到端视觉里程计及方法。
技术介绍
视觉里程计是机器人利用视觉传感器估计自身运动的方法，是机器人定位、地图构建、避障以及路径规划等高层任务的基础技术。传统的视觉里程计主要基于帧间视觉特征的空间几何关系，估计机器人帧间位姿，因此也称为帧间估计。特征分为稀疏特征和稠密特征两类，分别对应于图像局部信息表示和全局信息表示。传统的特征需要人工选取或计算，造成对图像信息表示具有一定人为性和局限性，同时依赖特征匹配的准确性，在应对图像的光照变化、运动模糊、纹理单一等情形具有较大的局限性，影响了其估计精度。
技术实现思路
本专利技术为了解决上述问题，提出了一种基于深度学习的端到端视觉里程计及方法，本专利技术利用端到端的帧间估计深度神经网络技术，实现了从原始图像到帧间估计的直接输出，相对于传统方法，该技术无需手动提取特征或光流图像、无需构建特征描述子、无需帧间特征匹配，更无需进行复杂的几何运算。为了实现上述目的，本专利技术采用如下技术方案：一种基于深度学习的端到端视觉里程计，包括级联的光流网络和帧间估计网络，所述光流网络根据数据集中图像序列中的相邻帧，选取输出光流向量和基准数据之间的光流端点误差为损失函数，进行网络训练后，将生成的光流图像输出，所述帧间估计网络以光流图像作为输入，基于六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络，进行帧间估计。所述光流网络和帧间估计网络均为层次化训练方式。所述光流网络为卷积神经网络训练器。所述光流网络以相邻帧连续图像作为输入，选取输出光流向量和基准数据之间的光流端点误差作为损失函数，进行将输入的连续帧图像生成光流图像的网络训练。所述帧间估计网络以光流图像作为输入，将整个光流图像的训练划分为全局光流图训练和多个子光流图像的局部训练，最后组合两者输出的特征，输出到全连接层，完成基于光流的帧间估计网络。所述帧间估计网络为利用KITTI数据集训练网络。所述帧间估计网络为利用合成数据来训练网络。一种基于深度学习的端到端视觉里程估计方法，根据数据集中图像序列中的相邻帧，选取输出光流向量和基准数据之间的光流端点误差为损失函数，进行网络训练后，生成光流图像，根据光流图像，基于六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络，进行帧间估计。采用不同输入输出数据分别训练光流网络模块和帧间估计网络模块，最后将两者级联，进一步深层次训练，优化参数。本专利技术的有益效果为：(1)本专利技术相较于传统方法，无需人工选取或计算特征，免去了误差较大的特征匹配过程，更无需复杂的几何运算，具有直观简单的特点；(2)本专利技术提出的层次化深度神经网络训练方法，可实现光流网络和帧间估计网络并行训练，提高了训练速度；(3)本专利技术中光流网络的应用，提高了光流计算速度，使得算法实时性得到了提升；(4)本专利技术采用不同输入输出数据分别训练光流网络模块和帧间估计网络模块，最后将两者级联构成端到端的视觉里程计模块，再进一步深层次训练，优化参数。该层级化训练方法可以大幅降低训练时间，提高训练效率。附图说明图1为本专利技术的系统结构示意图；图2为本专利技术的基于卷积神经网络的光流网络示意图；图3为本专利技术的帧间估计网络示意图。具体实施方式：下面结合附图与实施例对本专利技术作进一步说明。一种端到端的帧间估计深度神经网络技术，实现了从原始图像到帧间估计的直接输出，是一个模块化的视觉里程计。相对于传统方法，该技术无需手动提取特征或光流图像、无需构建特征描述子、无需帧间特征匹配，更无需进行复杂的几何运算。如图1所示，本专利技术的里程计包含两个子模块：光流网络模块和帧间估计网络模块。两个模块采用层次化训练方式，即采用不同输入输出数据分别训练光流网络模块和帧间估计网络模块，最后将两者级联构成端到端的视觉里程计模块，再进一步深层次训练，优化参数。该层级化训练方法可以大幅降低训练时间，提高训练效率，也是深度神经网络的优势之一。具体步骤如下：光流网络的构建：光流网络可由卷积神经网络(CNN)构成，并通过真实数据或合成数据进行网络训练，以相邻帧连续图像作为输入，选取输出光流向量和基准数据之间的光流端点误差(endpointerror，EPE)作为损失函数，实现从输入连续帧图像到光流生成的网络训练。如图2所示，分别将第i帧图像和第i+1帧图像输入CNN网络，输出各自的图像特征表示；组合前后帧图像特征表示，进一步输入到更深层次的CNN网络；通过上卷积网络提高CNN网络的池化操作结果分辨率，输出逐像素的稠密全局光流图。帧间估计网络的构建：该网络以光流图像作为输入，以六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络。图3展示了利用局部光流图像和全局光流图像分别训练网络组合完成基于光流的帧间估计的过程。此过程可选用KITTI数据集或合成数据来训练网络，并通过传统光流算法计算输入光流。帧间估计模块的建立过程中，首先将全局光流图分割成多个局部光流子图，然后将全局光流图和局部光流子图分别输入CNN网络，得到光流局部特征和全局特征表示。将光流局部特征和全局特征表示进行组合，输入到全连接层，得到六自由度位姿向量表示的帧间估计。训练过程可分为三个阶段：首先局部光流子图作为输入，帧间估计作为输出，训练网络；其次将全局光流图作为输入，帧间估计作为输出，训练网络；最后，将局部光流子图和全局光流图同时作为输入，帧间估计作为输出，进一步训练网络。实现端对端的视觉里程计：级联训练好的光流网络和基于光流的帧间估计网络，将数据集中图像序列的相邻帧作为整个网络的输入，以六自由度输出向量和基准数据的距离构造损失函数，迭代训练优化参数，实现快速、精确、鲁棒的端对端的视觉里程计。上述虽然结合附图对本专利技术的具体实施方式进行了描述，但并非对本专利技术保护范围的限制，所属领域技术人员应该明白，在本专利技术的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本专利技术的保护范围以内。本文档来自技高网...

【技术保护点】
一种基于深度学习的端到端视觉里程计，其特征是：包括级联的光流网络和帧间估计网络，所述光流网络根据数据集中图像序列中的相邻帧，选取输出光流向量和基准数据之间的光流端点误差为损失函数，进行网络训练后，将生成的光流图像输出，所述帧间估计网络以光流图像作为输入，基于六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络，进行帧间估计。

【技术特征摘要】
1.一种基于深度学习的端到端视觉里程计，其特征是：包括级联的光流网络和帧间估计网络，所述光流网络根据数据集中图像序列中的相邻帧，选取输出光流向量和基准数据之间的光流端点误差为损失函数，进行网络训练后，将生成的光流图像输出，所述帧间估计网络以光流图像作为输入，基于六自由度输出位姿向量与基准数据之间的距离构建损失函数，迭代训练网络，进行帧间估计。2.如权利要求1所述的一种基于深度学习的端到端视觉里程计，其特征是：所述光流网络和帧间估计网络均为层次化训练方式。3.如权利要求1所述的一种基于深度学习的端到端视觉里程计，其特征是：所述光流网络为卷积神经网络训练器。4.如权利要求1所述的一种基于深度学习的端到端视觉里程计，其特征是：所述光流网络以相邻帧连续图像作为输入，选取输出光流向量和基准数据之间的光流端点误差作为损失函数，进行将输入的连续帧图像生成光流图像的网络训练。5.如权利要求1所述的一种基于深度学习的端到端视觉里程计，其特征是：所述帧...

【专利技术属性】
技术研发人员：刘国良，罗勇，田国会，赵洋，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37