一种基于卷积神经网络的视觉SLAM优化方法及装置制造方法及图纸

本发明专利技术涉及车辆辅助驾驶技术领域，公开了一种基于卷积神经网络的视觉SLAM优化方法及装置，方法包括：采集二维图像；构建卷积神经网络模型；将所述二维图像输入到卷积神经网络模型；对卷积神经网络模型进行模型训练；根据训练后的卷积神经网络模型返回位姿估计结果；所述卷积神经网络模型包括PoseNet模型。通过构建PoseNet模型进行位姿估计，使视觉SLAM的前端部分得到优化，省略了现有技术中的预处理后再进行位姿估计的步骤，同时卷积神经网络可以应用于深度学习加速器上，这将比在GPU上运行性能更高，功耗更低。功耗更低。功耗更低。

【技术实现步骤摘要】
一种基于卷积神经网络的视觉SLAM优化方法及装置


[0001]本专利技术涉及车辆辅助驾驶
，尤其是涉及一种基于卷积神经网络的视觉SLAM优化方法及装置。

技术介绍

[0002]同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)最早于1988年提出，最开始的时候用于描述机器人在未知环境的未知地点中同步的进行地图构建和自身定位。机器人通过传感器获取的环境数据对位置环境进行地图创建，然后根据当前观测到的环境特征与地图中的特征进行匹配从而进行自身的定位。根据使用的传感器不同，SLAM主要可以分为视觉SLAM和激光SLAM。由于图像具有丰富的颜色信息和纹理信息，再加上近年来计算能力的提升，基于图像的视觉SLAM成为研究热点。
[0003]在SLAM算法问题中，可以分为前端和后端两个部分。前端的主要作用是计算帧与帧间的相对关系。包括特征点提取、特征点的匹配、利用匹配点计算位姿。后端的作用主要是用于得到最优的位姿估计。视觉SLAM算法对实时性要求很高，并且它通常部署于嵌入式系统。但嵌入式系统对功耗有严格限制，因此，如何为视觉SLAM提供所需的性能，同时又可以满足嵌入式系统功耗要求，是设计人员面临的巨大挑战。

技术实现思路

[0004]本专利技术提供一种基于卷积神经网络的视觉SLAM优化方法及装置，利用PoseNet模型提高视觉SLAM的性能且降低功耗。
[0005]本专利技术的上述专利技术目的是通过以下技术方案得以实现的：
[0006]一种基于卷积神经网络的视觉SLAM优化方法，对视觉SLAM的前端部分进行优化，包括以下步骤：
[0007]采集二维图像；
[0008]构建卷积神经网络模型；
[0009]将所述二维图像输入到卷积神经网络模型；
[0010]对卷积神经网络模型进行模型训练；
[0011]根据训练后的卷积神经网络模型返回位姿估计结果；
[0012]所述卷积神经网络模型包括PoseNet模型。
[0013]可选的，所述将所述二维图像输入到卷积神经网络模型的步骤包括：
[0014]对所述二维图像进行预处理得到图像数据集；
[0015]根据图像数据集生成训练集、验证集和测试集；
[0016]所述训练集用于训练实现卷积神经网络模型；所述验证集用于对卷积神经网络模型进行验证；所述测试集用于对验证合格的卷积神经网络模型进行测试。
[0017]可选的，所述图像预处理包括对通过算法对图像清晰度和尺寸进行调整。
[0018]可选的，所述根据训练后的卷积神经网络模型返回位姿估计结果的步骤中包括：
[0019]在所述图像数据集上训练位姿回归器；
[0020]通过位姿回归器使用随机梯度下降法对卷积神经网络模型进行欧氏损失训练。
[0021]可选的，所述根据训练后的卷积神经网络模型返回位姿估计结果步骤中，通过6D相机采集图像，并输出的位置向量，其中位置向量输出函数包括：
[0022]p＝[x,q][0023]p表示PoseNet输出的6自由度位姿矩阵中的位置向量，x表示3D相机坐标，q表示方向的四元数。
[0024]本专利技术的上述专利技术目的是通过以下技术方案得以实现的
[0025]一种基于卷积神经网络的视觉SLAM优化装置，对视觉SLAM的前端部分进行优化，包括：
[0026]采集模块，采集二维图像；
[0027]模型构建模块，构建卷积神经网络模型；
[0028]训练模块，将所述二维图像输入到卷积神经网络模型；对卷积神经网络模型进行模型训练；
[0029]位姿估计模块，根据训练后的卷积神经网络模型返回位姿估计结果；
[0030]所述卷积神经网络模型包括PoseNet模型。
[0031]可选的，所述训练模块用于：
[0032]对所述二维图像进行预处理得到图像数据集；
[0033]根据图像数据集生成训练集、验证集和测试集；
[0034]所述训练集用于训练实现卷积神经网络模型；所述验证集用于对卷积神经网络模型进行验证；所述测试集用于对验证合格的卷积神经网络模型进行测试。
[0035]可选的，所述位姿估计模块用于：
[0036]在所述图像数据集上训练位姿回归器；
[0037]通过位姿回归器使用随机梯度下降法对卷积神经网络模型进行欧氏损失训练。
[0038]本专利技术的上述专利技术目的是通过以下技术方案得以实现的：
[0039]一种视觉SLAM运行系统，包括：
[0040]位姿估计单元，采集二维图像，并根据上述基于卷积神经网络的视觉SLAM优化方法得到的位姿估计结果；
[0041]闭环检测单元，检测并判断是否发生轨迹闭环；
[0042]后端优化单元，接收并优化位姿估计结果和闭环检测信息，得到轨迹和地图结果输出单元，按照需求基于轨迹和地图输出Map。
[0043]通过采用上述技术方案，构建PoseNet模型进行位姿估计，使视觉SLAM的前端部分得到优化，省略了现有技术中的预处理后再进行位姿估计的步骤，同时卷积神经网络可以应用于深度学习加速器上，这将比在GPU上运行性能更高，功耗更低。
[0044]本专利技术的上述专利技术目的是通过以下技术方案得以实现的：
[0045]一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述基于卷积神经网络的视觉SLAM优化方法的步骤。
[0046]综上所述，本专利技术包括以下至少一种有益技术效果：
[0047]本专利技术通过构建PoseNet卷积神经网络模型来进行视觉SLAM的位姿估计，与现有
的位姿估计方法相比，PoseNet作为卷积神经网可以在深度学习加速器上运行，而现有的位姿估计通常再GPU上运行，使得本专利技术中的设计运行性能更高，功耗更低。
附图说明
[0048]图1是本专利技术视觉SLAM运行系统的框架图。
[0049]图2是本专利技术基于卷积神经网络的视觉SLAM优化方法的流程图。
[0050]图3是本专利技术基于卷积神经网络的视觉SLAM优化装置的结构图。
具体实施方式
[0051]以下结合附图1
‑
3对本专利技术作进一步详细说明。
[0052]一种有代表性的视觉SLAM技术是由伦敦大学的Newcombe等人提出的Kinect Fusion来自Kinect传感器的所有深度数据被实时融合到所观察场景的单个全局隐式表面模型中。主要分为数据预处理、相机位姿估计、融合及表面重建四个部分。其中相机位姿估计部分通过使用由粗到细的迭代最近点(Iterative Closet Point，ICP)算法跟踪相对于全局模型的实时深度框架，并且可以同时获得当前传感器的姿态，该算法使用了所有可用的观测深度数据。
[0053]其中，Kinect Fusion技术可以在仅使用移动的低成本深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的视觉SLAM优化方法，其特征在于，对视觉SLAM的前端部分进行优化，包括以下步骤：采集二维图像；构建卷积神经网络模型；将所述二维图像输入到卷积神经网络模型；对卷积神经网络模型进行模型训练；根据训练后的卷积神经网络模型返回位姿估计结果；所述卷积神经网络模型包括PoseNet模型。2.根据权利要求1所述的方法，其特征在于，所述将所述二维图像输入到卷积神经网络模型的步骤包括：对所述二维图像进行预处理得到图像数据集；根据图像数据集生成训练集、验证集和测试集；所述训练集用于训练实现卷积神经网络模型；所述验证集用于对卷积神经网络模型进行验证；所述测试集用于对验证合格的卷积神经网络模型进行测试。3.根据权利要求2所述的方法，其特征在于，所述图像预处理包括对通过算法对图像清晰度和尺寸进行调整。4.根据权利要求2所述的方法，其特征在于，所述根据训练后的卷积神经网络模型返回位姿估计结果的步骤中包括：在所述图像数据集上训练位姿回归器；通过位姿回归器使用随机梯度下降法对卷积神经网络模型进行欧氏损失训练。5.根据权利要求2所述的方法，其特征在于，所述根据训练后的卷积神经网络模型返回位姿估计结果步骤中，通过6D相机采集图像，并输出的位置向量，其中位置向量输出函数包括：p＝[x,q]p表示PoseNet输出的6自由度位姿矩阵中的位置向量，x表示3D相机坐标，q表示方向的四元数。6.一种基于卷积神经网络的视觉SLAM优化装...

【专利技术属性】
技术研发人员：李采薇，吕颖，
申请(专利权)人：一汽南京科技开发有限公司，
类型：发明
国别省市：