基于视觉信息的动态环境导航方法技术

本发明专利技术提出了一种基于视觉信息的动态环境导航方法，主要解决现有技术对室内动态目标处理及自动导航定位差的问题，其方案为：建立人类动态模型，并对其进行参数化；使用DeeplabV3+神经网络对室内的场景图像进行区域分割获取场景分割模型；基于神经网络训练好的场景分割模型进行多视图几何操作；将多视图几何操作后的图像回归ORBSLAM系统，利用该系统中的视觉里程计VIO模块进行相机的位姿估计；使用回环检测优化位姿并输出一个全局位姿，根据全局位姿重建3D网格；利用重建好的3D网格生成3D点云，在3D点云上构建全局地图，机器人利用全局地图在室内拥挤的动态环境中自主导航，本发明专利技术提高了导航性能，可用于室内定位。位。

【技术实现步骤摘要】
基于视觉信息的动态环境导航方法


[0001]本专利技术属于计算机视觉领域，特别涉及一种动态环境导航方法，可用于室内定位。

技术介绍

[0002]近年来，位置服务的相关技术和产业正向室内发展以提供无所不在的基于位置的服务，其主要推动力是室内定位所能带来的巨大的应用和商业潜能。在室内和室外的环境下，连续可靠地提供位置信息可以为用户带来更好的用户体验。室外定位和基于位置的服务已经成熟，目前，全球卫星导航系统GPS是最常用的定位导航系统，但是由于卫星信号无法穿透建筑物，室内定位无法利用GPS实现。室内环境的很多独特特征使得现有的很多方案受到不同的局限。实用的室内定位解决方案需要满足以下七个方面的需求：精度、覆盖范围、可靠性、成本、功耗、可扩展性和响应时间。
[0003]现有的室内定位技术主要分为以下六类：
[0004]第一类为红外线定位技术，红外线的技术已经非常成熟，用于室内定位精度相对较高，但是由于红外线只能视距传播，穿透性极差，当标识被遮挡时就无法正常工作，也极易受灯光、烟雾环境因素的影响。加上红外线的传输距离不长，使其在布局上，无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉信息的动态环境导航方法，其特证在于，包括如下步骤：(1)建立动态对象模型：1a)基于优化的方法先将3D网格匹配到2D图像关键点，再基于深度学习的方法匹配语义图像关键点与2D图像关键点，建立语义图像像素点到3D网格的联系；1b)据语义图像像素点到3D网格的联系，对皮肤多人线性模型SMPL进行参数化，通过其紧凑的姿态和形状描述，获得具有6890个顶点和23个关节的3D人体网格模型；(2)采用双目相机拍摄的图像和RBG
‑
D相机拍摄的深度图像作为输入，使用DeeplabV3+神经网络对室内的场景图像进行区域分割，得到场景分割模型；(3)基于DeeplabV3+神经网络的场景分割模型分割图片帧，基于分割后的结果去除潜在动态区域内部和周围像素，再将静态区域的特征点投影到图片帧中，并最小化重投影误差，实现多视图几何操作；(4)于现有的ORBSLAM系统，输入单/双目图像、RGB
‑
D深度图像，融合DeeplabV3+神经分割网络和人体3DSMPL模型，并利用步骤(2)中区域分割的初结果对场景的图片帧进行多视图几何操作，再将几何操作后的图像回归到ORBSLAM系统进行基于视觉的相机位姿估计；(5)获取相机与室内环境相对的全局位姿：(5a)于ORBSLAM系统中的视觉里程计VIO模块，利用惯性测量IMU数据计算局部相机位姿估计值，并使用现有的非线性优化方法对该相机局部位姿估计值和步骤(4)中的视觉位姿估计值进行综合，得到优化后的局部相机位姿估计值；(5b)利用回环检测法对由多次跟踪所造成优化局部相机位姿估计值的累计漂移进行消除，输出相机与室内环境相对的全局位姿；(6)重建3D网格：(6a)利用得到的全局位姿，不断调整机器人的跟踪轨迹，在相机跟踪过程中的关键帧上获取图像上2D特征点，并在该特征点上进行Delaunay三角剖分，形成帧图像上的2D三角网格；(6b)对2D三角网格做反向投影操作，生成一个3D网格；(7)语义建图：(7a)使用基于体素TSDF算法去除重建好的3D网格噪声并提取该全局3D网格，再将步骤(1)的3D人体模型网格加入到该全局3D网格中；(7b)对加入3D人体模型网格后的全局3D网格使用稠密双目立体算法获得来自于当前双目图片对应的3D点云；(7c)对已经获取的包含人体模型的3D点云地图使用捆集光线投射方法，构建一个全局地图，机器人根据全局地图在室内动态的环境中进行导航。2.根据权利要求1所述的方法，其特征在于，步骤1a)中基于优化的方法先将3D网格匹配到2D图像关键点，再基于深度学习的方法匹配语义图像关键点与2D图像关键点，实现如下：1a1)从自带语义标签的3D网格中选出预先设置人类对象的所有网格，并使用欧几里得聚类进行实例分割，再将分割好的人类簇投影到2D图像之中，从人类簇的网格顶点计算2D图像中对应对象的质心和方向；1a2)从卷积神经网络CNNs中获取带2D场景地图的语义图，利用OpenCV提供的Brute
‑
Force匹配函数将语义图像与2D图像的对应关键点进行匹配，建立出语义图像像素点到3D网格的联系。3.根据权利要求1所述的方法，其特征在于，步骤1b)中根据语义图像像素点到3D网格的联系，对皮肤多人线性模型SMPL进行参数化，实现如下：根据语义图像像素点到3D网格的联系先将左侧原始相机图像裁剪到语义图中每个被检测到的人附近的边界框中，再从边界框回归一个SMPL网格模型顶点的3D位置；使用图像卷积神经网络方法获得一个3DSMPL；使用N点视角对应算法PNP提取相机原始视角图像帧中人类的完整位姿。4.根据权利要求1所述的方法，其特征在于，步骤(3)中基于DeeplabV3+神经网络的场景分割模型分割图片帧，实现如下：所述DeeplabV3+神经网络模型场景分割模型，包括下采样模块和上采样模块，其中：该下采样模块用于特征提取，其先对压缩四次的初步有效特征层使用并行的空洞卷积Atrous Convolution来扩大感受野和捕获多尺度图片的环境信息；再分别用不同采样率的Atrous空间金字塔池化结构ASPP进行特征提取；再将特征提取结果进行concat合并，将合并特征层进行1x1逐点卷积得到绿色特征图，完成对场景图的高分辨率特征初步提取；该上采样模块用于恢复特征图的大小，其通过插值、转置卷积方式先对压缩两次的初步有效特征层利用1x1逐点卷积调整通道数，再将调整后的有效特征层和Encoder中经过ASPP处理的有效特征层进行堆叠；然后利用Pytorch对堆叠特征层进行两次深度可分离卷积获了一个最终的有效特征层，并利用一个1x1逐点卷积对这个最终有效特征层进行通道调整并调整成类别总数目；最后利用resize进行上采样使输出预测图片恢复原图大小；所述基于DeeplabV3+神经网络的场景分割模型分割图片帧，是先利用该网络对场景图片数据集进行模型迭代训练，直到获得场景分割模型；再利用分割模型对场景图片进行分割预测并输出与原场景图大小一致的语义分割结果图。5.根据权利要求1所述的方法，其特征在于，步骤(4)将几何操作后的图像回归到ORBSLAM系统进行基于视觉的相机位姿估计，实现如下：(4a)基于场景分割模型分割后的结果去除图片帧动态区域内部和周围像素，再将静态区域的特征点投影到图片帧...

【专利技术属性】
技术研发人员：王搏，程曦娜，张亦弛，焦李成，焦建斌，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：