一种基于单目视觉的移动机器人半稠密地图构建方法技术

本发明专利技术属于视觉机器人构图技术领域，公开了一种基于单目视觉的移动机器人半稠密地图构建方法，本发明专利技术涉及ORB‑SLAM、卷积神经网络及半稠密地图构建，机器人根据单目相机构建稀疏点云地图，结合卷积神经网络构建带有语义标签的关键帧以及稀疏点云的地图，当机器人到达感兴趣区域时，开启半稠密地图构建。本发明专利技术利用卷积神经网络结合ORB‑SLAM构建带有语义信息的地图，利用归一化互相关进行立体视觉匹配达到较为稠密的匹配关系，高斯滤波对每次新的深度数据进行融合与传递；本发明专利技术在机器人构建半稠密地图以及自主导航等方面，具有重要理论和现实应用价值。

【技术实现步骤摘要】
一种基于单目视觉的移动机器人半稠密地图构建方法
本专利技术涉及一种基于单目视觉的移动机器人半稠密地图构建方法，属于视觉机器人构图
，是人工智能与机器人技术相结合的应用。
技术介绍
视觉机器人构图的应用范围很广，可以在军事、航空航天、探测、灾害处理等方而做出突出的贡献，并且视觉机器人构图的研究是机器人研究领域的重要内容之一，其研究具有重要理论和现实应用价值，现有单目视觉机器人构图只能构建稀疏点云地图，并且缺乏一定的语义信息，本专利针对该问题进行改进。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于单目视觉的移动机器人半稠密地图构建方法，包括以下步骤：步骤(1)：移动机器人视为一个智能体，移动机器人携带单目摄像头；步骤(2)：移动机器人利用单目相机采集其工作环境下的图像信息用于定位和构图等工作；步骤(3)：任务开始时，首先利用机器人采集所工作的环境图像，采集的图像作为卷积神经网络算法的训练数据集，同时也是同时定位与构图算法的数据集；步骤(4)：单目机器人采集完数据集后，为了提高卷积神经网络模型性能，进行数据增强工作，一方面可以增加训练数据，从而提升模型的泛化能力，另一方面可以在增加噪声数据，从而增强模型的鲁棒性。使用的卷积神经网络共有5层，在包含softmax的同时，具有卷积层、池化层和全连接层，分别为2层、2层和1层。网络的输入是经过降维处理32*32的图像，第一层卷积层的卷积核为5*5，卷积核移动步幅为1；第二层卷积层的卷积核为5*5，卷积核移动步幅为1；池化层采用2*2规模的窗口，池化步幅为2，并通过均值法实现降采样；网络的最终输出为分类的概率；步骤(5)：单目机器人在运行ORB-SLAM构建的稀疏特征地图的基础上，结合分类信息构建基于关键帧语义标签的映射地图；步骤(6)：单目机器人重定位到感兴趣区域时(包含语义信息区域)，进行半稠密重建。在半稠密重建算法中，加入像素点梯度筛选策略，减少地图重建的误差以及时间消耗。接着逆深度估计部分利用仿射变换约束提高归一化互相关(NCC)匹配质量。算法中增添图像金字塔加快逆深度的收敛，同时改进深度信息的传递策略。所述步骤(5)中语义关键帧具体是指，语义关键帧的内容和格式如下：Kframe＝{T_c_w,cyml,f,n,P}其中，T_c_w表示相机的位姿信息；cyml表示相机内部参数(固定值)，f代表当前关键帧中观测到的稀疏ORB特征，n为分类信息，P为分类的权重信息，Kframe即表示语义关键帧。所述步骤(6)中像素点梯度筛选具体是指：(3a)：半稠密地图构建是基于灰度值匹配方法，其对光照十分敏感，为了在匹配过程中体现出足够的区分度，筛选出梯度明显的像素点。所谓梯度，即函数的变化率(导数)，图像是一个二维函数f(x,y),其偏微分为如式所示：因为图像是一个离散的二维函数，f(x,y),f(x+ε,y),f(x,y+ε)表示相邻的像素值，ε表示相邻的单位，其在x和y方向上的像素梯度和的ε取值并不能无限趋于0，上述公式精简为：式中g(x)，g(y)分别是图像在点(x,y)处关于x方向上的梯度和关于y方向上的梯度，f(x,y),f(x+1,y),f(x,y+1)表示相邻一个像素单位的像素点；M(x,y)＝|gx|+|gy|式中M(x,y)表示复合导，g(x)，g(y)分别是图像在点(x,y)处关于x方向上的梯度和关于y方向上的梯度。所述步骤(6)中逆深度估计步骤具体是指：(4a)：逆深度估计步骤分为三步：立体视觉匹配，极线搜索以及三角化恢复深度信息；(4b)：基于归一化互相关立体视觉匹配算法的计算方式如下：为了进一步增强光照变化下的鲁棒性，通过在待匹配像素位置构建一个邻域匹配窗口，与目标像素位置构建同样大小的邻域匹配窗口的方式建立目标函数来对匹配窗口进行衡量相关性，本节这里构建相关窗口添加了仿射校正，否则匹配过程将消耗更多的计算资源，其主要思想是参考帧图片上一点附近都为一个平面且深度一样；其主要计算公式如下：Pref＝fref*depthpcurr＝F(T*Pref)其中，Pref表示为根据仿射变换计算到参考帧影像上的坐标；fref表示像空间坐标；depth为深度，T为坐标转换矩阵，F为相机坐标系到像素，pcurr为当前帧按深度投影的像素。NCC评分公式为：其中，p(i,j)、p'(i,j)分别表示参考帧图像上p像素块与当前帧图像上p'像素块之间的差异性。Score(p,p')表示NCC评分；其中ε为防止分母出现0这一情况的极小值；(4c)：极线搜索方法为：将参考帧的像素点从像素坐标转换为摄像机坐标系下的三维坐标，接着将对应的三维坐标以旋转矩阵为变换矩阵转换到当前帧的摄像机坐标系下，然后再投影到当前帧图像上获得当前帧的像素坐标。考虑到深度的方差，在两个极端情况下，即最大和最小深度，将参考帧中转换后的三维坐标投影两次，得到两个投影坐标，这两点坐标的连线即为要搜索的极线。在极线上搜索NCC最相似的块。(4d)：三角化恢复逆深度信息公式为：s1q1＝s2Rq2+ts1q1^q1＝s2q1^Rq2+q1^t＝0其中q1，q2为归一化平面坐标，q2由q1经过一定程度的旋转和平移得到，s1,s2表示两帧图片上对应像素点的深度，R，t分别表示变换矩阵和平移，α，β分别表示基线与两帧对应像素点到空间中实际位置连线的夹角，δβ表示有一个像素误差造成的夹角误差，则它们必满足上式所示的旋转平移变换公式，接着通过转化，联立出一个线性方程组；对于误差公式由下所示：δp＝||p||-||p'||q1所在平面作为参考帧，q2所在平面则被称作当前帧，l2为q1在当前帧中所对应的极线，相机到成像面的距离都默认为焦距f。假设在l2进行极线搜索时，所找寻到的q'2点与真实的q2点之间具有一个像素的误差。其中p，t已知，α，β，δβ可以经过三角定理得到。δp正是深度的均方差，深度滤波器的目的便是要不断减小这个均方差；每当新的数据传递过来，就需要利用新的观测数据更新原有的数据信息。这就是高斯融合，也是深度滤波器的原理，其主要公式为：其中，μ，σ2为原深度值和原深度均方差，μnew，σnew2为新深度值和新深度均方差，μfuse，σfuse2为融合后深度值和深度均方差，为获取的新的数据分布，P(d)＝N(μ,σ2)为原有的逆深度值分布。所述步骤(6)中基于图像金字塔的逆深度传递是指：(5a)：原图像经过高斯滤波，接着删除所有的偶数行和列，得到的图像的长和宽分别为原图像的一半。原图使用降采样后，上层的每一个像素对应着下层图像中彼此相邻的四个像素。若当前层为n，表示当前层的第j行第j列像素灰度值，则下一层图像所对应的像素灰度值为：本文档来自技高网...

【技术保护点】
1.一种基于单目视觉的移动机器人半稠密地图构建方法，其特征在于，包括如下步骤：/n移动机器人利用单目相机采集其工作环境下的图像信息；/n利用机器人采集的环境图像作为卷积神经网络算法的训练数据集，及定位与构图算法的数据集；/n单目机器人完成数据采集后，进行卷积神经网络场景分类，在运行ORB-SLAM构建的稀疏特征地图的基础上，结合分类信息构建语义关键帧的映射地图；/n单目机器人重定位到感兴趣区域，进行半稠密地图重建；在半稠密重建算法中，加入像素点梯度筛选策略。/n

【技术特征摘要】
1.一种基于单目视觉的移动机器人半稠密地图构建方法，其特征在于，包括如下步骤：
移动机器人利用单目相机采集其工作环境下的图像信息；
利用机器人采集的环境图像作为卷积神经网络算法的训练数据集，及定位与构图算法的数据集；
单目机器人完成数据采集后，进行卷积神经网络场景分类，在运行ORB-SLAM构建的稀疏特征地图的基础上，结合分类信息构建语义关键帧的映射地图；
单目机器人重定位到感兴趣区域，进行半稠密地图重建；在半稠密重建算法中，加入像素点梯度筛选策略。


2.根据权利要求1所述的基于单目视觉的移动机器人半稠密地图构建方法，其特征在于，在半稠密重建算法中，加入像素点梯度筛选策略，减少地图重建的误差以及时间消耗；接着逆深度估计部分利用仿射变换约束提高归一化互相关匹配质量；算法中增添图像金字塔加快逆深度的收敛，同时改进深度信息的传递策略。


3.根据权利要求1所述的基于单目视觉的移动机器人半稠密地图构建方法，其特征在于，卷积神经网络共有5层，在包含softmax的同时，具有卷积层、池化层和全连接层，分别为2层、2层和1层；网络的输入是经过降维处理32*32的图像，第一层卷积层的卷积核为5*5，卷积核移动步幅为1；第二层卷积层的卷积核为5*5，卷积核移动步幅为1；池化层采用2*2规模的窗口，池化步幅为2，并通过均值法实现降采样；网络的最终输出为分类的概率。


4.根据权利要求1所述的基于单目视觉的移动机器人半稠密地图构建方法，其特征在于，语义关键帧具体是指：
Kframe＝{T_c_w,cyml,f,n,P}
其中，T_c_w表示相机的位姿信息；cyml表示相机内部参数，f表示当前关键帧中观测到的稀疏ORB特征，n为分类信息，P为分类的权重信息，Kframe表示语义关键帧。


5.根据权利要求1所述的基于单目视觉的移动机器人半稠密地图构建方法，其特征在于，所述像素点梯度筛选具体是指：
半稠密地图构建是基于灰度值匹配方法，其对光照十分敏感，为了在匹配过程中体现出足够的区分度，筛选出梯度明显的像素点；所谓梯度，即函数的变化率，图像是一个二维函数f(x,y),其偏微分为如式所示：



因为图像是一个离散的二维函数，f(x,y),f(x+ε,y),f(x,y+ε)表示相邻的像素值，ε表示相邻的单位，其在x和y方向上的像素梯度和的ε取值并不能无限趋于0，而图像是按照像素来离散的，ε所取的最小值是1像素；上述公式精简为：



式中g(x)，g(y)分别是图像在点(x,y)处关于x方向上的梯度和关于y方向上的梯度，f(x,y),f(x+1,y),f(x,y+1)表示相邻一个像素单位的像素点；两个方向的梯度可以用如下的方式复合在一起表示为：
M(x,y)＝|gx|+|gy|
式中M(x,y)表示复合导，g(x)，g(y)分别是图像在点(x,y)处关于x方向上的梯度和关于y方向上的梯度。


6.根据权利要求1所述的基于单目视觉的移动机器人半稠密地图构建方法，其特征在于，所述逆深度估计步骤分为三步：立体视觉匹配，极线搜索以及三角化恢复深度信息；
基于归一化互相关立体视觉匹配算法的计算方式如下：
为了进一步增强光照变化下的鲁棒性，通过在待匹配像素位置构建一个邻域匹配窗口，与目标像素位置构建同样大小的邻域匹配窗口的方式建立目标函数来对匹配窗口进行衡量相关性，本节这里构建相关窗口添加了仿射校正，否则匹配过程将消耗更多的计算资源，其主要思想是参考帧图片上一点附近都为一个平面且深度一样；其主要计算公式如下：
Pref＝fref*depth
pcurr＝F(T*Pref)
其中，Pref表示为根据仿射变换计算到参考帧影像上的坐标；fref表示像空间坐标；depth为深度，...

【专利技术属性】
技术研发人员：倪建军，杨也，朱金秀，史朋飞，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏;32