一种基于单目相机进行稠密建图的方法技术

本发明专利技术公开了一种基于单目相机进行稠密建图的方法，包括：将单目相机拍摄下的一段视频，以灰度图的形式读取每一帧图像，对参考帧进行梯度和深度剔除；用极线搜索方法查找当前帧上每个像素块与参考帧上余下像素块对应的位置，本发明专利技术用单目相机拍摄的视频，先以第一帧为参考帧，每次通过传感器读取当前相机的位姿，求出参考帧每个像素在当前帧对应的位置，通过三角化求出当前帧像素块与参考帧对应像素块所指向的空间点的深度，再以第二帧为参考帧，重复操作，直到得到单目相机拍摄视频中每一帧上用于稠密建图的像素块的空间位置，从而实现稠密建图，具有成本低、效率高、准确度高等优点。优点。优点。

【技术实现步骤摘要】
一种基于单目相机进行稠密建图的方法


[0001]本专利技术涉及计算机图像信息
，具体涉及一种基于单目相机进行稠密建图的方法。

技术介绍

[0002]当一个设备在空间要求具有导航和避障等功能时，它就需要用相机建立起稠密或半稠密地图，即获得视频中每个像素对应的空间点坐标。这其中最重要的就是获得点的深度（空间点到相机光心的距离）。目前主流的建图方法采用RGBD相机和双目相机。
[0003]采用双目相机进行稠密建图之前，需要对双目相机进行标定和配置，较为复杂。测量范围受基线长度影响。深度计算复杂，在特殊情况下视差图并不会生成。
[0004]采用RGBD相机进行稠密建图的原理是通过“结构光”或“飞行时间”来测量深度。RGBD相机发射红外光到物体上，红外光再被物体反射回来。“结构光”原理通过检测反射的红外光结构发生的变化来确定深度，“飞行时间”则是通过检测发送到接收的时间来计算深度，红外光会受到日光的干扰，在户外使用时，稠密地图十分粗糙以致于不能使用，另外，由于RGBD利用时间的特性和红外光穿透能力强的特性，所以不适用于对运动物体和透射材质的测量。

技术实现思路

[0005]本专利技术的目的是针对现有稠密建图中，RGBD相机易受日光干扰、视场小，双目相机标定复杂、算力消耗大、成本高的缺点，而提供一种基于单目相机进行稠密建图的方法。
[0006]为实现上述目的，本专利技术采用如下技术方案：一种基于单目相机进行稠密建图的方法，包括：第一步，将单目相机拍摄下的一段视频，以灰度图的形式读取第一帧图像，先以第一帧为参考帧，初始化深度滤波器的深度均值和深度方差；第二步，梯度剔除；以灰度图的形式读取第二帧图像，遍历参考帧上的每个像素块，计算每个像素块的灰度梯度，如果某个像素块的梯度的2范数小于设定的阈值，则剔除该像素块；第三步，深度剔除；遍历参考帧上经梯度剔除余下的其他像素块，读取深度滤波器存储的每个像素块的深度方差值，如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差，说明该像素块的深度已收敛或发散，则剔除该像素块；第四步，遍历第二帧图像上的像素块，用极线搜索方法查找每个像素块与所述参考帧上经第二、第三步剔除后余下像素块对应的位置；如果查找到参考帧上某个像素块在当前第二帧对应的位置，则通过三角化方法求出参考帧上该像素块的深度均值和深度方差，并将该深度均值和深度方差存入深度滤波器中，用于更新深度滤波器，对查找到的参考帧与当前第二帧有对应位置的所有像素块重复该步骤，直到每个像素块的深度都收敛；通过传感器得到当前相机在世界坐标系的位姿TWC，通过该位姿TWC的逆乘上参考帧在世界坐
标系的位姿TWR，得到参考帧到当前第二帧的位姿TCR；第五步，以灰度图的形式读取第三帧图像，遍历参考帧上经梯度剔除余下的其他像素块，读取深度滤波器存储的每个像素块的深度方差值，如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差，说明该像素块的深度已收敛或发散，则剔除该像素块；第六步，遍历第三帧图像上的像素块，以第四步所述方法得到第三帧与参考帧对应的所有像素块，得到参考帧到当前第三帧的位姿TCR；重复第五和第六步，遍历第四帧及之后的每一帧，直到查找得到单目相机拍摄视频中每一帧与该参考帧对应的所有像素块，通过三角化方法求出该参考帧上这些像素块的深度；再以第二帧为参考帧，重复上述步骤，遍历第三帧及之后的每一帧，直到查找得到单目相机拍摄视频中每一帧与该参考帧对应的所有像素块，通过三角化方法求出该参考帧上这些像素块的深度；重复上述步骤，得到单目相机拍摄视频中每一帧上用于稠密建图的像素块的空间位置，从而实现稠密建图，具有成本低、效率高、准确度高等优点。
[0007]只有参考帧需要剔除，当前帧都是被搜索的，不需要剔除。
[0008]具体地，第四步中极线搜索方法为：假设第一帧像素块x对应第二帧像素块y，将第一帧像素块x的像素坐标转化成归一化坐标，乘上深度均值，再左乘位姿TCR，转换回像素坐标，这样就得到了深度均值点在当前帧的像素位置；将深度均值取倒数，加减三倍的深度标准差得出需要搜索的深度的最小值和最大值的倒数，深度标准差为深度方差的开方，将第一帧该像素块的像素坐标转化为归一化坐标，乘上深度最值，再左乘位姿TCR，转换回像素坐标，得到深度最值点在当前帧的像素位置。
[0009]获得深度均值点在第二帧的位置和深度最值，即深度最大值和深度最小值点在当前帧的位置，就可以确定极线的方向和搜索的范围，即要找的点P对于参考帧的深度大于深度最小值，小于深度最大值。
[0010]具体地，沿着极线以一定步长遍历像素块，求出当前帧与参考帧上两个像素块之间的去均值NCC，如果分数大于阈值，则这两个像素块匹配对应，反之说明在当前帧上找不到与参考帧匹配的像素块，即匹配失败。
[0011]进一步地，将参考帧的像素坐标转成归一化坐标，乘上当前的深度，左乘位姿，再转化成当前帧的像素坐标；对于像素块中的每个像素，累加它们的灰度值，最后取平均值，然后代入公式求出NCC分数，公式为：其中，A为参考帧的像素块，B为当前帧的像素块，A(i,j) 为参考帧上某个像素块的像素灰度值，B(i,j)为当前帧上某个像素块的像素灰度值；为参考帧某个像素块的灰度均值，为当前帧某个像素块的灰度均值。
[0012]本专利技术的有益效果在于：本专利技术采用单目相机，不需要复杂的标定和配置，只需要拍照即可。因为其稠密建图全部依赖于软件，利用逆深度就可以测量很远的距离；由于单目相机不需要发射光线，所以在户外条件下工作良好，可以检测透射材质。
附图说明
[0013]图1显示了极线搜索原理。
具体实施方式
[0014]一种基于单目相机进行稠密建图的方法，其特征在于，包括：第一步，将单目相机拍摄下的一段视频，以灰度图的形式读取第一帧图像，先以第一帧为参考帧，初始化深度滤波器的深度均值和深度方差；第二步，梯度剔除；以灰度图的形式读取第二帧图像，遍历参考帧上的每个像素块，计算每个像素块的灰度梯度，如果某个像素块的梯度的2范数小于设定的阈值，则剔除该像素块；第三步，深度剔除；遍历参考帧上经梯度剔除余下的其他像素块，读取深度滤波器存储的每个像素块的深度方差值，如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差，说明该像素块的深度已收敛或发散，则剔除该像素块；第四步，遍历第二帧图像上的像素块，用极线搜索方法查找每个像素块与所述参考帧上经第二、第三步剔除后余下像素块对应的位置；如果查找到参考帧上某个像素块在当前第二帧对应的位置，则通过三角化方法求出参考帧上该像素块的深度均值和深度方差，并将该深度均值和深度方差存入深度滤波器中，用于更新深度滤波器，对查找到的参考帧与当前第二帧有对应位置的所有像素块重复该步骤，直到每个像素块的深度都收敛；通过传感器得到当前相机在世界坐标系的位姿TWC，通过该位姿TWC的逆乘上参考帧在世界坐标系的位姿TWR，得到参考帧到当前第二帧的位姿TCR；如图1所示，参考帧上的像素点p1对应的空间点的位置在射线O1p1上，准确来说在d标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目相机进行稠密建图的方法，其特征在于，包括：第一步，将单目相机拍摄下的一段视频，以灰度图的形式读取第一帧图像，先以第一帧为参考帧，初始化深度滤波器的深度均值和深度方差；第二步，梯度剔除；以灰度图的形式读取第二帧图像，遍历参考帧上的每个像素块，计算每个像素块的灰度梯度，如果某个像素块的梯度的2范数小于设定的阈值，则剔除该像素块；第三步，深度剔除；遍历参考帧上经梯度剔除余下的其他像素块，读取深度滤波器存储的每个像素块的深度方差值，如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差，说明该像素块的深度已收敛或发散，则剔除该像素块；第四步，遍历第二帧图像上的像素块，用极线搜索方法查找每个像素块与所述参考帧上经第二、第三步剔除后余下像素块对应的位置；如果查找到参考帧上某个像素块在当前第二帧对应的位置，则通过三角化方法求出参考帧上该像素块的深度均值和深度方差，并将该深度均值和深度方差存入深度滤波器中，用于更新深度滤波器，对查找到的参考帧与当前第二帧有对应位置的所有像素块重复该步骤，直到每个像素块的深度都收敛；通过传感器得到当前相机在世界坐标系的位姿TWC，通过该位姿TWC的逆乘上参考帧在世界坐标系的位姿TWR，得到参考帧到当前第二帧的位姿TCR；第五步，以灰度图的形式读取第三帧图像，遍历参考帧上经梯度剔除余下的其他像素块，读取深度滤波器存储的每个像素块的深度方差值，如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差，说明该像素块的深度已收敛或发散，则剔除该像素块；第六步，遍历第三帧图像上的像素块，以第四步所述方法得到第三帧与参考帧对应的所有像素块，得到参考帧到当前第三帧的位姿TCR；重复第五和第六步，遍历第四帧及之后的每一帧，直到查找得到单目相机拍摄视频中每一帧与该参考...

【专利技术属性】
技术研发人员：戴宇晗，牛潞东，余彰恒，
申请(专利权)人：河海大学，
类型：发明
国别省市：