一种基于仿生眼的双目主动视觉半稠密深度估计方法技术

一种基于仿生眼的双目主动视觉半稠密深度估计方法，其特征在于，包括以下步骤：

【技术实现步骤摘要】
一种基于仿生眼的双目主动视觉半稠密深度估计方法


[0001]本专利技术属于计算机视觉
，涉及仿生眼运动控制
、
相机位姿与路标点坐标估计优化和半稠密深度估计问题，具体涉及一种基于仿生眼的双目主动视觉半稠密深度估计方法
。

技术介绍

[0002]在机器人领域，移动机器人在未知环境中的自主导航能力一直是一个备受瞩目且至关重要的研究方向
。SLAM
技术为移动机器人在未知环境中定位自身位置并构建地图提供了关键解决方案
。
双目被动视觉和单目被动视觉
SLAM
在目前
SLAM
领域中有较多研究
。
然而，在有动态物体
、
纹理分布不均的室外及大场景场合中，传统被动视觉
SLAM
仍然存在诸多的限制，导致算法的精度和鲁棒性受到影响甚至导致算法的失效
。
其原因是相机无法主动选择拍摄的场景，从而无法避免纹理分布较低区域和动态物体对于
SLAM
算法的负面影响/>。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于仿生眼的双目主动视觉半稠密深度估计方法，其特征在于，包括以下步骤：
S100
，利用双目仿生眼相机采集图像；
S200
，将
S100
采集到的图像输入到
SLAM
系统中，利用
SLAM
系统追踪关键帧并估计相机位姿和路标点坐标；
S300
，利用
S200
获取的关键帧位姿和其对应关键帧图像数据，通过极线搜索
、
块匹配结合三角测量，再利用深度滤波器实现半稠密的深度估计，具体是：
S301
，选定进入步骤
S300
的一帧为参考关键帧，将参考关键帧所对应图像数据中所有像素深度所对应的逆深度假设为满足一个初始的高斯分布，为后续的深度信息融合提供一个初值；
S302
，插入新的关键帧，通过极线搜索和块匹配确定投影点位置；
S303
，根据参考关键帧和当前关键帧之间的几何关系计算三角化后的三维点深度及其不确定性；
S304
，将当前观测深度所对应逆深度的高斯分布融合进上一次的估计中建立融合后逆深度的分布；若不确定性小于一定阈值，则认为深度数据收敛，确定三维点深度，否则返回步骤
S302
继续进行信息融合
。2.
如权利要求1所示的基于仿生眼的双目主动视觉半稠密深度估计方法，其特征在于，所述步骤
S302
具体是：设参考关键帧所对应图像中的一个像素为
u1，该像素所对应的深度范围在当前关键帧所对应图像中的投影为一条极线
l2；将参考关键帧所对应图像记为
I
k
，当前关键帧所对应图像记为
I
t
，世界坐标系相对于参考关键帧和当前关键帧的旋转矩阵分别为
R
kw
和
R
tw
，世界坐标系相对于参考关键帧和当前关键帧的平移向量分别为
t
kW
和
t
tW
，通过标定得左相机的内参
K
L
，则参考关键帧和当前关键帧所对应图像在像素坐标系下的相互关系为：其中，
u
k
为参考关键帧中的一个像素，
d
k
为该像素所对应的空间点深度；当得知
d
k
、u
k
时，就可以计算出
u
t
的位置；当给
u
k
的两个分量再增加一个增量
du、dv
时，可以算出
u
t
的增量
du
t
、dv
t
，由此得到局部范围内关键帧和当前帧图像坐标变换的一个线性关系构成的仿射变换：接着，根据仿射变换矩阵，将相机的旋转考虑进块匹配：取
u1周围的像素块为同时把
l2上的像素块记为使用去均值的归一化互相关方式比较
u1周围像素块和极线上像素块的相关性；当像素块梯度与极线所夹的夹角较大时，块匹配的可信度较低，因此此处只匹配像素梯度在极线方向或在极线方向一定阈值内的像素块，根据
NCC
的定义，有：
确定步长后，通过遍历对应极线上规定像素块与源像素块的
NCC
值，可以得到一个非凸的
NCC
分布函数，寻找
NCC
最高的点作为源像素块的匹配像素块
。3.
如权利要求2所示的基于仿生眼的双目主动视觉半稠密深度估计方法，其特征在于，步骤
S302
中，若块匹配得到的最高
NCC
值仍低于阈值，则认为此当前关键帧所对应图像中对于源像素块的极线搜索与块匹配失效，进入新的关键帧以及与之对应且经
S200
之
SLAM
系统优化后的相机位姿后，再进行匹配与信息融合收敛
。4.
如权利要求1所示的基于仿生眼的双目主动视觉半稠密深度估计方法，其特征在于，所述步骤
S303
中，通过三角测量对三维点深度进行计算，计算方式如下：设有两帧图像分别为
I1与
I2，以
I1作为参考，
I2的变换矩阵为
T
；相机光心为
O1与
O2；在
I1中有一个特征点
p1，对应
I2中有特征点
p2，连接光心
O1与特征点
p1，光心
O2与特征点
p2，得到射线
O1p1与
O2p2；在相机不作纯平移运动时，直线
O1p1与
O2p2在场景中相交于一点
P
，该点是两个特征点
p1与
p2所对应的地图点在三维场景中的位置；设
x1与
x2为特征点
p1与
p2所对应的归一化坐标，则其关系满足：
s2x2＝
s1Rx1+t
，其中
s1与
s2分别为两个特征点
p1与
p2的深度，旋转矩阵
R
和平移向量
t
已知；从几何角度，可以在射线
O1p1上寻找三维点使其投影位置接近
p2，同理也可以在射线
O2p2上寻找；以计算
s1为例，变换上式得到只关于
s1的方程：解方程直接求得
s1；同理求得
s2；此时初步确定两个特征点的深度；因噪声影响
O1p1与
O2p2无法相交时，通过最小二乘法求解
。5.
如权利要求4所示的基于仿生眼的双目主动视觉半稠密深度估计方法，其特征在于，当不断出现新的当前关键帧利用极线搜索和块匹配来找到对应像素块并利用三角测量来估计深度时，都会计算其在参考关键帧中的观测深度并转化为逆深度，此时的逆深度同样为一个高斯分布：其中，通过极线搜索后像素的误差结合三角测量几何关系计算出的深度偏差而获得
。6.
如权利要求1所示的基于仿生眼的双目主动视...

【专利技术属性】
技术研发人员：李恒宇，刘峻玮，刘靖逸，刘军，王曰英，谢少荣，罗均，
申请(专利权)人：济宁学院，
类型：发明
国别省市：