【技术实现步骤摘要】
一种基于ZNCC算法和神经网络的实时立体匹配方法
[0001]本专利技术属于计算机视觉领域,具体涉及一种基于ZNCC算法和神经网络的实时立体匹配方法。
技术介绍
[0002]立体视觉匹配是三维重建过程中的重要步骤,一般是通过2个或多个图像采集器,通过对同一时刻两采集器采集到的一对图像进行立体匹配,得到图像中各像素点的视差值,并可以进一步将视差值转换为深度值。立体视觉匹配的过程可以分为深度图像计算与深度图像优化两个步骤,当前的立体视觉匹配算法可以分为传统算法与神经网络算法,一般来说,基于神经网络算法搭建的立体匹配系统精确度更高,而基于传统算法的立体匹配系统运行速度更快。
[0003]在实际应用的过程中,受限于电源设备,只能采取低功耗的嵌入式设备进行立体视觉匹配。低功耗的嵌入式设备计算能力有限,导致基于神经网络算法搭建的立体视觉匹配系统难以达到实际应用的需要。而直接利用传统算法进行立体视觉匹配,其精度难以达到实际应用需要。
技术实现思路
[0004]专利技术目的:针对上述现有技术,提出一种基于ZNCC算法和神经网络的实时立体匹配方法,能既快速又准确的通过目标图像与参考图像计算出深度图像,实现速度与精度的平衡。
[0005]技术方案:一种基于ZNCC算法和神经网络的实时立体匹配方法,包括:
[0006]步骤1:对输入的RGB图像进行下采样并转灰度图,得到低分辨率的灰度图像;
[0007]步骤2:利用ZNCC算法、半全局算法、胜者通吃算法、单片匹配相优化进行快速立体视觉匹配,得 ...
【技术保护点】
【技术特征摘要】
1.一种基于ZNCC算法和神经网络的实时立体匹配方法,其特征在于,包括:步骤1:对输入的RGB图像进行下采样并转灰度图,得到低分辨率的灰度图像;步骤2:利用ZNCC算法、半全局算法、胜者通吃算法、单片匹配相优化进行快速立体视觉匹配,得到误差较大且低分辨率的视差图;步骤3:利用神经网络对步骤2得到的视差图进行放大优化,得到原始分辨率的视差图;步骤4:将步骤3得到的视差图转换为深度图像。2.根据权利要求1所述的实时立体匹配方法,其特征在于,所述步骤2包括如下子步骤:步骤2
‑
1:将步骤1得到的灰度图像利用ZNCC算法计算匹配成本,具体包括:定义匹配窗口W,根据下式计算参考图与目标图中像素点的差异:其中,其中,以及:以及:式中,C(x,y,d)表示I
R
(x,y)和I
T
(x
‑
d,y)两个像素点之间的相似度,即为匹配成本,(x,y)、d分别表示坐标与视差,C(x,y,d)的值在0到1之间,值越小,两个像素点越相似;ΔI
R
(x,y)表示参考图中的像素点I
R
(x,y)减去其邻域的均值之后的结果;ΔI
T
(x
‑
d,y)表示目标图中的像素点I
T
(x
‑
d,y)减去其邻域均值之后的结果;σ
R
(x,y)和σ
T
(x
‑
d,y)是匹配窗口W中像素值的标准差;和是匹配窗口W中像素值的平均值;步骤2
‑
2:将步骤2
‑
1得到的匹配成本通过半全局算法进行聚合,具体公式如下:其中,C
r
(x,y,d)表示在r方向上匹配成本的聚合,r代表任意方向;C
r
(x
‑
r,y,d)表示在r方向上位于点(x,y)前面的所有像素视差为d的匹配成本的聚合;C
r
(x
‑
r,y,d+1)表示在r方向上位于点(x,y)前面的所有像素视差为(d+1)的匹配成本的聚合;C
r
(x
‑
r,y,d
‑
1)表示在r方向上位于点(x,y)前面的所有像素视差为(d
‑
1)的匹配成本的聚合;P1与P2是惩罚系数;C
r
(x
‑
r,y,i)表示在r方向上位于点(x,y)前面的所有像素视差为i的匹配成本的聚合,i为除了d与(d
±
1)以外的任意视差值;k为使得在r方向上位于坐标(x,y)前面的所有像素匹配成本聚合最小的视差值;
最终的成本值C
SGM
(x,y,d)从不同方向汇总如下:最后,通过胜者通吃(WTA)算法获取初始低分辨率的视差图,具体公式如下:D
map
(x,y)=argmin
d
(C
SGM
(x,y,d))其中,D
map
(x,y)表示低分辨率视差图中坐标为(x,y)像素点的值;步骤2
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。