立体匹配方法及装置制造方法及图纸

技术编号:15618333 阅读:181 留言:0更新日期:2017-06-14 03:58
一种立体匹配方法及装置,适用于对第一及第二图像进行立体匹配。所述方法包括:将所述第一图像作为参考图像,获得所述不同视差距离对应的代价图像;对所述第一图像中各个像素点在不同视差距离时的匹配代价值进行代价聚合;根据代价聚合后的匹配代价值以及预设的第一惩罚系数和第二惩罚系数,分别对所述不同视差距离对应的代价图像在预设方向上进行动态规划操作,获得不同预设方向上,各像素点在不同视差距离时的累计匹配代价值,并根据所述累计匹配代价值获得对应像素点的实际视差值;对所获得的每个像素点的实际视差值进行求精处理,获得所述第一及第二图像的视差估计图。本发明专利技术既保证了立体匹配精确度,又降低了立体匹配过程的复杂度。

【技术实现步骤摘要】
立体匹配方法及装置
本专利技术涉及图像处理
,具体涉及一种立体匹配方法及装置。
技术介绍
随着双摄像头配置在手机等移动终端中日益广泛,一种适合手机等移动终端使用的双目图像深度估计方法变得十分重要。目前,在双目图像深度估计过程中,对镜头标定与矫正后,需要进行立体匹配,即估计其中一幅图像(例如左视图)每个像素点在另一图像(例如右视图)中的对应的立体匹配(StereoMatching)关系,由此可以获得该幅图像每个像素点的视差估计值,进而得到一张视差估计图(DisparityMap)。根据光学原理,该视差估计图反比于物体的实际距离,因此根据所述视差估计图可以获得对应的深度图像。由于计算能力的限制,早期的立体匹配算法大多是基于特征的稀疏匹配(SparseCorrespondence)算法,此类算法通过提取一些特征点,基于块相似的评价标准,在另一幅图像中搜索最为匹配的对应位置。随着计算能力的提升以及后续流程的需要,如今的立体匹配算法大多是稠密匹配(DenseCorrespondence)算法,相比与稀疏匹配算法,该类算法所获得是视差估计图更加精确,但实施也相对困难。利用稠密匹配算法进行立体匹配时,大致可以分为两类:基于局部的约束方法和基于全局的约束方法。然而,无论是基于局部的约束方法,还是基于全局的约束方法,均无法兼顾立体匹配的精确度及复杂度,难以应用于手机等用户终端。
技术实现思路
本专利技术要解决的问题是如何在保证立体匹配精确度的情况下,降低立体匹配过程的复杂度。为解决上述问题,本专利技术实施例提供了一种立体匹配方法,适用于对第一图像及第二图像进行立体匹配,所述方法包括:将所述第一图像作为参考图像,分别计算所述第一图像中各个像素点在不同视差距离时的匹配代价值,获得所述不同视差距离对应的代价图像;分别根据所述不同视差距离对应的代价图像,对所述第一图像中各个像素点在不同视差距离时的匹配代价值进行代价聚合;根据代价聚合后的匹配代价值以及预设的第一惩罚系数和第二惩罚系数,分别对所述不同视差距离对应的代价图像在预设方向上进行动态规划操作,获得不同预设方向上,各像素点在不同视差距离时的累计匹配代价值,并根据所述累计匹配代价值获得对应像素点的实际视差值,其中,所述第一惩罚系数为所述预设方向上像素点按照视差步长变化时的惩罚值;所述第二惩罚系数为所述预设方向上像素点按照非视差步长变化时的惩罚值,且与所述预设方向上像素点的视差距离变化值相关;对所获得的每个像素点的实际视差值进行求精处理,获得所述第一图像及第二图像的视差估计图。可选地,根据代价聚合后的匹配代价值以及预设的第一惩罚系数和第二惩罚系数,分别对所述不同视差距离对应的代价图像在预设方向上进行动态规划操作,获得不同预设方向上,各像素点在不同视差距离时的累计匹配代价值,包括:采用如下公式获得不同预设方向上,各像素点在不同视差距离时的累计匹配代价值:其中,q表示像素点q(x,y)的位置坐标;pf(p,d)为进行了代价聚合后的像素点q在视差距离为d时的代价值,Cr(q,d)和Cr(q-r,d)是对r方向动态规划过程中,q和p-r位置处的像素点在视差距离d时的累计匹配代价值。k表示待搜索的视差距离,且k∈[0,D]。(k-d)表示r方向上像素点的视差距离变化值。为q-r位置处的像素点在各视差距离时的累计匹配代价值中最小的值。P1为在r方向上像素点以视差步长为dstep进行变化时的惩罚值。κ1|k-d|+κ2表示在r方向上像素点以视差步长不为dstep进行变化时的惩罚值的增益倍数。κ1,κ2表示随着搜索方向相邻像素点视差差异增加时惩罚系数的增加程度,τ为搜索视差差异范围阈值。可选地,所述根据所述不同视差距离对应的代价图像,对所述第一图像中各个像素点在不同视差距离时的匹配代价值进行代价聚合,包括:获取所述第一图像的灰度图像,并将所述灰度图像作为引导图像;按照预设窗口,在所述引导图像及代价图像的降采样图像上,计算对所述第一图像中各个像素点在不同视差距离时的匹配代价值进行引导性滤波的系数,并在所述第一图像对应的尺度上进行滤波操作,获得所述第一图像中各个像素点在不同视差距离时对应的代价聚合后的匹配代价值。可选地,所述预设窗口为4×4或8×8的窗口。可选地,所述根据所述累计匹配代价值获得对应像素点的实际视差值,包括:累计所述第一图像上每个像素点在同一视差距离不同方向上的匹配代价值,获得所述像素点在同一视差距离的匹配代价和;选取所述像素点在不同视差距离的匹配代价和中的最小值,并将所选取的最小值作为所述像素点的实际视差值。可选地,所述对所获得的每个像素点的视差值进行求精处理,获得相应的视差估计图,包括:对所述各个像素点的实际视差值进行左右一致性检查;对未满足左右一致性检查的像素点以及所在深度块的面积小于预设阈值的像素点进行填充处理,获得填充后的视差估计图;根据左右一致性检查的结果以及所在深度块的面积大小,对所述填充后的视差估计图中各个像素点设置相应的权重系数,获得对应的权重图像;根据所述权重图像及所述填充后的视差估计图,得到不同视差距离下的权重图像,并分别对所述不同视差距离下的权重图像进行引导性加权中值滤波,获得最终的视差估计图。可选地,所述方法还包括:根据所获得的每个像素点在不同视差距离时的实际视差值估计对应的亚像素值,获得具有亚像素级别的视差估计图。本专利技术实施例还提供了一种立体匹配装置,适于对第一图像及第二图像进行立体匹配,所述装置包括:匹配代价计算单元,适于将所述第一图像作为参考图像,分别计算所述第一图像中各个像素点在不同视差距离时的匹配代价值,获得所述不同视差距离对应的代价图像;代价聚合单元,适于分别根据所述不同视差距离对应的代价图像,对所述第一图像中各个像素点在不同视差距离时的匹配代价值进行代价聚合;视差计算单元,适于根据代价聚合后的匹配代价值以及预设的第一惩罚系数和第二惩罚系数,分别对所述不同视差距离对应的代价图像在预设方向上进行动态规划操作,获得不同预设方向上,各像素点在不同视差距离时的累计匹配代价值,并根据所述累计匹配代价值获得对应像素点的实际视差值,其中,所述第一惩罚系数为所述预设方向上像素点按照视差步长变化时的惩罚值,所述第二惩罚系数为所述预设方向上像素点按照非视差步长变化时的惩罚值,且与所述预设方向上像素点的视差距离变化值相关;求精处理单元,适于对所获得的每个像素点的实际视差值进行求精处理,获得所述第一图像及第二图像的视差估计图。可选地,所述视差计算单元采用如下公式获得不同预设方向上,各像素点在不同视差距离时的累计匹配代价值:其中,q表示像素点q(x,y)的位置坐标;pf(p,d)为进行了代价聚合后的像素点q在视差距离为d时的代价值,Cr(q,d)和Cr(q-r,d)是对r方向动态规划过程中,q和p-r位置处的像素点在视差距离d时的累计匹配代价值;k表示待搜索的视差距离,且k∈[0,D];(k-d)表示r方向上像素点的视差距离变化值;为q-r位置处的像素点在各视差距离时的累计匹配代价值中最小的值;P1为在r方向上像素点以视差步长为dstep进行变化时的惩罚值;κ1|k-d|+κ2表示在r方向上像素点以视差步长不为dstep进行变化时的惩罚值的增益本文档来自技高网...
立体匹配方法及装置

【技术保护点】
一种立体匹配方法,适用于对第一图像及第二图像进行立体匹配,其特征在于,包括:将所述第一图像作为参考图像,分别计算所述第一图像中各个像素点在不同视差距离时的匹配代价值,获得所述不同视差距离对应的代价图像;分别根据所述不同视差距离对应的代价图像,对所述第一图像中各个像素点在不同视差距离时的匹配代价值进行代价聚合;根据代价聚合后的匹配代价值以及预设的第一惩罚系数和第二惩罚系数,分别对所述不同视差距离对应的代价图像在预设方向上进行动态规划操作,获得不同预设方向上,各像素点在不同视差距离时的累计匹配代价值,并根据所述累计匹配代价值获得对应像素点的实际视差值,其中,所述第一惩罚系数为所述预设方向上像素点按照视差步长变化时的惩罚值;所述第二惩罚系数为所述预设方向上像素点按照非视差步长变化时的惩罚值,且与所述预设方向上像素点的视差距离变化值相关;对所获得的每个像素点的实际视差值进行求精处理,获得所述第一图像及第二图像的视差估计图。

【技术特征摘要】
1.一种立体匹配方法,适用于对第一图像及第二图像进行立体匹配,其特征在于,包括:将所述第一图像作为参考图像,分别计算所述第一图像中各个像素点在不同视差距离时的匹配代价值,获得所述不同视差距离对应的代价图像;分别根据所述不同视差距离对应的代价图像,对所述第一图像中各个像素点在不同视差距离时的匹配代价值进行代价聚合;根据代价聚合后的匹配代价值以及预设的第一惩罚系数和第二惩罚系数,分别对所述不同视差距离对应的代价图像在预设方向上进行动态规划操作,获得不同预设方向上,各像素点在不同视差距离时的累计匹配代价值,并根据所述累计匹配代价值获得对应像素点的实际视差值,其中,所述第一惩罚系数为所述预设方向上像素点按照视差步长变化时的惩罚值;所述第二惩罚系数为所述预设方向上像素点按照非视差步长变化时的惩罚值,且与所述预设方向上像素点的视差距离变化值相关;对所获得的每个像素点的实际视差值进行求精处理,获得所述第一图像及第二图像的视差估计图。2.如权利要求1所述的立体匹配方法,其特征在于,根据代价聚合后的匹配代价值以及预设的第一惩罚系数和第二惩罚系数,分别对所述不同视差距离对应的代价图像在预设方向上进行动态规划操作,获得不同预设方向上,各像素点在不同视差距离时的累计匹配代价值,包括:采用如下公式获得不同预设方向上,各像素点在不同视差距离时的累计匹配代价值:其中,q表示像素点q(x,y)的位置坐标;pf(p,d)为进行了代价聚合后的像素点q在视差距离为d时的代价值,Cr(q,d)和Cr(q-r,d)是对r方向动态规划过程中,q和p-r位置处的像素点在视差距离d时的累计匹配代价值;k表示待搜索的视差距离,且k∈[0,D];(k-d)表示r方向上像素点的视差距离变化值;为q-r位置处的像素点在各视差距离时的累计匹配代价值中最小的值;P1为在r方向上像素点以视差步长为dstep进行变化时的惩罚值;κ1|k-d|+κ2表示在r方向上像素点以视差步长不为dstep进行变化时的惩罚值的增益倍数;κ1,κ2表示随着搜索方向相邻像素点视差差异增加时惩罚系数的增加程度,τ为搜索视差差异范围阈值。3.如权利要求1所述的立体匹配方法,其特征在于,所述根据所述不同视差距离对应的代价图像,对所述第一图像中各个像素点在不同视差距离时的匹配代价值进行代价聚合,包括:获取所述第一图像的灰度图像,并将所述灰度图像作为引导图像;按照预设窗口,在所述引导图像及代价图像的降采样图像上,计算对所述第一图像中各个像素点在不同视差距离时的匹配代价值进行引导性滤波的系数,并在所述第一图像对应的尺度上进行滤波操作,获得所述第一图像中各个像素点在不同视差距离时对应的代价聚合后的匹配代价值。4.如权利要求3所述的立体匹配方法,其特征在于,所述预设窗口为4×4或8×8的窗口。5.如权利要求1所述的立体匹配方法,其特征在于,所述根据所述累计匹配代价值获得对应像素点的实际视差值,包括:累计所述第一图像上每个像素点在同一视差距离不同方向上的匹配代价值,获得所述像素点在同一视差距离的匹配代价和;选取所述像素点在不同视差距离的匹配代价和中的最小值,并将所选取的最小值作为所述像素点的实际视差值。6.如权利要求1-5任一项所述的立体匹配方法,其特征在于,所述对所获得的每个像素点的视差值进行求精处理,获得相应的视差估计图,包括:对所述各个像素点的实际视差值进行左右一致性检查;对未满足左右一致性检查的像素点以及所在深度块的面积小于预设阈值的像素点进行填充处理,获得填充后的视差估计图;根据左右一致性检查的结果以及所在深度块的面积大小,对所述填充后的视差估计图中各个像素点设置相应的权重系数,获得对应的权重图像;根据所述权重图像及所述填充后的视差估计图,得到不同视差距离下的权重图像,并分别对所述不同视差距离下的权重图像进行引导性加权中值滤波,获得最终的视差估计图。7.如权利要求1-5任一项所述的立体匹配方法,其特征在于,还包括:根据所获得...

【专利技术属性】
技术研发人员:陈敏杰郭春磊李昂林福辉
申请(专利权)人:展讯通信上海有限公司
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1