一种基于时空滤波的景深时空一致性及精度增强的方法技术

本发明专利技术公开了一种基于时空滤波的景深时空一致性及精度增强的方法，通过采用景深时空一致性及精度增强滤波器进行时空滤波实现，该景深时空一致性及精度增强滤波器为三维时空滤波器，维度分别是时间维度和图像平面维度，通过在时间维度以及图像平面维度滑动滤波核对景深流进行时空滤波，滤波核大小固定，且该滤波核的值由像素点的静止概率、景深可靠度、像素空间距离和像素色彩差值所对应的滤波权重因子共同组成，可以自适应变化，用于提升通过立体匹配得到的景深质量。

【技术实现步骤摘要】

本专利技术涉及一种基于时空滤波的景深时空一致性及精度增强的方法，用于提升通过立体匹配算法得到的景深流质量，属于计算机视觉领域和图像处理领域。
技术介绍
景深(场景深度)是计算机视觉领域一个非常重要的概念，表示场景中物体与摄像机之间的距离，它为传统的二维图像增加了三维信息，在人机交互、虚拟现实、3D打印等领域具有广泛应用。景深提取有主动和被动两种方式。主动方式是指利用Kinect或者ToF等深度传感器直接采集，这种方式的优点是速度快，精度高；缺点是景深图像分辨率低，不能和色彩图像完全匹配，一般用于室内环境。被动方式是指通过立体匹配找到空间中同一点在左右图像上投影位置的坐标对应关系，计算对应点在校准后图像上的水平方向的视差，然后根据摄像机参数和三角测量原理，把视差值转换为深度值。立体匹配提取景深的优点是景深图分辨率能与原图一致，并且这种方法在室内和室外场景都适用；但是由于立体匹配算法的复杂性和不稳定性，目前通过立体匹配算法获得的景深流通常存在时空不一致的问题。时间不一致表现为静止区域的在景深流的不同帧之间存在的高频闪烁问题；空间不一致表现为平面物体的景深噪声或是物体边界轮廓不准确的问题。为了解决景深流的时空不一致问题，传统方法是对景深流进行平滑滤波处理以消除时域中景深流的跳变以及景深平面中的噪声，但是这类方法存在两个缺点：1)运动区域和静止区域采用相同的平滑滤波策略，容易导致运动区域的景深精度遭到破坏；2)平滑景深的时候没有考虑到景深的可靠度，容易导致不可靠景深在时空域中传播，从而使得滤波后的景深精度下降。总之，传统的景深增强方法尽管能够解决景深流的时空不一致问题，但是它们会导致滤波后景深精度的下降。传统的景深增强方法尚不能同时解决景深流的时空不一致，以及景深流精度提升这两个问题。
技术实现思路
本专利技术所要解决的技术问题是提出一种时空滤波器用于景深流的增强处理，通过在时空滤波器中引入像素的静止概率和景深可靠度作为滤波权重因子，达到同时提升景深流时空一致性及景深精度的目的。为了解决上述技术问题，本专利技术提供了一种基于时空滤波的景深时空一致性及精度增强的方法，通过采用景深时空一致性及精度增强滤波器进行时空滤波实现，该景深时空一致性及精度增强滤波器为三维时空滤波器，维度分别是时间维度和图像平面维度，通过在时间维度以及图像平面维度滑动滤波核对景深流进行时空滤波，滤波核的维度由时间维度和图像平面维度组成，滤波核大小固定，且该滤波核的值由像素点的静止概率、景深可靠度、像素空间距离和像素色彩差值所对应的滤波权重因子共同组成，可以自适应变化；通过在景深图中滑动滤波核完成对景深的时空滤波。进一步的，在滤波核空间的滤波过程由式10定义：其中，d表示像素的原始景深，d′表示像素通过时空滤波器增强之后的景深，wkernl(x+Δx,y+Δy,t+Δt)代表由像素点的静止概率、景深可靠度、像素空间距离和像素色彩差值所对应的滤波权重因子所综合而成的滤波核的值。具体包括以下步骤：A检测视频流中每个像素点的静止概率；B检测景深流中每个像素点的景深可靠度；C计算景深时空一致性及精度增强滤波器的权重因子；D对景深流进行时空滤波。步骤A中所述的检测视频流中每个像素点的静止概率，具体步骤如下：A1首先把彩色视频流转换为灰度视频流；A2然后计算以每个像素点为中心的矩形窗口内相邻两帧灰度图像之间的SSIM值。步骤B中所述的检测景深流中每个像素点的景深可靠度，具体步骤如下：B1首先根据三角测距原理把左、右两路景深流转换为视差流；B2然后检测每个像素点是否在左、右视差图中存在相互映射的关系，如果相互映射的关系存在，即像素点通过左右一致性检测，那么就表示像素点的可靠度高；反之，如果不能通过左右一致性检测，那么就表示该像素点可靠度低。步骤C中所述的计算景深时空一致性及精度增强滤波器的权重因子，具体步骤如下：C1计算像素点静止概率所对应的滤波权重，计算原则为：如果滤波窗口内任意像素点静止的概率越大，那么景深随时间变化的可能性就越低，也就是说该像素点与滤波中心点景深一致的可能性越大，那么该像素点对滤波中心点提供的支持就越多，即滤波权重更大；C2计算像素点景深可靠度所对应的权重因子，计算原则为：如果滤波窗口内任意像素点的景深可靠度越高，那么该像素点对滤波中心点景深提供的有效支持就越多，即滤波权重更大；C3计算像素点空间距离所对应的权重因子，计算原则为：如果滤波窗口内任意像素点与滤波中心点的距离越近，那么像素之间景深的相似度就越高，从而该像素点对滤波中心点提供的有效支持就越多，即滤波权重更大，像素空间距离由X坐标的偏移Δx、Y坐标的偏移Δy和时间间隔Δt共同组成；C4计算像素点色彩差值所对应的权重因子，计算原则为：如果滤波窗口内任意像素点与滤波中心点的色彩差值越小，那么像素之间景深的相似度就越高，从而该像素点对滤波中心点提供的有效支持就越多，即滤波权重更大。步骤D中所述的对景深流进行时空滤波，通过在景深图中滑动滤波核进行滤波完成，以提升景深的时空一致性及景深精度，滤波核的值由像素的静止概率、景深可靠度、像素空间距离和像素色彩差值所对应的滤波权重因子共同组成。至此，一种基于时空滤波的景深时空一致性及精度增强的方法执行完毕。本专利技术的有益效果是：相比现有的景深增强方法，本专利技术不仅可以解决景深流的时空不一致问题，同时还能提升景深流的精度。附图说明图1为一种基于时空滤波的景深时空一致性及精度增强的方法的流程图；图2为时空滤波器时空域信息的示意图；图3为左右一致性检测通过和不通过情况的示意图；图4为根据左右一致性检测得到的左路景深二值化可靠度的示意图，黑色表示不可靠区域，白色表示可靠区域。具体实施方式以下结合附图和实施例对本专利技术专利做进一步说明。参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。如图1所示，本专利技术提出的一种基于时空滤波的景深时空一致性及精度增强的方法包括以下步骤：A检测视频流中每个像素点的静止概率；B检测景深流中每个像素点的景深可靠度；C计算景深时空一致性及精度增强滤波器的权重因子；D对景深流进行时空滤波。步骤A：检测视频流中每个像素点的静止概率，静止概率由局部结构相似性指标(SSIM)表示。首先把彩色视频流转换为灰度视频流，然后计算以每个像素点为中心的矩形窗口内相邻两帧灰度图像之间的SSIM值，SSIM越大，表示静止概率越高；SSIM越小，表示静止概率越低。在本实施例中，步骤A的具体实施步骤如下：A1将彩色视频流转换为灰度视频流，对任意转换成灰度的视频流的方法都适用，本实施例的转换公式由式1定义：Gray＝0.299×R+0.587×G+0.114×B(1)A2计算以每个像素点为中心的矩形窗口内相邻两帧灰度图像之间的SSIM值。具体的实施步骤为：首先以(x,y)为中心划定一个大小为5×5的局部窗口，分别计算两帧灰度图像在窗口内平均值μt+Δt(x,y)，μt(x,y)和标准差σt+Δt(x,y)，σt(x,y)；然后计算两帧灰度图像之间的协方差σt+Δt,t(x,y)；最后，根据式2求结构相似性指标：其中，Δt∈[-4,0]，C1，C2皆为常数。SSIMt+Δt,t(x,y)表示像素(x,y)在t与t+Δt两帧灰度图像之间的本文档来自技高网...

【技术保护点】
一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，通过采用景深时空一致性及精度增强滤波器进行时空滤波实现，该景深时空一致性及精度增强滤波器为三维时空滤波器，维度分别是时间维度和图像平面维度，通过在时间维度以及图像平面维度滑动滤波核对景深流进行时空滤波，滤波核的维度由时间维度和图像平面维度组成，滤波核大小固定，且该滤波核的值由像素点的静止概率、景深可靠度、像素空间距离和像素色彩差值所对应的滤波权重因子共同组成，可以自适应变化；通过在景深图中滑动滤波核完成对景深的时空滤波。

【技术特征摘要】
1.一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，通过采用景深时空一致性及精度增强滤波器进行时空滤波实现，该景深时空一致性及精度增强滤波器为三维时空滤波器，维度分别是时间维度和图像平面维度，通过在时间维度以及图像平面维度滑动滤波核对景深流进行时空滤波，滤波核的维度由时间维度和图像平面维度组成，滤波核大小固定，且该滤波核的值由像素点的静止概率、景深可靠度、像素空间距离和像素色彩差值所对应的滤波权重因子共同组成，可以自适应变化；通过在景深图中滑动滤波核完成对景深的时空滤波。2.根据权利要求1所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，在滤波核空间的滤波过程由式10定义：其中，d表示像素的原始景深，d′表示像素通过时空滤波器增强之后的景深，wkernl(x+Δx,y+Δy,t+Δt)代表滤波核的值。3.根据权利要求1或2所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，根据四种滤波权重因子计算滤波核的值，定义如下：wkernal(x+Δx,y+Δy,t+Δt)＝ws·wr·wd·wc(9)其中，wkernl(x+Δx,y+Δy,t+Δt)代表滤波核的值，ws代表像素点的静置概率所对应的滤波权重，wr代表景深可靠度所对应的滤波权重，wd代表像素空间距离所对应的权重，wc代表像素色彩差值所对应的滤波权重；所述的滤波因子的计算，由wswrwdwc构成的任何代数形式都适用。4.根据权利要求1、2或3所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，该方法实现包括以下步骤，A检测视频流中每个像素点的静止概率；B检测景深流中每个像素点的景深可靠度；C计算景深时空一致性及精度增强滤波器的权重因子；D对景深流进行时空滤波；其中，步骤A中的视频流中每个像素点的静止概率由相邻两帧灰度图像之间的局部结构相似性指标SSIM值表示；其中，步骤B中的景深流中每个像素点的可靠度通过对视差进行左右一致性检测间接获得。5.根据权利要求4所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，所述的局部结构相似性指标值计算方法为：首先把彩色视频流转换为灰度视频流，然后计算以每个像素点为中心的矩形窗口内相邻两帧灰度图像之间的局部结构相似性指标值。6.根据权利要求4所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，视差左右一致性检测步骤为：首先根据三角测距原理把左、右两路景深流转换为视差流，然后检测每个像素点是否在左、右视差图中存在相互映射的关系，如果相互映射的关系存在，即像素点通过左右一致性检测，表示像素点的可靠度高；反之，如果不能通过左右一致性检测，表示该像素点可靠度低。7.根据权利要求4所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，像素点的静止概率对应的滤波权重计算原则为：如果滤波窗口内任意像素点静止的概率越大，那么景深随时间变化的可能性就越低，该像素点与滤波中心点景深一致的可能性越大，该像素点对滤波中心点提供的支持就越多，即滤波权重更大。8.根据权利要求4所述的一种基于时空滤波的景深时空一致性及精度增强的方法，其特征在于，景深可靠度对应的滤波权重计算原则为：如果滤波窗口内任意像素点的景深可靠度越高，那么该像素点对滤波中心点景深提供的有效支持就越多，滤波...

【专利技术属性】
技术研发人员：齐志，刘灿，时龙兴，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32