RGBD序列中基于自动分层的场景流估计方法技术

本发明专利技术公开的RGBD序列中基于自动分层的场景流估计方法，首先获得连续两帧RGB图像和深度图像；其次，计算连续两帧RGB图像之间的光流信息，根据对应的RGB图像修复深度图像，然后使用SLIC超像素分割和相似区域合并信息得到初始分层深度图像，使用自动分层程序将初始分层图像中冗余的层进行合并得到最终的深度图像分层信息，最后根据深度图像和RGB图像间的光流信息得到场景流信息。本发明专利技术与传统的计算场景流方法相比，在提高精确度的同时增加了分层的自动化程度。

Automatic Hierarchical Scene Flow Estimation in RGBD Sequences

The scene flow estimation method based on automatic layering in RGBD sequence disclosed by the invention first obtains two consecutive RGB images and depth images; secondly, calculates optical flow information between two consecutive RGB images, repairs depth images according to corresponding RGB images, and then obtains initial layered depth images using SLIC super-pixel segmentation and similar region merging information, and uses automatic layering program. The redundant layers in the initial hierarchical image are merged to get the final depth image hierarchical information. Finally, the scene flow information is obtained according to the optical flow information between the depth image and RGB image. Compared with the traditional calculation scenario flow method, the present invention improves the accuracy and increases the automation degree of the stratification at the same time.

【技术实现步骤摘要】
RGBD序列中基于自动分层的场景流估计方法
本专利技术属于计算机数字图像处理
，具体涉及一种RGBD序列中基于自动分层的场景流估计方法。
技术介绍
光流是指空间运动物体在观察平面上的像素运动的顺时速度，表达了图像的变化，由于它包含了目标运动的信息，因此被观察者用来确定目标的运动情况。由光流的定义引申出光流场，它是指图像中所有像素点构成的一种二维(2D)瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影，所以光流不仅包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息。通常3D场景流(SceneFlow)被看作是二维光流到三维的扩展，能够描述空间物体运动所形成的三维运动矢量。近年来随着计算机技术的发展，场景流及相关技术的研究也得到了迅速的提升和广泛的应用。在理论方面，场景流的计算方法由传统的双目立体视觉发展到用RGBD方法估计场景流；在应用方面，场景流技术可应用于虚拟现实，目标检测，跟踪与识别等。目前，计算场景流的方法主要有两种，分别是基于双目立体视觉和基于RGBD计算场景流。前者主要是通过左右两个相机同步拍照，获得左右图像，对左右图像进行匹配，能够获得左右光流，进而得到场景流的估计。这种方法由于估计视差图而额外消耗时间的同时容易受到噪声和异常点估计的影响。随着深度传感器的诞生，基于RGBD方法成为计算场景流的主要方法。与前者相比，基于RGBD方法能够直接利用传感器获取较为精确的深度信息，因此能够提高计算准确性并节省计算时间。但是基于RGBD方法在遮挡处容易造成误差甚至错误。分层场景流方法针对RGBD方法这一缺点，分别对平滑性和不连续性建模，进而能够对遮挡的边界部分进行真实性建模；在边界建模中，对已知的场景的相对深度进行排序，进而将场景分成不同的层，然后针对不同的层次分别进行处理。
技术实现思路
本专利技术的目的是提供一种RGBD序列中基于自动分层的场景流估计方法，解决了传统方法中存在深度图像分层的自动化程度低和计算误差大的问题。本专利技术所采用的技术方案是，RGBD序列中基于自动分层的场景流估计方法，具体包括如下步骤：步骤1，分别输入连续两帧RGB图像和连续两帧深度图像，根据输入的RGB图像1和RGB图像2，分别计算RGB图像1到RGB图像2之间的光流图和RGB图像2到RGB图像1之间的光流图；步骤2，修复深度图像：根据坐标转换配准输入的深度图像和RGB图像，将深度图像中的噪声根据深度值为0的连通区域的大小分为洞和噪声点，然后根据区域相似性和颜色一致性修补洞，根据双边滤波消除噪声点；步骤3，将深度图像语义分层：采用SLIC超像素分割和相似区域合并算法对步骤2得到的深度图像进行语义分层，得到轮廓保持好的初始分层图像；步骤4，将深度图像自动分层：根据自动分层算法判断步骤3得到的初始分层图像中相邻两层是否能够合并，如果能够合并，则合并相邻层，并对所有层重新排序；如果不能合并，则分层结果保持不变；步骤5，判断步骤4重新排序后的层数是否改变，如果层数未发生改变，则自动分层得到深度图像最终的分层结果；如果层数发生改变则返回执行步骤4；步骤6，计算层辅助函数的权重：层辅助函数gk(-1.5≤gk≤1.5)表示第k层的每个像素点属于第k层的可能性的大小，根据AR模型调制深度图像与RGB图像边缘不一致性获得层辅助函数的空间一致性；步骤7，计算场景流：根据步骤1得到的光流信息和步骤6得到深度图像的分层信息，计算每层的2D运动和深度变化得到场景流信息。本专利技术的其他特点还在于，步骤2的具体过程如下：深度图像和RGB图像的配准过程：在深度图像和RGB图像中分别找到四对对应的点，这四对对应点坐标的位置信息根据式(1)得到投影矩阵，使用opencv中的函数warpPerspective()得到深度图像与RGB图像的配准图像；式中，(X,Y)为RGB图像中的像素点坐标，(x,y)为深度图像中的像素点坐标，A为投影矩阵；如果深度图像中深度值为0的连通区域的面积大于4，则该区域是洞，根据区域一致性和颜色的一致性修补洞，然后根据双边滤波消除噪声点；如果深度图像中深度值为0的连通区域的面积为4或者小于4，则该区域是噪声点，根据双边滤波消除噪声点。步骤3的具体过程如下：步骤3.1，选取聚类中心，即分别选取初始化种子点和优化种子点；初始化种子点的选取：根据设定的超像素个数，在图像内均匀的分配种子点，假设图片中有N个像素点，预设为R个相同尺寸的超像素，则每个超像素块的大小为N/R，则相邻种子点的距离为S＝sqrt(N/R)；优化种子点的选取：由于初始化选取的种子点可能会落在梯度较大的轮廓边界上而影响后续效果，在初始种子点的n*n邻域内，n＝3，根据公式(2)-(4)计算所有像素的梯度值，然后选择梯度值最小的地方作为新种子点，同时给每个种子点分配一个单独的标签，记为优化种子点；G(x,y)＝dx(x,y)+dy(x,y)(2)dx(x,y)＝I(x+1,y)-I(x,y)(3)dy(x,y)＝I(x,y+1)-I(x,y)(4)其中，I是图像像素的值，(x,y)为像素的坐标，G(x,y)为像素的梯度函数，dx为水平方向的梯度，dy为垂直方向的梯度；步骤3.2，根据公式(5)和(6)计算种子点邻域内每个像素到种子点的颜色距离dφ和空间距离dθ：式中，e是邻域内的点，m是种子点，ln(n＝m,e)表示像素n的亮度(Luminosity)，ln的值域由0(黑色)到100(白色)；an(n＝m,e)表示像素n从洋红色至绿色的范围(an为负值指示绿色，正值指示品红)；bn(n＝m,e)表示像素n从黄色至蓝色的范围(bn为负值指示蓝色，正值指示黄色)；根据公式(7)得到相似性度量，选择最小值作为新的聚类中心：式中，dφ代表颜色距离，dθ代表空间距离，De是相似性度量，h是最大的颜色空间距离，随着图片的不同而不同，也随着聚类的不同而不同，取值范围为[1,40]，取值为10，S＝sqrt(N/R)为相邻种子点的距离；步骤3.3，合并相似区域：经过SLIC超像素分割之后获得带有标签的初始分割图像，这些相似的邻近区域仍可以通过合并产生有语义的分割，使得合并后的每个区域里面应具有相似性，而相邻区域之间具有差异性；区域合并的主要过程如下：根据初始分割图像建立相对应的区域邻接图G＝(V,E)，V＝{S1,S2,...,SR}是顶点的集合，每个顶点Si(1≤i≤R)对应分割图中的一个分割区域，R是分割图中的分割区域数，E是边的集合，在分割图中，如果两个区域相邻，则相对应的两个端点之间存在一条边；在无向图G＝(V,E)中，每条边赋予一定的权重，这个权重对应于合并两个区域的权重如公式(8)所示，区域越相似，权重值越小，在每一次合并过程中，寻找权重最小的边，并进行相邻区域合并；式中，Cp,r为相邻区域p,r之间的权重，Np表示区域p(1≤p≤R)的面积，Nr表示区域r(1≤r≤R)的面积，μp表示p区域的光谱平均值，μr表示r区域的光谱平均值，l是相邻区域i和j的公共边长度，λ是公共边的影响系数，当λ＝0时，lλ＝1，表示公共边长度改变不影响区域异质性度量；当λ不为0时，公共边越长，异质性越小。步骤4的具体过程如下：步骤4.1，将步骤3得到的本文档来自技高网...

【技术保护点】
1.RGBD序列中基于自动分层的场景流估计方法，其特征在于，具体包括如下步骤：步骤1，分别输入连续两帧RGB图像和连续两帧深度图像，根据输入的RGB图像1和RGB图像2，分别计算RGB图像1到RGB图像2之间的光流图和RGB图像2到RGB图像1之间的光流图；步骤2，修复深度图像：根据坐标转换配准输入的深度图像和RGB图像，将深度图像中的噪声根据深度值为0的连通区域的大小分为洞和噪声点，然后根据区域相似性和颜色一致性修补洞，根据双边滤波消除噪声点；步骤3，将深度图像语义分层：采用SLIC超像素分割和相似区域合并算法对步骤2得到的深度图像进行语义分层，得到轮廓保持好的初始分层图像；步骤4，将深度图像自动分层：根据自动分层算法判断步骤3得到的初始分层图像中相邻两层是否能够合并，如果能够合并，则合并相邻层，并对所有层重新排序；如果不能合并，则分层结果保持不变；步骤5，判断步骤4重新排序后的层数是否改变，如果层数未发生改变，则自动分层得到深度图像最终的分层结果；如果层数发生改变则返回执行步骤4；步骤6，计算层辅助函数的权重：层辅助函数gk(‑1.5≤gk≤1.5)表示第k层的每个像素点属于第k层的可能性的大小，根据AR模型调制深度图像与RGB图像边缘不一致性获得层辅助函数的空间一致性；步骤7，计算场景流：根据步骤1得到的光流信息和步骤6得到深度图像的分层信息，计算每层的2D运动和深度变化得到场景流信息。...

【技术特征摘要】
1.RGBD序列中基于自动分层的场景流估计方法，其特征在于，具体包括如下步骤：步骤1，分别输入连续两帧RGB图像和连续两帧深度图像，根据输入的RGB图像1和RGB图像2，分别计算RGB图像1到RGB图像2之间的光流图和RGB图像2到RGB图像1之间的光流图；步骤2，修复深度图像：根据坐标转换配准输入的深度图像和RGB图像，将深度图像中的噪声根据深度值为0的连通区域的大小分为洞和噪声点，然后根据区域相似性和颜色一致性修补洞，根据双边滤波消除噪声点；步骤3，将深度图像语义分层：采用SLIC超像素分割和相似区域合并算法对步骤2得到的深度图像进行语义分层，得到轮廓保持好的初始分层图像；步骤4，将深度图像自动分层：根据自动分层算法判断步骤3得到的初始分层图像中相邻两层是否能够合并，如果能够合并，则合并相邻层，并对所有层重新排序；如果不能合并，则分层结果保持不变；步骤5，判断步骤4重新排序后的层数是否改变，如果层数未发生改变，则自动分层得到深度图像最终的分层结果；如果层数发生改变则返回执行步骤4；步骤6，计算层辅助函数的权重：层辅助函数gk(-1.5≤gk≤1.5)表示第k层的每个像素点属于第k层的可能性的大小，根据AR模型调制深度图像与RGB图像边缘不一致性获得层辅助函数的空间一致性；步骤7，计算场景流：根据步骤1得到的光流信息和步骤6得到深度图像的分层信息，计算每层的2D运动和深度变化得到场景流信息。2.如权利要求1所述的RGBD序列中基于自动分层的场景流估计方法，其特征在于，所述步骤2的具体过程如下：深度图像和RGB图像的配准过程：在深度图像和RGB图像中分别找到四对对应的点，这四对对应点坐标的位置信息根据式(1)得到投影矩阵，使用opencv中的函数warpPerspective()得到深度图像与RGB图像的配准图像；式中，(X,Y)为RGB图像中的像素点坐标，(x,y)为深度图像中的像素点坐标，A为投影矩阵；如果深度图像中深度值为0的连通区域的面积大于4，则该区域是洞，根据区域一致性和颜色的一致性修补洞，然后根据双边滤波消除噪声点；如果深度图像中深度值为0的连通区域的面积为4或者小于4，则该区域是噪声点，根据双边滤波消除噪声点。3.如权利要求1所述的RGBD序列中基于自动分层的场景流估计方法，其特征在于，所述步骤3的具体过程如下：步骤3.1，选取聚类中心，即分别选取初始化种子点和优化种子点；初始化种子点的选取：根据设定的超像素个数，在图像内均匀的分配种子点，假设图片中有N个像素点，预设为R个相同尺寸的超像素，则每个超像素块的大小为N/R，则相邻种子点的距离为S＝sqrt(N/R)；优化种子点的选取：由于初始化选取的种子点可能会落在梯度较大的轮廓边界上而影响后续效果，在初始种子点的n*n邻域内，n＝3，根据公式(2)-(4)计算所有像素的梯度值，然后选择梯度值最小的地方作为新种子点，同时给每个种子点分配一个单独的标签，记为优化种子点；G(x,y)＝dx(x,y)+dy(x,y)(2)dx(x,y)＝I(x+1,y)-I(x,y)(3)dy(x,y)＝I(x,y+1)-I(x,y)(4)其中，I是图像像素的值，(x,y)为像素的坐标，G(x,y)为像素的梯度函数，dx为水平方向的梯度，dy为垂直方向的梯度；步骤3.2，根据公式(5)和(6)计算种子点邻域内每个像素到种子点的颜色距离dφ和空间距离dθ：式中，e是邻域内的点，m是种子点，ln(n＝m,e)表示像素n的亮度(Luminosity)，ln的值域由0(黑色)到100(白色)；an(n＝m,e)表示像素n从洋红色至绿色的范围(an为负值指示绿色，正值指示品红)；bn(n＝m,e)表示像素n从黄色至蓝色的范围(bn为负值指示蓝色，正值指示黄色)；根据公式(7)得到相似性度量，选择最小值作为新的聚类中心：式中，dφ代表颜色距离，dθ代表空间距离，De是相似性度量，h是最大的颜色空间距离，随着图片的不同而不同，也随着聚类的不同而不同，取值范围为[1,40]，取值为10，S＝sqrt(N/R)为相邻种子点的距离；步骤3.3，合并相似区域：经过SLIC超像素分割之后获得带有标签的初始分割图像，这些相似的邻近区域仍可以通过合并产生有语义的分割，使得合并后的每个区域里面应具有相似性，而相邻区域之间具有差异性；区域合并的主要过程如下：根据初始分割图像建立相对应的区域邻接图G＝(V,E)，V＝{S1,S2,...,SR}是顶点的集合，每个顶点Si(1≤i≤R)对应分割图中的一个分割区域，R是分割图中的分割区域数，E是边的集合，在分割图中，如果两个区域相邻，则相对应的两个端点之间存在一条边；在无向图G＝(V,E)中，每条边赋予一定的权重，这个权重对应于合并两个区域的权重如公式(8)所示，区域越相...

【专利技术属性】
技术研发人员：李秀秀，刘沿娟，金海燕，肖照林，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61