一种交互式的深度图纹理拷贝瑕疵去除方法技术

本发明专利技术涉及一种交互式的深度图纹理拷贝瑕疵去除方法，本发明专利技术利用深度相机同时对目标采集的彩色图像与深度图像，建立彩色图像与深度图像间的对应关系，对彩色图像中的亮度边缘(几何边、纹理边)进行检测并识别(用最小生成树将边缘片段连接)，并对纹理边缘与目标几何边缘用交互式的方法进行分类并标记，构建基于空间近邻与彩色图边界分类标记的深度图保边滤波算子，用彩色图像上的边缘标记信息引导深度图滤波，实现去除深度图中纹理拷贝瑕疵的同时保留目标表面真实几何边界的目的。本发明专利技术为基于ToF的Kinect v2深度相机构建了一个能保持真实几何特征而消除纹理拷贝——假几何边界的有效方法，且方法交互简单，方便易行。

An interactive method of texture copy defect removal in depth map

The present invention relates to an interactive texture defect depth map copy removal method, color image and depth image by using the depth camera on the target acquisition at the same time, to establish the corresponding relationship between the color image and the depth image, the brightness of the color image edge (edge geometry, texture edge detection and recognition) (edge fragment connecting with the minimum spanning tree), and the target geometry and texture edge edge with interactive method to classify and label, construct depth map and color space neighbor map boundary classification mark edge preserving filtering operator based on edge marking information on the color image guided depth map filtering, remove the depth map texture copy defects at the same time the true geometric surface boundary to keep the target. The present invention is ToF Kinect V2 depth camera to build a real can maintain the geometric characteristics of effective methods to eliminate texture copy false geometry based on boundary, and methods of interaction is simple, convenient and easy.

【技术实现步骤摘要】
一种交互式的深度图纹理拷贝瑕疵去除方法
本专利技术属于计算机图形学领域，目标是提高消费级深度相机感知的场景深度图质量，特别涉及一种消除深度图中纹理拷贝瑕疵(即虚假目标边界)的交互式方法。
技术介绍
对目标场景的深度感知测量是光学3D扫描的基础，也有助于对场景中不同目标进行分割与识别。消费级深度相机(基于ToF测距的Kinectv2)能够以低成本、便捷的方式获取场景的深度图，然而深度图对应3D表面片段含有明显(颜色、图案与材质边缘所引起的)纹理拷贝瑕疵。若直接使用捕获的深度图进行3D重建将在融合表面上呈现出虚假的几何特征，降低3D扫描目标的重建质量。因此，消除深度图中由颜色与材质纹理造成的虚假几何边界是提高深度图质量需解决的一个突出问题。纹理拷贝瑕疵是将场景目标上的颜色与材质边缘“拷贝”到了反映目标几何形状的深度图上。而这种将颜色与材质边缘特征迁移与拷贝至深度图上所造成的小尺度虚假几何特征，并不符合目标表面的几何实际，最终在深度图对应3D表面片段上反映出虚假的形状变化特征。纹理拷贝瑕疵在以“飞行时间测距(TimeofFlight，ToF)”为基础的Kinectv2深度相机所捕获的深度图中广泛存在。这种比较细小的伪几何特征会残留在扫描的表面上，降低目标表面扫描重建的精度，对表面几何特征的处理带来干扰。纹理拷贝瑕疵以小尺度形状变化的形式显现在目标表面上，其与真实的几何细节特征具有相近的尺度。基于位置与法线变化及曲率等指标可检测到扫描3D表面上的纹理拷贝瑕疵，但难以将其与真实的几何细节特征区分开来。深度图一般都用单通道灰度图对场景中点到视点的垂直距离进行编码与存储，场景深度距离的细微差异在深度图中不能直观显现，也难以有效检测，而进一步识别其中的真实几何边缘与虚假的纹理拷贝瑕疵将更加困难，因此直接在深度图上操作小尺度的几何特征——消除纹理拷贝瑕疵，也不是一种有效的方法。Kinect在感知深度图的同时还能捕获场景的RGB图像。而与深度图不同，彩色图能对真实几何边缘两侧不同的目标表面朝向产生亮度变化的响应，同时能够对目标表面颜色变化与纹理边缘的变化产生亮度与梯度响应。因此，在彩色图像上借助有效的边缘检测算子可以比较容易地检测出场景中物体的几何特征与颜色和纹理边缘特征。由于纹理材质、图案、颜色边缘与目标几何形状边缘均有较强的亮度响应，虽然在RGB图像上可以有效检测出几何特征与纹理边缘，但有效并可靠地区分二者仍然面临挑战。因此，如何在检测并识别纹理、图案与颜色边缘基础上消除深度图的纹理拷贝瑕疵是本专利技术需要解决的核心问题。消除纹理拷贝瑕疵是提高深度图质量的重要途径，也是改善消费级深度相机三维扫描重建质量必需解决的重要问题，对目标表面小尺度几何细节特征的分析与处理具有重要意义。
技术实现思路
本专利技术目的在于解决消费级深度相机Kinectv2捕获深度图中出现的纹理拷贝瑕疵，提供了一种基于彩色图交互式识别目标表面纹理与颜色边界的深度图滤波方法。该滤波方法能有效去除深度图中的纹理拷贝瑕疵同时保留目标表面真实的几何边界特征。本专利技术中所用Kinectv2版本的RGB图像与深度图在视角、分辨率上都有所不同。因此，使用棋盘标定的方法获取从深度相机空间到RGB相机空间的坐标变换，从而将深度图与RGB图像进行对齐。本专利技术的具体方案是在RGB图像Icol上检测场景中物体的特征边界，借助交互手段对检测出的边界特征进行1-0标记(1表示需要消除的纹理拷贝对应伪边界，0表示目标表面真实几何特征)，并基于此标记设计新的滤波器对深度图Idep进行滤波，该滤波器对真实的目标几何特征能进行保边的滤波，而对标记为1的伪几何边界则能进行各项同性的滤波并逐渐去除纹理拷贝瑕疵。本专利技术实施方案的具体步骤是：一种交互式的深度图纹理拷贝瑕疵去除方法。其特征在于，包括步骤1，计算彩色图像Icol的强度图Igray，对Igray进行Canny边缘检测，求得场景表面中由真实几何及纹理与颜色变换所引起的边界特征梯度图Igrad，所得到的是变化边界处的离散黑白二值图。步骤2，对Igrad中检测结果进行边界生长，获得各条边界特征曲线；具体是对步骤1中求得梯度图Igrad的边界点沿其3×3近邻进行生长，直至其近邻中再无边界点。在梯度图Igrad中另选一个剩余孤立边界点进行上述近邻生长，如此迭代地处理所有剩余孤立边界点，最终将检测到的每个边界点都划归一条边界曲线中去。对生成的所有边界曲线进行编号，最终获得了包含各条边界特征曲线的边界曲线集合。步骤3，对步骤2中结果进行交互标记，在纹理拷贝的伪特征曲线上画A种颜色并标记为1，对真实几何特征曲线画B种颜色并标记为0；针对步骤2中检测出的特征曲线集合，用交互方式对各条曲线进行标记，Igrad上所有像素均被打上标记L′。默认所有曲线均是有效的几何特征边界，并将其标记为0；在出现纹理边界的伪特征曲线上划出红色，并将其标记为1。仅有少量纹理拷贝边界被打上标记，同时将其与真实几何边界和场景其他内容有效区分。步骤4，将步骤3中标记的边缘结果借助RGB图像与深度图的对齐关系映射到深度图上，具体是按照彩色图与深度图对齐的变换矩阵，将梯度图Igrad上标记为1(L′＝1)的伪特征边界映射至深度图Idep的标记L上，即将深度图上的虚假边缘像素标记为1(L(i)＝1)。步骤5，用像素近邻的高斯权重、带有标记信息的边界特征高斯权重的新双边滤波器对深度图进行滤波，具体是用近邻像素j的距离权重和带标记的保特征权重为深度图构建双边滤波器其中D1(i，j)和D2(i，j)分别是像素i与像素j的欧氏距离与深度值差异，σ1和σ2分别是像素距离标准差与像素深度值标准差，K＝∑j∈Ω(i)w1(j)×W2(j)。用新滤波器f对深度中的各像素进行滤波，若当前像素i是伪边界(L(i)＝1)，则其所有w2(j)权重均为1，f(i)退化为空间高斯滤波器并对像素i进行平滑滤波；反之，若当前像素i不是伪边界，则L(i)标记为0，w2(j)是保边权重，f(i)在像素i处对深度图进行保边的滤波去噪。步骤6，迭代地执行步骤5，直至消除纹理拷贝瑕疵，同时对真实几何特征区域实现特征保持的深度图滤波。具体是将步骤5迭代地执行N次，直至消除深度图中的纹理拷贝瑕疵，同时对深度图中的真实边界区域进行特征的滤波。步骤7，将滤波后深度图转换成3D表面。本专利技术将迭代滤波后的深度图转换为对应3D表面片段，可观察去除纹理拷贝瑕疵的结果。通过彩色图对应的强度图检测目标的纹理、颜色与几何边界梯度信息，并将梯度图中的边界像素依近邻进行生长得到各条边界曲线；借助对梯度图中纹理与颜色边界曲线的交互标记实现对纹理和颜色边缘的有效定位与识别，交互简单，定位有效；去除纹理拷贝瑕疵的滤波方法简单有效，同时不影响深度图中的原有几何边界特征。本专利技术具有如下显著效果：1、方法简单、易于实现。直接在彩色图上简单交互几笔即可标记出目标的纹理、颜色边界，通过新的双边滤波器滤波消除深度图中的纹理拷贝瑕疵；2、借助彩色图上的交互可准确实现对深度图中纹理拷贝瑕疵的识别与定位，而在直接在深度图上操作难度大，容易出错；3、鉴于虚假的纹理与颜色边界已被可靠的交互操作所标识与检测，并且依据边界标识有效控制对深度图各像素滤波时的不同操作，故而能在消除纹理拷贝本文档来自技高网...

【技术保护点】
一种交互式的深度图纹理拷贝瑕疵去除方法，其特征在于，包括步骤1，计算彩色图像Icol的强度图Igray，对Igray进行Canny边缘检测，求得场景表面中由真实几何及纹理与颜色变换所引起的边界特征梯度图Igrad，所得到的是变化边界处的离散黑白二值图；步骤2，对Igrad中检测结果进行边界生长，获得各条边界特征曲线；具体是对步骤1中求得梯度图Igrad的边界点沿其3×3近邻进行生长，直至其近邻中再无边界点；在梯度图Igrad中另选一个剩余孤立边界点进行上述近邻生长，如此迭代地处理所有剩余孤立边界点，最终将检测到的每个边界点都划归一条边界曲线中去；对生成的所有边界曲线进行编号，最终获得了包含各条边界特征曲线的边界曲线集合；步骤3，对步骤2中结果进行交互标记，在纹理拷贝的伪特征曲线上画A种颜色并标记为1，对真实几何特征曲线画B种颜色并标记为0；针对步骤2中检测出的特征曲线集合，用交互方式对各条曲线进行标记，Igrad上所有像素均被打上标记L′；默认所有曲线均是有效的几何特征边界，并将其标记为0；在出现纹理边界的伪特征曲线上划出红色，并将其标记为1；仅有少量纹理拷贝边界被打上标记，同时将其与真实几何边界和场景其他内容有效区分；步骤4，将步骤3中标记的边缘结果借助RGB图像与深度图的对齐关系映射到深度图上，具体是按照彩色图与深度图对齐的变换矩阵，将梯度图Igrad上标记为1(L′＝1)的伪特征边界映射至深度图Idep的标记L上，即将深度图上的虚假边缘像素标记为1(L(i)＝1)；步骤5，用像素近邻的高斯权重、带有标记信息的边界特征高斯权重的新双边滤波器对深度图进行滤波，具体是用近邻像素j的距离权重...

【技术特征摘要】
1.一种交互式的深度图纹理拷贝瑕疵去除方法，其特征在于，包括步骤1，计算彩色图像Icol的强度图Igray，对Igray进行Canny边缘检测，求得场景表面中由真实几何及纹理与颜色变换所引起的边界特征梯度图Igrad，所得到的是变化边界处的离散黑白二值图；步骤2，对Igrad中检测结果进行边界生长，获得各条边界特征曲线；具体是对步骤1中求得梯度图Igrad的边界点沿其3×3近邻进行生长，直至其近邻中再无边界点；在梯度图Igrad中另选一个剩余孤立边界点进行上述近邻生长，如此迭代地处理所有剩余孤立边界点，最终将检测到的每个边界点都划归一条边界曲线中去；对生成的所有边界曲线进行编号，最终获得了包含各条边界特征曲线的边界曲线集合；步骤3，对步骤2中结果进行交互标记，在纹理拷贝的伪特征曲线上画A种颜色并标记为1，对真实几何特征曲线画B种颜色并标记为0；针对步骤2中检测出的特征曲线集合，用交互方式对各条曲线进行标记，Igrad上所有像素均被打上标记L′；默认所有曲线均是有效的几何特征边界，并将其标记为0；在出现纹理边界的伪特征曲线上划出红色，并将其标记为1；仅有少量纹理拷贝边界被打上标记，同时将其与真实几何边界和场景其他内容有效区分；步骤4，将步骤3中标记的边缘结果借助RGB图像与深度图的对齐关系映射到深度图上，具体是按照彩色图与深度图对齐的变换矩阵，将梯度图I...

【专利技术属性】
技术研发人员：肖春霞，杨龙，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42