一种改进的基于TOF相机三维重建的补空洞方法技术

本发明专利技术公开了一种改进的基于TOF相机三维重建的补空洞方法，涉及三维成像领域，包括以下步骤:S1、首先对TOF相机进行标定，固定相机进行采集，TOF相机提供红外数据和深度数据，得到含有噪声的初始深度图；S2、利用最小化二次能量函数对得到的初始深度图进行滤波、去噪、补空洞处理，从深度数据和红外数据之间的强相关性出发，定义滤波项和重建项的组合为能量函数，并将其最小化来恢复深度数据；S3、将处理后的深度图转换为点云图；S4、对得到的点云图进行去噪、补空洞处理。本发明专利技术的一种改进的基于TOF相机三维重建的补空洞方法，可以提高深度图和点云图的质量，改善三维重建物体的效果。

【技术实现步骤摘要】
一种改进的基于TOF相机三维重建的补空洞方法
本专利技术涉及三维成像领域，尤其涉及一种改进的基于TOF相机三维重建的补空洞方法。
技术介绍
在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。三维重建技术在三维人脸识别、虚拟现实、三维建模、电影动画的制作等方面有广泛的应用。主要的三维重建技术有基于结构光的三维重建、基于光度立体技术的三维重建以及基于双目视觉的三维重建，但是TOF相机直接获得的深度图数据无组织的、无序的和有噪声的，含有空白空洞区域，传统补空洞算法具有局限性，有噪声深度图，滤波后有伪影，边缘变得模糊，有噪声点云图，修补效果不理想，过渡生硬。
技术实现思路
为解决上述技术问题，本专利技术提供一种改进的基于TOF相机三维重建的补空洞方法，目的是提高深度图和点云图的质量，改善三维重建物体的效果。本专利技术采用如下技术方案：一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，包括以下步骤：S1、首先对TOF相机进行标定，固定相机进行采集，TOF相机提供红外数据和深度数据，得到含有噪声的初始深度图；S2、利用最小化二次能量函数对得到的初始深度图进行滤波、去噪、补空洞处理，从深度数据和红外数据之间的强相关性出发，定义滤波项和重建项的组合为能量函数，并将其最小化来恢复深度数据；S3、将处理后的深度图转换为点云图；S4、对得到的点云图进行去噪、补空洞处理。进一步的，所述步骤S2中滤波项的算法过程为：为了去除高斯白噪声，通过最小化加权误差平方和得到加权平均滤波器：其中，表示像素xi处的期望深度值，D(xj)表示观察到的深度值，w(xi，xj)表示权重，并且Ni是xi的集合相邻像素，求解得到：为了去除ToF深度数据中的噪声，将有效深度像素的多边过滤器权重定义为：w(xi，xj)＝KS(||xi-xj||)·(KD(||D(xi)-D(xj)||)+ε)·(KR(||R(xi)-R(xi)||)+ε)其中，KS、KD和KR分别是空间权重、深度权重和红外权重的高斯核，Sigma值分别为hS、hD和hR，引入的一个较小的ε值，它可以增强滤波脉冲噪声，如果中心像素具有无效的深度值，则将过滤器权重定义为：w(xi，xj)＝KS(||xi-xj||)·(KR(||R(xi)-R(xj)||)+ε)通过聚合所有像素并以二次矩阵的形式表示，将滤波项定义为：其中，W是N×N多边权重矩阵，每个行值的总和归一化为1，D是深度值的N×1向量，其中N是深度图像中的像素数。进一步的，所述步骤S2中重建项的算法过程为：采用一种结构引导的深度重建方法，具有Dirichlet边界条件的泊松方程为：其中Gx和Gy分别是引导向量场的x和y分量，采用了上述方程的离散化形式的解用于重建项，给定深度梯度作为引导向量场，可以通过求解基于4个相邻像素的离散化形式来获得深度值：通过将非孔像素处的深度值移到右侧在上式中加入边界条件，如果所有像素都在非空洞区域中，则重建项的作用类似于典型的数据项，通过聚合所有像素，方程式可以写成：其中L表示N×N拉普拉斯矩阵，G表示深度梯度的散度的N×1向量，因此将二次矩阵形式的重构项定义为：使用移动最小二乘(MLS)插值方法来获得孔洞区域内像素的梯度，MLS通过最小化每个像素的加权最小二乘来求解：p和pi分别表示目标像素和相邻像素的数据矢量，并且fi是测量的深度梯度Dx(x，y)或Dy(x，y)，θ(p；pi)是与pi相关联的权重，并且p是通过使用对空洞区域附近的非空洞像素的k最近邻搜索而获得的像素索引集合，引入红外数据作为额外的结构信息，以防止不必要的内绘深度梯度平滑。使用中的二次多项式函数f(p)作为近似函数：f(x，y，r)＝c0+c1x+c2y+c3r+c4x2+c5xy+c6y2+c7xr+c8yr+c9r2其中x和y是像素坐标，r是红外数据的梯度，为Rx(x，y)或Ry(x，y)，多项式函数可以写成：f(pi)＝b(pi)Tc(p)其中b(P)＝[1，x，y，r，x2，xy，y2，xr，r，r2]T是多项式基向量，c(P)＝[c0，...，c9]T是系数向量，将双边加权函数定义为：求解系数得到：c(p)＝(BΘ(p)BT)-1BΘ(p)f其中，B＝[b(p1)，...，b(pk)]，Θ(p)＝[θ(p；p1)，...，θ(p；pk)]，f＝[f1，...，fK]，K为Π中的像素数。进一步的，所述步骤2中最小化的算法过程为：提出的二次能量函数可以写为：当时，能量函数得到最小化。进一步的，所述步骤3的具体过程为，利用相机的内参将深度图投影变换成相机空间坐标的3D点云：其中：(u，v)是点在深度图中的坐标，d是该点对应的深度值，fx，fy，cx，cy是相机的内部参数，(x，y，z)是(u，v)对应的点云的空间坐标。进一步的，所述步骤S4中具体的过程为：1)首先对得到的点云图进行预处理，去除孤立点、均质化原始点、组织无序点和校正点法线；2)对孔洞的边缘进行检测；3)对点云中检测到的孔洞进行填充，并进行拓扑重建。进一步的，其中步骤2中检测的具体方法为，采用基于网格的孔洞边缘检测方法。进一步的，所述方法具体为，输入由顶点集和三角形集组成的网格，一条边由两个三角形共享。进一步的，所述两个三角形称为边的相邻三角形，边界边被定义为仅与单个三角形相邻的边，因此，边界边环即为闭孔边界，一旦找到边界，就可以通过跟踪其相邻边在输入网格中自动提取该边界。进一步的，采用一种改进的MeshFix算法，其流程为：定义输入的点云集合为F定义单个的组合流形Ma.将点云集合F中的所有面进行三角化；b.使用得到的三角形集合初始化M；c.计算三角形与三角形之间的连接关系；d.删除奇点；e.通过学习各面表面法线的曲率和方向的变化，确定除最大组件外的其他组件是否应该删除；f.调整网格方向；g.如果需要切割，则h.警告用户并终止；i.否则j.使用新的三角形进行孔洞修补。本专利技术具有以下有益效果：本专利技术的改进的基于TOF相机三维重建的补空洞方法，通过该改进的算法，对原始的点云进行了滤波、去噪与修补空洞处理，可修补孤岛、狭缝等复杂的孔洞，没有引入纹理复制和模糊伪影，最后输出了较好地保持了模型的原始拓扑和纹理的三维模型。附图说明下面结合附图对本专利技术作优选的说明：图1为本专利技术的流程图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实本文档来自技高网...

【技术保护点】
1.一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，包括以下步骤:/nS1、首先对TOF相机进行标定，固定相机进行采集，TOF相机提供红外数据和深度数据，得到含有噪声的初始深度图；/nS2、利用最小化二次能量函数对得到的初始深度图进行滤波、去噪、补空洞处理，从深度数据和红外数据之间的强相关性出发，定义滤波项和重建项的组合为能量函数，并将其最小化来恢复深度数据；/nS3、将处理后的深度图转换为点云图；/nS4、对得到的点云图进行去噪、补空洞处理。/n

【技术特征摘要】
1.一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，包括以下步骤:
S1、首先对TOF相机进行标定，固定相机进行采集，TOF相机提供红外数据和深度数据，得到含有噪声的初始深度图；
S2、利用最小化二次能量函数对得到的初始深度图进行滤波、去噪、补空洞处理，从深度数据和红外数据之间的强相关性出发，定义滤波项和重建项的组合为能量函数，并将其最小化来恢复深度数据；
S3、将处理后的深度图转换为点云图；
S4、对得到的点云图进行去噪、补空洞处理。


2.根据权利要求1所述的一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，所述步骤S2中滤波项的算法过程为:
为了去除高斯白噪声，通过最小化加权误差平方和得到加权平均滤波器：



其中，表示像素xi处的期望深度值，D(xj)表示观察到的深度值，w(xi，xj)表示权重，并且Ni是xi的集合相邻像素，求解得到：



为了去除ToF深度数据中的噪声，将有效深度像素的多边过滤器权重定义为：



其中，KS、KD和KR分别是空间权重、深度权重和红外权重的高斯核，Sigma值分别为hS、hD和hR，引入的一个较小的ε值，它可以增强滤波脉冲噪声，如果中心像素具有无效的深度值，则将过滤器权重定义为：



通过聚合所有像素并以二次矩阵的形式表示，将滤波项定义为：



其中，W是N×N多边权重矩阵，每个行值的总和归一化为1，D是深度值的N×1向量，其中N是深度图像中的像素数。


3.根据权利要求1所述的一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，所述步骤S2中重建项的算法过程为：
采用一种结构引导的深度重建方法，具有Dirichlet边界条件的泊松方程为：



其中Gx和Gy分别是引导向量场的x和y分量，采用了上述方程的离散化形式的解用于重建项，给定深度梯度作为引导向量场，可以通过求解基于4个相邻像素的离散化形式来获得深度值：



通过将非孔像素处的深度值移到右侧在上式中加入边界条件，如果所有像素都在非空洞区域中，则重建项的作用类似于典型的数据项，通过聚合所有像素，方程式可以写成：



其中L表示N×N拉普拉斯矩阵，G表示深度梯度的散度的N×1向量，因此将二次矩阵形式的重构项定义为：



使用移动最小二乘(MLS)插值方法来获得孔洞区域内像素的梯度，MLS通过最小化每个像素的加权最小二乘来求解：



p和pi分别表示目标像素和相邻像素的数据矢量，并且fi是测量的深度梯度Dx(x，y)或Dy(x，y)，θ(p；pi)是与pi相关联的权重，并且p是通过使用对空洞区域附近的非空洞像素的k最近邻搜索而获得的像素索引集合，引入红外数据作为额外的结构信息，以防止不必要的内绘深度梯度平滑。
使用中的二次多项式函数f(p)作为近似函数：
f(xyr)＝c0+c1x+c2y+c3r+c4x2+c5xy+c6y2+c7...

【专利技术属性】
技术研发人员：毕欣，杨士超，熊璐，张博，许志秋，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31