基于模板的人体点云孔洞修补方法技术

本发明专利技术公开了一种基于模板的人体点云孔洞修补方法，包括：根据点云中的孔洞区域对人体网格模型模板进行分割，并对模板与点云中的一些关键对应特征点进行标记；提取带有置信度的人体点云扩张边界点集；将分割后的模板与人体点云局部进行刚性配准；将刚性配准后模板变形，使之与人体点云局部相匹配；提取变形后的模板上的顶点构成模板点云，并移除模板点云与原始人体点云重叠的部分；将去重叠模板点云重采样到原始人体点云密度，并平滑融合到原始人体点云孔洞部分。本发明专利技术提供的人体点云孔洞修补方法能对人体进行三维建模时遇到的点云孔洞进行修补并保证孔洞修补结果符合人体形状先验知识，具有修补孔洞区域过渡平滑、运算效率高的优点。

Template-based method for repairing human point cloud holes

The invention discloses a template-based hole repair method for human point cloud, which includes: dividing the template of human mesh model according to the hole area in the point cloud, marking some key corresponding feature points in the template and the point cloud, extracting the expanded boundary point set of human point cloud with confidence, rigid registration of the partitioned template and the human point cloud; After sex registration, the template is deformed to match the human point cloud locally; the vertices on the deformed template are extracted to form the template point cloud, and the overlapping parts between the template point cloud and the original human point cloud are removed; the densities of the original human point cloud are re-sampled from the de-overlapping template point cloud, and smoothly fused into the hole part of the original human point cloud. The point cloud hole repairing method provided by the invention can repair point cloud hole encountered in three-dimensional modeling of human body and ensure that the result of hole repairing conforms to prior knowledge of human body shape, and has the advantages of smooth transition of repairing hole area and high operation efficiency.

【技术实现步骤摘要】
基于模板的人体点云孔洞修补方法
本专利技术涉及计算机图形学中的面向真实物体的三维建模领域，具体涉及一种基于模板的人体点云孔洞修补方法。
技术介绍
利用三维表面数据获取设备对真实世界的物体建模已经被广泛应用于各种领域中，可以省去大量的手工建模操作并捕获更多模型的细节。而使用三维表面数据数据获取设备对人体进行建模具有因其有着巨大的应用价值而备受人们关注。使用三维数据获取设备，如三维扫描仪器，采集到的物体的三维表面数据通常是点云数据，即是由一些离散的三维点组成的集合。通常采用三维表面数据获取设备获取的原始人体点云数据，因受采集设备的视角限制、人体表面起伏产生的遮挡、局部区域反射率差异较大等因素的影响，导致人体表面部分区域无法测量，不完整的测量数据形成孔洞。例如腋下、胯下与脚底等区域是较为常见的典型孔洞区域，这些区域的孔洞具有缺失面积大、形状不规则等特点。这些由不完整数据形成的孔洞不仅影响美观，而且会对网格重建、纹理映射等后续处理的质量造成较大影响。因此，在实际应用前需要使用孔洞修补技术对数据的缺失区域进行合理填补，确保数据的完整性。目前，存在相当数量的各种孔洞修补算法，例如Liepa提出的三角网格孔洞修补算法、Centin等人提出的基于泊松表面重建的孔洞修补算法等。公开号为CN107610061A的中国专利文献公开了一种基于二维投影的保边点云孔洞修补方法，将确定的有序点云孔洞边界点采用保边长度投影法，向点云孔洞边界点的拟合平面上保边长度投影，然后将投影点依次连接，形成以保边长度投影点为顶点的平面多边形投影区域；然后对投影区域进行区域分解和点集化填充，根据点云孔洞边界点使用径向基函数插值映射技术构造点云孔洞曲面，再将填充点反映射到构造的点云孔洞曲面上，完成点云孔洞的修补。然而包括上述算法在内，现存的诸多算法在处理大面积、不规则孔洞时存在相当大的不足。这主要是因为这些算法是通过孔洞区域边界邻域的信息对孔洞区域的填补进行估计，如果需要填补的孔洞区域原有表面起伏较大，孔洞区域边界邻域不足以提供生成较为准确的孔洞填补所需信息。另一方面，基于模板变形的拟合算法，例如Allen等人提出的算法与Stoll等人提出的算法，使用一个完整的模板拟合采集点云，并输出拟合后的模板，达到对大面积孔洞合理填充的效果。然而这些方法使用完整的人体模板拟合整体点云而并非仅仅包含孔洞局部区域，这使得算法的鲁棒性较低，容易陷入局部最优解，导致拟合结果不能处处贴合输入点云，会破坏非孔洞区域的数据准确性；此外，对整体点云进行拟合的计算量较大，使得算法的运算效率较低。
技术实现思路
本专利技术的目的在于提供一种基于模板的人体点云孔洞修补方法，本专利技术提供的人体点云孔洞修补方法能够对人体进行三维建模时遇到的点云孔洞进行修补并保证孔洞修补结果符合人体形状先验知识，具有修补孔洞区域过渡平滑和运算效率高的优点。本专利技术采用的技术方案为：一种基于模板的人体点云孔洞修补方法，包括：(1)根据原始人体点云中的孔洞区域对人体网格模型模板进行分割，并对分割后的人体网格模型模板与原始人体点云中的关键对应特征点进行标记；(2)从原始人体点云提取带有置信度的原始人体点云扩张边界点集；(3)将分割后的人体网格模型模板与原始人体点云局部进行刚性配准；(4)将步骤(3)得到的刚性配准后的人体网格模型模板变形，使之与原始人体点云局部相匹配；(5)提取步骤(4)中变形后的人体网格模型模板上的顶点构成模板点云，并根据到边界点集距离阈值的方法移除模板点云中与原始人体点云重叠的部分，得到去重叠模板点云；(6)将步骤(5)得到的去重叠模板点云重采样到原始人体点云密度，并平滑融合到原始人体点云孔洞部分，得到填补了孔洞的完整点云。在步骤(2)中，提取带有置信度的原始人体点云扩张边界点集的方法为：(2-1)采用组合判别准则对人体点云的原始点集进行边界点判别：使用最大角度量准则、半圆盘度量准则与形状度量准则分别计算边界点概率，加权求和得到加权概率值，将加权概率值与给定阈值进行比较，大于阈值则认为该点是边界点，得到边界点集(2-2)对边界点集根据距离阈值进行扩张，并计算各点置信度cp，得到带有置信度的原始人体点云扩张边界点集。在步骤(2-1)中，所述的加权概率值为：P(p)＝w1P1(p)+w2P2(p)+w3P3(p)P1(p)、P2(p)和P3(p)为分别使用最大角度量准则、半圆盘度量准则与形状度量准则计算的边界点概率，w1、w2和w3为各准则对应的权重。在步骤(2-1)中，最大角度量准则的基本思想是：如果数据点p的邻点集N(p)在局部切平面上的投影点之间形成了较大的缺口，则认为数据点p为边界点；反之，若N(p)在p周围均匀分布，则认为p是内点。首先根据数据点p及其邻点Np构造点集曲面在p处的局部切平面；然后将邻点集Np投影到切平面上，得到投影点p′i。接下来计算各个投影点p′i与p点之间的连线形成的夹角集合{αi}，对其进行排序，求出最大夹角β＝max(αi)，最后根据下式得到边界点概率值：在步骤(2-1)中，半圆盘度量准则是通过点集的局部空间结构来判断孔洞边界点的。在二维流形上，取曲面上一点p，如果该点为内点，其邻域同胚于圆盘，则点p与其邻域的均值点μp的偏差应该很小；反之，如果该点为边界点，其邻域同胚于半圆盘，则μp应该会与p的位置有较大偏差。数据点p的邻点Np在局部切平面上的投影可以认为是在二维流形上，将待判定数据点p的邻域均值μp与切平面中的理想半圆盘的质心位置进行比较，并用两者之间的距离来度量p点属于边界点的概率。其中，使用高斯核函数来计算邻域Np的加权平均值μp，其中σ取决于数据点p到其邻点的平均距离rp，通常取由此可计算并对μp计算其在且平面上的投影则可以得到根据半圆盘准则度量p属于边界点的概率值：在步骤(2-1)中，形状度量准则是利用数据点p的邻点Np构造对应的协方差矩阵Cp，并根据其三个特征值来对边界点进行检测。对于孔洞边界点和内部点，其邻域所构成的协方差矩阵的三个特征值分布是不同的，从而可以据此对边界点进行判别。其基本步骤如下：首先根据数据点p及其邻点Np构造对应协方差矩阵得到其三个特征值λ0≥λ1≥λ2≥0，对特征值进行归一化处理构成决策向量其中α＝λ0+λ1+λ2。则点p的类型对应四种不同的决策向量分布特征，点p的类型为边界点、内点、角点/噪声点、直线上的点，对应的决策向量分别为Λ4＝(1,0,0)。Λ的四种分布特征点正好可以形成一个包含Λ所有可能值的三角形TΛ，可以通过在特征点附近计算空间核函数对数据点属于某种类型的概率进行估计。使用高斯核gσ，其方差为经过归一化，可以得出数据点属于边界点的概率值：在步骤(2-2)中，扩张并计算各点置信度cp的方法为：预先给出一个距离阈值τd,以及置信度区间[cL,cU]，在到孔洞的距离d≤τd的范围内，越靠近孔洞边界的点，其置信度越低，边界点置信度设为cL；越远离孔洞的点，其置信度越高；距离超过τd的点，其置信度设为最大值cU；定义点集任一点到孔洞的距离为该点到边界点集中所有点的距离的最小值，即则扩张边界点集为：且点集上任一点p的置信度cp满足关于dp的函数关系，cp＝C(dp)＝min(f(dp)(cU-cL)+cL,cU)距离到置信度本文档来自技高网...

【技术保护点】
1.一种基于模板的人体点云孔洞修补方法，包括：(1)根据原始人体点云中的孔洞区域对人体网格模型模板进行分割，并对分割后的人体网格模型的模板与原始人体点云中的关键对应特征点进行标记；(2)从原始人体点云提取提取带有置信度的原始人体点云扩张边界点集；(3)将分割后的模板与原始人体点云局部进行刚性配准；(4)将步骤(2)得到的刚性配准后的模板变形，使之与原始人体点云局部相匹配；(5)提取变形后的模板上的顶点构成模板点云，并根据到扩张边界点集距离阈值的方法移除模板点云中与原始人体点云重叠的部分，得到去重叠模板点云；(6)将步骤(5)得到的去重叠模板点云重采样到原始人体点云密度，并平滑融合到原始人体点云孔洞部分，得到填补了孔洞的完整点云。

【技术特征摘要】
1.一种基于模板的人体点云孔洞修补方法，包括：(1)根据原始人体点云中的孔洞区域对人体网格模型模板进行分割，并对分割后的人体网格模型的模板与原始人体点云中的关键对应特征点进行标记；(2)从原始人体点云提取提取带有置信度的原始人体点云扩张边界点集；(3)将分割后的模板与原始人体点云局部进行刚性配准；(4)将步骤(2)得到的刚性配准后的模板变形，使之与原始人体点云局部相匹配；(5)提取变形后的模板上的顶点构成模板点云，并根据到扩张边界点集距离阈值的方法移除模板点云中与原始人体点云重叠的部分，得到去重叠模板点云；(6)将步骤(5)得到的去重叠模板点云重采样到原始人体点云密度，并平滑融合到原始人体点云孔洞部分，得到填补了孔洞的完整点云。2.根据权利要求1所述的基于模板的人体点云孔洞修补方法，其特征在于，在步骤(2)中，提取带有置信度的原始人体点云扩张边界点集的方法为：(2-1)使用最大角度量准则、半圆盘度量准则与形状度量准则分别计算边界点概率，加权求和得到加权概率值，将加权概率值与给定阈值进行比较，大于阈值则认为该点是边界点，得到边界点集(2-2)对边界点集根据距离阈值进行扩张，并计算各点置信度cp，得到带有置信度的原始人体点云扩张边界点集。3.根据权利要求2所述的基于模板的人体点云孔洞修补方法，其特征在于，在步骤(2-2)中，扩张并计算各点置信度cp的方法为：预先给出一个距离阈值τd,以及置信度区间[cL,cU]，在到孔洞的距离d≤τd的范围内，越靠近孔洞边界的点，其置信度越低，边界点置信度设为cL；越远离孔洞的点，其置信度越高；距离超过τd的点，其置信度设为最大值cU；定义点集任一点到孔洞的距离为该点到边界点集中所有点的距离的最小值，即则扩张边界点集为：且点集上任一点p的置信度cp满足关于dp的函数关系，cp＝C(dp)＝min(f(dp)(cU-cL)+cL,cU)距离到置信度的评估函数f(d)是取值域为[0,1]单调递增函数，4.根据权利要求1所述的基于模板的人体点云孔洞修补方法，其特征在于，在步骤(4)中，计算模板变形的方式为迭代进行对应点查找与最小化以下函数：其中，T＝[T1,…,Tn]T为模板上每个顶点对应的仿射变换矩阵Ti连接成的4n×3矩阵，α、β、γ为预先设置的参数，V＝[v1,…,vn]T为模板上所有顶点坐标构成的矩阵，U＝[u1,…,un]T为V中顶点在点云中查找得到的对应点坐标构成的矩阵，W＝diag(w1,…,wn)...

【专利技术属性】
技术研发人员：冯结青，康鋆鹏，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33