一种基于神经网络的网格去噪方法技术

本发明专利技术公开了一种基于神经网络的网格去噪方法，所述方法包括下列步骤：采用固定参数的引导法向滤波进行预滤波操作，提取预滤波后的网格模型的二邻域平面法向生成图像矩阵，并利用法向张量投票进行针对刚性变换与图像旋转的对齐操作，构建数据集并训练神经网络；在运行去噪阶段，将带噪网格预滤波后生成的图像矩阵输入训练过的网络模型中，利用旋转矩阵还原出新的法向作为引导法向，更新法向与顶点信息得到去噪后的网格模型。本发明专利技术将神经网络应用在三维网格的去噪问题上，通过将面法向映射为图像矩阵，最终可以简单高效地达到高度保持特征的网格去噪效果。

A mesh denoising method based on Neural Network

【技术实现步骤摘要】
一种基于神经网络的网格去噪方法
本专利技术属于计算机图形学领域，涉及一种基于神经网络的网格去噪方法，特别适用于对三维数据采集过程中的噪声与特征模糊进行处理。
技术介绍
三角网格是计算机图形学、计算机视觉以及虚拟现实等领域中几何对象的基本表示模型。在获取网格曲面数据的过程中，由于采集设备、环境等因素的影响，所获取的网格曲面，不可避免地存在着误差。所以，大部分网格曲面均含有不同程度的噪声，这不仅无法客观反映数据中的真实信息，还对后续处理与计算造成影响。因此，三角网格曲面的去噪对获取高质量的网格数据是非常必要的。早期基于滤波器的去噪方案在网格去噪的顶点位置应用拉普拉斯平滑等各向同性算法。尽管这些方法能够降低噪声，但它们平滑了尖锐的表面特征。为了在保留表面特征的同时去除噪声，通常采用各向异性方法。最近的一些方法在平面法向上应用了平均移位滤波器或双边滤波器，然后用滤波的平面法向量更新网格模型。引导法向滤波技术在联合双边滤波器中使用可靠的导向法线可以从具有相对大的输入噪声的网格模型中消除噪声，但是其需繁琐的人工调参步骤，且仍会丢失部分几何特征。还有一些去噪方案，利用包括二次拟合在内的各种技术从噪声输入中检测几何特征，如L1近似值和法向方差聚类，然后分别将不同的滤波器应用于特征部分和非特征部分。即使利用二次拟合等技术能够保留网格曲面的强几何特征，但其缺点是会平滑掉网格曲面的细微特征。基于优化的去噪算法可以恢复最匹配输入和由噪声的某些先验定义、底层表面几何特征的约束条件的网格，如高斯噪声或独立同分布噪声，其去噪是自动的，但它们很难推广到具有不同噪声模式和几何特征的网格，因为一些假设可能在真实场景中破坏。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于神经网络的网格去噪方法，利用神经网络自动地学习网格表面特征到真实法向间的映射关系，进行高效的网格去噪，简化迭代方法中针对不同几何特征的网格进行的参数调整步骤，同时保持更多的几何特征。本专利技术的目的是通过以下技术方案来实现的：一种基于神经网络的网格去噪方法，包括以下步骤：步骤一：采用固定参数的引导法向滤波对用于训练的带噪网格模型进行预滤波操作；步骤二：提取步骤一预滤波后的网格模型的二邻域平面法向，构造法向张量T，同时利用法向张量投票对预滤波后的网格模型进行刚性变换与图像旋转的对齐操作，对齐后生成图像矩阵，并构建数据集；所述数据集为64×64×4大小的图像矩阵与中心面片1×3大小的法向构成的训练对。步骤三：将步骤二得到的训练对中的图像矩阵作为输入，中心面片的法向值作为输出，以最小化损失函数为目标函数训练神经网络，训练完成得到去噪神经网络模型；步骤四：在运行去噪阶段，获取需要去噪的带噪网格模型，执行步骤一获得预滤波后的网格模型；执行步骤二生成图像矩阵；将生成的图像矩阵输入步骤三得到的去噪神经网络模型中，去噪神经网络模型输出预测的中心面片的法向值，利用对齐操作中的旋转矩阵将预测的中心面片的法向值还原出新的平面法向；步骤五：将还原出的新法向作为引导法向，更新步骤四中预滤波后的网格模型的法向与顶点信息得到去噪后的网格模型。进一步地，所述步骤一采用的引导法向滤波方法先滤波小平面法线，然后更新顶点位置。固定参数设置为：空间域高斯函数标准差σs为1个平均边长，值域高斯函数标准差σr为0.20，顶点迭代次数与法向迭代次数均设置为10次。进一步地，所述步骤二的图像矩阵为64×64像素大小的4维特征向量(nx,ny,nz,t)，nx,ny,nz是像素点对应面片的具有旋转不变性的三个法向值，t是标记是否为中心面片的数值，若当前像素为中心面片则标记值为1.0，否则为0。进一步地，所述步骤二的利用法向张量进行刚性变换的对齐操作具体为：假设预滤波后的网格模型的面片块对应的d个法线为：{m1,…,md}，构造法向张量T：T的三个特征向量e1,e2,e3定义了将特征向量对齐的旋转矩阵R的坐标轴，将每个mj与R-1相乘获得每个面片的具有旋转不变性的法向值(nx,ny,nz)。进一步地，所述步骤二的图像旋转的对齐操作具体为：将预滤波后的网格模型的每个面片的二邻域面片顶点的坐标信息做仿射变换，乘旋转矩阵R并平移到以中心面片质心位置为原点的局部坐标系下；再将生成的d个法向值映射在法向张量T的后两个特征向量e2、e3定义的二维坐标平面上，完成图像数据的对齐操作。进一步地，所述步骤三中，神经网络选取U-Net神经网络模型，损失函数L(θ)设置为网络输出法向和原始法向的余弦值取负再归一化到[0,1]的误差函数加上L2范数正则项：其中，Xi、Yi分别为选取的所述训练对中的图像矩阵和原始平面法向，θ表示权重，n表示图像矩阵与原始法向构成的训练对的个数，λ表示正则系数，F函数表示训练的输入图像矩阵到原始平面法向的映射。本专利技术的有益效果是，本专利技术将处理二维图像的神经网络应用到网格去噪中，利用神经网络自动地学习网格表面特征到真实法向间的映射关系，进行高效的网格去噪，简化网格去噪的迭代方案中针对不同几何特征的网格进行的参数调整步骤，在去除噪声的同时保持了更多的几何特征。附图说明图1为本专利技术基于神经网络的网格去噪方法的流程图；图2为三角网格曲面数据结构示意图；图3为本专利技术优选实施例的基于神经网络的网格去噪的流程示意图；图4a为原始的fandisk模型；图4b为通过将标准差为0.3倍平均边长的高斯噪声沿顶点法线添加到原始网格顶点产生的带噪的fandisk模型；图4c为经典的双边网格滤波对fandisk模型网格去噪的效果图；图4d为非局部相似性低秩矩阵恢复方法对fandisk模型网格去噪的效果图；图4e为级联法向回归对fandisk模型网格去噪的效果图；图4f为本专利技术对fandisk模型网格去噪的效果图。具体实施方式下面对照附图并结合优选的实施方式对本专利技术作进一步说明。本专利技术的基于神经网络的网格去噪方法，通过将面法向映射为图像矩阵，利用神经网络自动地学习网格表面特征到真实法向间的映射关系，最终可以简单高效地达到高度保持特征的网格去噪效果。如图1所示，本专利技术的优选实施例的基于神经网络的网格去噪方法，包括以下步骤：S1：采用固定参数的引导法向滤波对所准备数据集中带噪三角网格进行预滤波操作；本专利技术优选实施例的预滤波操作采用引导法向滤波方法，首先滤波小平面法线，然后更新顶点位置。设置固定参数为：空间域高斯函数标准差σs为1个平均边长，值域高斯函数标准差σr为0.20，顶点迭代次数与法向迭代次数均设置为10次。一般情况下，三角网格曲面是由扫描设备获取数据后，使用三角化方法对数据进行三角化得到的，其结构如图2所示。S2：提取预滤波后的网格模型的二邻域平面法向生成图像矩阵，并利用法向张量投票进行针对刚性变换与图像旋转的对齐操作，构建数据集；本专利技术优选实施例的针对刚本文档来自技高网...

【技术保护点】
1.一种基于神经网络的网格去噪方法，其特征在于，包括以下步骤：/n步骤一：采用固定参数的引导法向滤波对用于训练的带噪网格模型进行预滤波操作；/n步骤二：提取步骤一预滤波后的网格模型的二邻域平面法向，构造法向张量T，同时利用法向张量投票对预滤波后的网格模型进行刚性变换与图像旋转的对齐操作，生成图像矩阵，并构建数据集；所述数据集为64×64×4大小的图像矩阵与中心面片1×3大小的法向构成的训练对。/n步骤三：将步骤二得到的训练对中的图像矩阵作为输入，中心面片的法向值作为输出，以最小化损失函数为目标函数训练神经网络，训练完成得到去噪神经网络模型；/n步骤四：在运行去噪阶段，获取需要去噪的带噪网格模型，执行步骤一获得预滤波后的网格模型；执行步骤二生成图像矩阵；将生成的图像矩阵输入步骤三得到的去噪神经网络模型中，去噪神经网络模型输出预测的中心面片的法向值，利用对齐操作中的旋转矩阵将预测的中心面片的法向值还原出新的平面法向；/n步骤五：将还原出的新法向作为引导法向，更新步骤四中预滤波后的网格模型的法向与顶点信息得到去噪后的网格模型。/n

【技术特征摘要】
1.一种基于神经网络的网格去噪方法，其特征在于，包括以下步骤：
步骤一：采用固定参数的引导法向滤波对用于训练的带噪网格模型进行预滤波操作；
步骤二：提取步骤一预滤波后的网格模型的二邻域平面法向，构造法向张量T，同时利用法向张量投票对预滤波后的网格模型进行刚性变换与图像旋转的对齐操作，生成图像矩阵，并构建数据集；所述数据集为64×64×4大小的图像矩阵与中心面片1×3大小的法向构成的训练对。
步骤三：将步骤二得到的训练对中的图像矩阵作为输入，中心面片的法向值作为输出，以最小化损失函数为目标函数训练神经网络，训练完成得到去噪神经网络模型；
步骤四：在运行去噪阶段，获取需要去噪的带噪网格模型，执行步骤一获得预滤波后的网格模型；执行步骤二生成图像矩阵；将生成的图像矩阵输入步骤三得到的去噪神经网络模型中，去噪神经网络模型输出预测的中心面片的法向值，利用对齐操作中的旋转矩阵将预测的中心面片的法向值还原出新的平面法向；
步骤五：将还原出的新法向作为引导法向，更新步骤四中预滤波后的网格模型的法向与顶点信息得到去噪后的网格模型。


2.根据权利要求1所述的基于神经网络的网格去噪方法，其特征在于，所述步骤一采用的引导法向滤波方法先滤波小平面法线，然后更新顶点位置。固定参数设置为：空间域高斯函数标准差σs为1个平均边长，值域高斯函数标准差σr为0.20，顶点迭代次数与法向迭代次数均设置为10次。


3.根据权利要求1所述的基于神经网络的网格去噪方法，其特征在于，所述步骤二的图像矩阵为64×64像素大小的4维特征向量(nx,ny,nz...

【专利技术属性】
技术研发人员：郑友怡，杜仲烁，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33