基于多层次特征提取网络模型的三维点云质量评价方法技术

本发明专利技术公开了基于多层次特征提取网络模型的三维点云质量评价方法，对点云数据进行手工特征提取，获取灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离；构建多层次特征提取网络模型，基于所述灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离对所述网络模型进行训练，获取局部质量分数；基于所述局部质量分数，通过平均池化策略获取点云全局质量分数，基于所述点云全局质量分数对三维点云质量进行评价。本发明专利技术采用多层次特征提取回归结构，并结合通道间注意力机制搭建质量评价网络，有效全面获取能描述失真点云特性的信息。信息。信息。

【技术实现步骤摘要】
基于多层次特征提取网络模型的三维点云质量评价方法


[0001]本专利技术涉及点云质量评价
，尤其涉及基于多层次特征提取网络模型的三维点云质量评价方法。

技术介绍

[0002]随着三维数据采集技术（如RGBD相机，3D激光扫描仪等）的发展，三维点云数据的获取难度逐渐减小，且数据精度也逐渐提高。作为一种重要的三维对象表示形式，点云由三维坐标系中众多点集合而成，包含着丰富的几何和属性信息。几何信息由点的3D空间坐标表示，属性信息通常包括点的颜色、曲率和法线向量等。由于一个高保真度的点云场景通常包含数百万甚至数十亿个点，庞大的数据量要求传输时必须对其进行高效的压缩，而基于几何的点云压缩G
‑
PCC或基于视频的点云压缩V
‑
PCCP必然会导致一定的压缩失真。此外，在点云采集以及处理过程中也会不可避免地出现失真，获取的原始点云总是包含几何、颜色等方面的噪声。如前所述的压缩失真以及多种噪声都会导致点云视觉质量下降。因此，合适的三维点云质量评价方法，对衡量相应的采集、压缩、传输和处理等方面的性能起着重要作用。
[0003]点云质量评价指标根据原始点云的参与程度可以分为全参考、半参考和无参考这三种类型。具体来说，全参考和半参考点云质量评价指标需要全部或者部分原始点云参与质量评价任务，而无参考质量评价指标仅需要失真点云就能得到质量评价结果。运动图像专家组（Moving Picture Experts Group）最先采用了p2point和p2plane的方式来量化点云的几何失真，并使用基于亮度和色度的峰值信噪比（PSNR）来量化点云的颜色失真。除此之外，还有一些评价指标，例如考虑局部曲率特征的PC
‑
MSDM方法，基于几何和颜色特征的最佳加权线性组合的PCQM方法以及结合了几何与纹理投影图的TGP
‑
PCQA方法等。尽管这些指标的出现缓解了点云质量评价的迫切需求，但它们都是基于全参考质量评价的方式。具体来说，它们通过计算原始点云与失真点云之间的差异来量化表示失真点云的质量。然而，在实际应用场景中，原始点云通常不可获得。因此，基于无参考方式的点云质量评价方法的提出和发展是目前迫切需要的。

技术实现思路

[0004]为解决上述技术问题，本专利技术提出了基于多层次特征提取网络模型的三维点云质量评价方法，采用多层次特征提取回归结构，并结合通道间注意力机制搭建质量评价网络，有效全面获取能描述失真点云特性的信息。
[0005]为实现上述目的，本专利技术提供了基于多层次特征提取网络模型的三维点云质量评价方法，包括：对点云数据进行手工特征提取，获取灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离；构建多层次特征提取网络模型，基于所述灰度值、平均曲率以及簇中的点相对于
中心点的欧几里得距离对所述网络模型进行训练，获取局部质量分数；基于所述局部质量分数，通过平均池化策略获取点云全局质量分数，基于所述点云全局质量分数对三维点云质量进行评价。
[0006]优选地，采用自适应的方式提取所述点云数据的手工特征，所述手工特征提取包括中心点的选取、簇的构成和各个簇的特征提取。
[0007]优选地，对所述点云数据进行手工特征提取包括：确定采样簇的个数，基于最远点采样方法选取所述点云数据中各个簇的中心点，结合KNN方法获取各个中心点的k个最邻近点，构成若干点云簇，其中，每个所述点云簇中包含k+1个点；基于所述点云簇的划分，获取所述灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离。
[0008]优选地，所述点云簇中任意点相对于所述中心点的欧几里得距离为：
[0009]其中，为簇中心点的空间坐标，为第i个邻近点的空间坐标，为簇中任意点，为簇中心点。
[0010]优选地，计算所述点云簇中各个点的灰度值的方法为：
[0011]其中，分别为点云的红绿蓝颜色三通道，L为灰度值。
[0012]优选地，所述多层次特征提取网络模型包括：深度特征提取模块：用于提取出所述点云中由浅到深的特征；第一卷积层：用于获取不同感受野下的点云特征，其中包括7*7与3*3大小的卷积层；残差模块：用于减少卷积核导致的感受野减小的弊端，避免梯度消失，更好地学习深层特征；特征回归模块：用于建立不同层级特征之间的联系。
[0013]优选地，所述残差模块的输出为：
[0014]其中，为残差单元的输出，x为残差单元的输入，为残差单元学习到的残差映射，为通道间注意力融合操作。
[0015]优选地，所述特征回归模块的操作为：
[0016]其中，表示concatenation操作；DIR表示将特征按指定方向拼接；C表示通道方向；H表示高度方向；表示全连接层的分数回归函数；表示全连接层的参数；，和分别表示对进行的平均、最小值与最大值池化以及各自对应的特征提取操作；、分别为f1‑
f5在通道和高度方向上拼接后得到的融合特征，f1‑
f5分别为由浅到深的层级特征。
[0017]优选地，通过所述平均池化策略获取点云全局质量分数的方法为：
[0018]其中，为全局质量分数，为各个局部点云簇的预测分数，N为局部点云簇的总数量。
[0019]与现有技术相比，本专利技术具有如下优点和技术效果：由于在点数不一致的不同场景点云之间使用定量局部采样方法不具备普适性，本专利技术基于点云簇提出了一种自适应的手工特征提取方式；由于在网络模型中不同深度的特征对于失真情况敏感程度不同，本专利技术采用多层次特征提取回归结构，并结合通道间注意力机制搭建质量评价网络，有效全面获取能描述失真点云特性的信息；本专利技术所提出的网络模型在不同点云数据集中与现有先进点云质量评价指标进行对比，表现出了较好的性能。
附图说明
[0020]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术实施例的基于多层次特征提取网络模型的三维点云质量评价方法流程图；图2为本专利技术实施例的MFE
‑
Net的整体结构示意图；图3为本专利技术实施例的残差单元特征融合模块示意图；图4为本专利技术实施例的点云手工特征提取示意图；图5为本专利技术实施例中经由三维扫描技术获得的文物点云对象示意图。
具体实施方式
[0021]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0022]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0023]本专利技术提出了基于多层次特征提取网络模型的三维点云质量评价方法，如图1，包括：对点云数据进行手工特征提取，获取灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离；在将失真点云输入多层次特征提取网络模型之前，需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多层次特征提取网络模型的三维点云质量评价方法，其特征在于，包括：对点云数据进行手工特征提取，获取灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离；构建多层次特征提取网络模型，基于所述灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离对所述网络模型进行训练，获取局部质量分数；基于所述局部质量分数，通过平均池化策略获取点云全局质量分数，基于所述点云全局质量分数对三维点云质量进行评价。2.根据权利要求1所述的基于多层次特征提取网络模型的三维点云质量评价方法，其特征在于，采用自适应的方式提取所述点云数据的手工特征，所述手工特征提取包括中心点的选取、簇的构成和各个簇的特征提取。3.根据权利要求2所述的基于多层次特征提取网络模型的三维点云质量评价方法，其特征在于，对所述点云数据进行手工特征提取包括：确定采样簇的个数，基于最远点采样方法选取所述点云数据中各个簇的中心点，结合KNN方法获取各个中心点的k个最邻近点，构成若干点云簇，其中，每个所述点云簇中包含k+1个点；基于所述点云簇的划分，获取所述灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离。4.根据权利要求3所述的基于多层次特征提取网络模型的三维点云质量评价方法，其特征在于，所述点云簇中任意点相对于所述中心点的欧几里得距离为：其中，为簇中心点的空间坐标，为第i个邻近点的空间坐标，为簇中任意点，为簇中心点。5.根据权利要求4所述的基于多层次特征提取网络模型的三维点云质量评价方法，其特征在于，计算所述点云簇中各个点的灰度值的方法为：其中，分别为点云的红绿...

【专利技术属性】
技术研发人员：何周燕，梁琪浩，郁梅，骆挺，徐海勇，
申请(专利权)人：宁波大学科学技术学院，
类型：发明
国别省市：