基于点结构化信息网络的点云质量计算方法技术

本发明专利技术公开基于点结构化信息网络的点云质量计算方法，将点云块的位置矢量特征、距离特征、亮度特征与亮度差特征联合输入点结构化信息网络模型，提取点云块的结构化信息特征；将点结构化信息特征输入到失真感知流网络中，得到失真分类特征；将结构化信息特征输入到基础质量感知流网络中，得到点云块的基础质量特征。将点云块的基础质量特征与失真分类特征进行融合并输入两层第三全连接层，获得预测质量分数；将属于同一整体点云的多个点云块的预测质量分数进行平均计算，获得该整体点云的最终分数。本发明专利技术考虑到点云亮度、距离、相对位置等信息对点云质量的影响，引入亮度差特征、结构化信息特征对点云主观质量进行综合评估。化信息特征对点云主观质量进行综合评估。化信息特征对点云主观质量进行综合评估。

【技术实现步骤摘要】
基于点结构化信息网络的点云质量计算方法


[0001]本专利技术涉及基于点结构化信息网络的点云质量计算方法，属于3D点云无参考质量评价


技术介绍

[0002]点云定义为一组三维点，其中每个点都表示为三维坐标和特定属性(例如颜色)。随着三维信息捕捉技术的发展，点云在虚拟现实、沉浸式临场感、移动地图和三维信息打印等应用中得到了广泛的应用。点云的一个典型用途是在虚拟现实和身临其境的临场感中表现人类的全息图像。然而，为了逼真地展现视觉信息，一个模型可能有数百万甚至上亿的点组成，在进行传输的过程中，通常采用有损压缩方案，与无损压缩方案相比，它可以节省很多的传输资源以及提升传输的速率，但带来的负面影响就是会产生压缩感知失真。此外，在采集、传输的过程中也可能会受到干扰从而产生下采样感知失真、高斯滤波失真等，从而导致人眼感知情况下降。为了更好地管理和控制点云的主观质量，因此提出符合人眼感知的高性能彩色点云质量评价至关重要。
[0003]为了量化这种视觉感知机制，人们常常从主观和客观两种质量评估的角度进行研究。主观质量评价依赖于人员的主观打分，为不同的失真程度提供真实的视觉感知分数，尽管这些方法是准确的，但是时间和人工成本都很昂贵。客观质量指标则是指运用模型评估点云的视觉质量，现有的客观质量评价模型大致可以分为三种，全参考点云质量评价、半参考点云质量评价以及无参考点云质量评价。然而由于在大部分场景下，是比较难获得原始点云的信息，且在储存和传输的过程中所需数据量过大，这就导致了全参考的点云质量评价方式在实际现实中难以运用，因此无参考的点云质量评价方式渐渐成为人们研究的重点。现有的无参考点云质量评价主要可以归为基于手工特征的度量和基于深度学习的度量两种方向。其中基于手工特征的方法有通过将3D点云投影到几何与颜色特征域，然后利用3D自然场景统计和熵提取质量感知特征，利用支持向量机将特征回归到视觉质量分数(3D
‑
NSS)。然而，手工制作的特性高度依赖于领域知识，因此特征表示的性能常常受限。基于深度学习的方法有通过摄像机围绕点云旋转三个特定轨道从而获得三个视频序列，将ResNet3D作为特征提取模型以学习捕获视频与相应主观质量分数之间的相关性(VS
‑
ResNET)；通过从3D点云中提取分层特征，同时考虑几何以及纹理信息，采用稀疏张量表示，将张量输入到CNN中来预测得到质量评分(ResSCNN)；通过将自然图像视为源域，将点云视为目标域，运用无监督对抗性自适应来推断点云质量(IT
‑
PCQA)；通过多视图的联合特征提取和融合模块、失真类型识别模块和质量矢量预测模块来预测最终分数(PQA
‑
NET)。然而上述的基于深度学习的方法由于点云的非结构化性质阻碍了直接应用卷积运算，因此将3D点云投影为图像或者视频。这些方法均只考虑颜色信息而忽略了与人类感知高度相关的几何信息。

技术实现思路

[0004]本专利技术所要解决的技术问题是克服现有技术的缺陷，提供基于点结构化信息网络的点云质量计算方法。
[0005]为达到上述目的，本专利技术提供基于点结构化信息网络的点云质量计算方法，包括：
[0006]将预先获取的点云块的位置矢量特征、点云块的距离特征、点云块的亮度特征与点云块的亮度差特征联合输入到点结构化信息网络模型中，提取点云块的结构化信息特征；
[0007]将点结构化信息特征输入到迭代训练完成的失真感知流网络中，得到失真分类特征；
[0008]将结构化信息特征输入到基础质量感知流网络中，得到点云块的基础质量特征。
[0009]优先地，将点云块的基础质量特征与失真分类特征进行融合并输入两层第三全连接层，获得预测质量分数；
[0010]将属于同一整体点云的多个点云块的预测质量分数进行平均计算，获得该整体点云的最终分数。
[0011]优先地，将预先获取的位置矢量特征、距离特征、亮度特征与亮度差特征联合输入到点结构化信息网络模型中，提取点云块的结构化信息特征，通过以下步骤实现：
[0012]点结构化信息网络模型包括第一卷积层、第二卷积层、第三卷积层和第四卷积层，第一卷积层、第二卷积层、第三卷积层和第四卷积层依次连接；
[0013]将位置矢量特征输入第一卷积层、第二卷积层、第三卷积层和第四卷积层处理，得到结构化特征权重；
[0014]将位置矢量特征、距离特征、亮度特征和亮度差特征与结构化特征权重进行特征加权，获得点云块的结构化信息特征。
[0015]优先地，将点结构化信息特征输入到迭代训练完成的失真感知流网络中，得到失真分类特征，通过以下步骤实现：
[0016]迭代训练之前的失真感知流网络包括第五卷积层、第六卷积层、第一最大池化层、第一全局平均池化层、第一全连接层和线性回归层，第五卷积层、第六卷积层、第一最大池化层、第一全局平均池化层、及第一全连接层和线性回归层依次连接；
[0017]对迭代训练完成的整个失真感知流网络进行冻结，去掉线性回归层；
[0018]将点结构化信息特征输入到去掉线性回归层的迭代训练完成的失真感知流网络中，得到失真分类特征。
[0019]优先地，基础质量感知流网络包括多层第七卷积层、第二最大池化层、第二全局平均池化层以及第二全连接层，多层第七卷积层、第二最大池化层、第二全局平均池化层以及第二全连接层依次连接。
[0020]优先地，预先获取位置矢量特征、距离特征、亮度特征与亮度差特征，通过以下步骤实现：依据FPS最远点采样算法原理对原始点云进行采样，获得采样点；
[0021]通过KNN最近邻算法，选取每个采样点的1024个最近距离点组成一个点云块；
[0022]计算得到每个点云块的位置矢量特征与距离特征；
[0023]计算得到每个点云块的亮度特征与亮度差特征。
[0024]优先地，计算得到每个点云块的位置矢量特征与距离特征，通过以下步骤实现：
[0025]计算点云块中每个采样点的位置矢量特征{Δx
j
,Δy
j
,Δz
j
}：
[0026]{Δx
j
,Δy
j
,Δz
j
}＝{x
j
‑
x0,y
j
‑
y0,z
j
‑
z0}，
[0027]式中，p
j
＝{x
j
,y
j
,z
j
}表示每个采样点的三维坐标，j＝1,2,
…
,K，p0＝{x0,y0,z0}，p0为形心点的三维坐标；
[0028]计算点云块中每个采样点的距离特征：
[0029][0030]优先地，计算得到点云块的亮度特征与亮度差特征，通过以下步骤实现：
[0031]计算得到点云块中每个采样点的亮度特征l
j
：
[0032]l<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于点结构化信息网络的点云质量计算方法，其特征在于，包括：将预先获取的点云块的位置矢量特征、点云块的距离特征、点云块的亮度特征与点云块的亮度差特征联合输入到点结构化信息网络模型中，提取点云块的结构化信息特征；将点结构化信息特征输入到迭代训练完成的失真感知流网络中，得到失真分类特征；将结构化信息特征输入到基础质量感知流网络中，得到点云块的基础质量特征。2.根据权利要求1所述的基于点结构化信息网络的点云质量计算方法，其特征在于，将点云块的基础质量特征与失真分类特征进行融合并输入两层第三全连接层，获得预测质量分数；将属于同一整体点云的多个点云块的预测质量分数进行平均计算，获得该整体点云的最终分数。3.根据权利要求1所述的基于点结构化信息网络的点云质量计算方法，其特征在于，将预先获取的位置矢量特征、距离特征、亮度特征与亮度差特征联合输入到点结构化信息网络模型中，提取点云块的结构化信息特征，通过以下步骤实现：点结构化信息网络模型包括第一卷积层、第二卷积层、第三卷积层和第四卷积层，第一卷积层、第二卷积层、第三卷积层和第四卷积层依次连接；将位置矢量特征输入第一卷积层、第二卷积层、第三卷积层和第四卷积层处理，得到结构化特征权重；将位置矢量特征、距离特征、亮度特征和亮度差特征与结构化特征权重进行特征加权，获得点云块的结构化信息特征。4.根据权利要求1所述的基于点结构化信息网络的点云质量计算方法，其特征在于，将点结构化信息特征输入到迭代训练完成的失真感知流网络中，得到失真分类特征，通过以下步骤实现：迭代训练之前的失真感知流网络包括第五卷积层、第六卷积层、第一最大池化层、第一全局平均池化层、第一全连接层和线性回归层，第五卷积层、第六卷积层、第一最大池化层、第一全局平均池化层、及第一全连接层和线性回归层依次连接；对迭代训练完成的整个失真感知流网络进行冻结，去掉线性回归层；将点结构化信息特征输入到去掉线性回归层的迭代训练完成的失真感知流网络中，得到失真分类特征。5.根据权利要求4所述的基于点结构化信息网络的点云质量计算方法，其特征在于，基础质量感知流网络包括多层第七卷积层、第二最大池化层、第二全局平均池化层以及第二全连接层，多层第七卷积层、第二最大池化层、第二全局平均池化层以及第二全连接层依次连接。6.根据权利要求1所述的基于点结构化信息网络的点云质量计算方法，其特征在于，预先获取位置矢量特征、距离特征、亮度特征与亮度差特征，通过以下步骤实现：依据FPS最...

【专利技术属性】
技术研发人员：熊健，吴思凡，付晨艺，罗旺，高浩，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：