一种基于最优视角选择和多模态融合的点云质量评估方法技术

本发明专利技术公开了一种基于最优视角选择和多模态融合的点云质量评估方法，属于三维点云质量评估技术领域。该方法通过最优视角选择网络预测出点云的四个最佳视角，沿着这四个最佳视角方向进行投影，得到点云的2D投影图像；然后将点云划分为多个补丁；接下来通过图像编码器和点编码器对2D投影图像和补丁进行特征提取；接着利用通道注意力机制来建模和融合多模态质量感知信息，最后经过质量回归网络得到点云的最终分数。本发明专利技术考虑了点云的2D结构特征，以及3D空间信息，是具有创新性和可行性的。

【技术实现步骤摘要】

本专利技术属于三维点云质量评估，具体而言，涉及一种基于最优视角选择和多模态融合的点云质量评估方法。

技术介绍

1、点云作为表示3d模型或场景的主流格式之一，已广泛应用于增强现实和虚拟现实、交互式多媒体、自动驾驶、游戏等领域。然而，在采集、压缩和传输过程中，点云容易产生失真和变形。这些失真不仅会导致数据错误，还会影响用户在相关应用中的视觉感知。因此，点云质量评估(point cloud quality assessment,pcqa)对于确保用户体验质量至关重要。

2、根据在质量评估过程中对参考点云的使用程度，点云客观质量评估可分为全参考质量评估、半参考质量评估和无参考质量评估。然而，在实际应用中，原始点云的全部或部分信息通常是不可用的，因此，仅利用失真点云的无参考质量评估方法得到了广泛研究。无参考质量评估方法可以进一步分为基于点的方法和基于投影的方法。

3、基于点的方法直接从3d模型中提取逐点特征，但由于点云通常非常复杂且由大量点组成，因此开发基于点的pcqa方法难度较大，很难有效地提取质量感知特征。而基于投影的方法则首先从多个视点本文档来自技高网...

【技术保护点】

1.一种基于最优视角选择和多模态融合的点云质量评估方法，其特征在于该方法步骤如下：

2.根据权利要求1所述的基于最优视角选择和多模态融合的点云质量评估方法，其特征在于：所述步骤S1中，具体的步骤如下：

3.根据权利要求1所述的一种基于最优视角选择和多模态融合的点云质量评估方法，其特征在于：所述步骤S2中，具体步骤如下：

4.根据权利要求1所述的一种基于最优视角选择和多模态融合的点云质量评估方法，其特征在于：所述步骤S3中，使用Open3D包沿着步骤S22中得到的四个视角向量对点云进行渲染，并生成相应的点云2D投影图像(I#，I"，I$，I％)。

...

【技术特征摘要】

1.一种基于最优视角选择和多模态融合的点云质量评估方法，其特征在于该方法步骤如下：

2.根据权利要求1所述的基于最优视角选择和多模态融合的点云质量评估方法，其特征在于：所述步骤s1中，具体的步骤如下：

3.根据权利要求1所述的一种基于最优视角选择和多模态融合的点云质量评估方法，其特征在于：所述步骤s2中，具体步骤如下：

4.根据权利要求1所述的一种基于最优视角选择和多模态融合的点云质量评估方法，其特征在于：所述步骤s3中，使用open3d包沿着步骤s22中得到的四个视角向量对点云进行渲染，并生成相应的点云2d投影图像(i#，i"，i$，i％)。

5.根据权利要求1所述的一种基于最优视角选择和多模态融合的点云质量评估方法，其特征在于：所述步骤s4中，对失真点云p，采用最远点采样来获得n(个锚点，对于每个锚点，利用最近邻...

【专利技术属性】
技术研发人员：王晓川，王皓淼，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：