一种彩色点云JND阈值预测方法、装置、设备以及存储介质制造方法及图纸

本申请公开了一种彩色点云JND阈值预测方法、装置、设备以及存储介质，所述方法包括：分别提取参考彩色点云和失真彩色点云的二维特征和三维特征，通过多模态特征提取模块提取二维投影特征和彩色点云特征，得到二维投影特征集和三维点云特征集；对二维投影特征集和三维点云特征集进行融合，得到多模态融合特征，根据所述多模态融合特征进行感知失真预测，得到几何和纹理的感知失真预测标签序列集合；采用二分块的JND搜索策略对所述感知失真预测标签序列集合进行查找，得到目标彩色点云的几何JND阈值和纹理JND阈值。本申请利用视觉感知机理辅助彩色点云的感知预测，在进一步挖掘视觉感知冗余的同时，提高了点云压缩的效率和更为高效的视觉表示。

【技术实现步骤摘要】

本申请涉及点云压缩，特别是涉及一种彩色点云jnd阈值预测方法、装置、设备以及存储介质。

技术介绍

1、随着多媒体技术和计算机图形学的快速发展，vr(virtual reality，虚拟现实)由于其高水平的沉浸感和六自由度(6dof)交互而变得越来越受欢迎。点云可以准确、完整地再现真实世界，因此在vr中被广泛应用，而高压缩比、低损耗的三维点云压缩方法是提高数据传输效率的关键。国际标准组织(mpeg)制定了g-pcc和v-pcc两个点云压缩标准，g-pcc对稀疏点云编码较为友好，当点云中的点数目过大时，为了保留丰富的纹理细节信息，v-pcc借鉴了视频编码方式，将点云分别投影得到纹理图像帧、几何图像帧和占位图像帧，通过视频编解码方式进行编码和重建点云。

2、点云质量评估(pcqa)在面向经验质量(qoe)的数据处理中起着至关重要的作用。为了反映各种扭曲所带来的视觉退化，近年来人们提出了许多pcqa指标。然而，这些指标往往不加选择地考虑所有的失真，忽略了一些失真低于明显的阈值的事实，因此不影响主观感知。为了解决这个问题，wang等人在pcqa中加入二维本文档来自技高网...

【技术保护点】

1.一种彩色点云JND阈值预测方法，其特征在于，包括：

2.根据权利要求1所述的彩色点云JND阈值预测方法，其特征在于，所述分别提取参考彩色点云和失真彩色点云的二维特征和三维特征之前，还包括：

3.根据权利要求2所述的彩色点云JND阈值预测方法，其特征在于，所述分别提取参考彩色点云和失真彩色点云的二维特征和三维特征，并根据原始彩色点云计算三维视觉机理特征，将不同维度的视觉机理特征和数据特征构建机理与数据联合驱动的JND训练样本集，包括：

4.根据权利要求3所述的彩色点云JND阈值预测方法，其特征在于，所述将所述JND训练样本集输入多模态特征提取模块，通...

【技术特征摘要】

1.一种彩色点云jnd阈值预测方法，其特征在于，包括：

2.根据权利要求1所述的彩色点云jnd阈值预测方法，其特征在于，所述分别提取参考彩色点云和失真彩色点云的二维特征和三维特征之前，还包括：

3.根据权利要求2所述的彩色点云jnd阈值预测方法，其特征在于，所述分别提取参考彩色点云和失真彩色点云的二维特征和三维特征，并根据原始彩色点云计算三维视觉机理特征，将不同维度的视觉机理特征和数据特征构建机理与数据联合驱动的jnd训练样本集，包括：

4.根据权利要求3所述的彩色点云jnd阈值预测方法，其特征在于，所述将所述jnd训练样本集输入多模态特征提取模块，通过多模态特征提取模块分别提取二维投影特征和彩色点云特征，得到二维投影特征集和三维点云特征集，具体为：

5.根据权利要求4所述的彩色点云jnd阈值预测方法，其特征在于，所述对所述二维投影特征集和三维点云特征集进行融合，得到多模态融合特...

【专利技术属性】
技术研发人员：李娜，张石生，张云，樊春玲，朱林卫，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：