一种基于神经压缩与渐进式精细化的点云视频处理方法技术

本发明专利技术公开了一种基于神经压缩与渐进式精细化的点云视频处理方法,包括以下步骤：S1.训练深度神经编码器；S2.训练视角自适应编码器；S3.对PCV数据进行八叉树空间编码得到编码后的PCV数据；S4.分配(1‑γ)的点云由深度神经编码器压缩，剩余的γ点云由视角自适应编码器压缩；S5.深度神经编码器对自身分配到的PCV数据进行压缩；S6.视角对FoV内的点云进行压缩；S7.对压缩后的视频数据进行实时传输；S8.监测网络状况和计算资源使用情况以及当前QoE，动态调整视频流的编解码策略。

【技术实现步骤摘要】

本专利技术涉及点云视频处理，特别是涉及一种基于神经压缩与渐进式精细化的点云视频处理方法。

技术介绍

1、pcv为用户提供了六自由度(6-dof)的逼真3d场景观看体验，使人们能够全身心沉浸在3d视频场景中，并自由变换位置和角度观看视频内容。然而，由于其高维度和稀疏性质，pcv的处理相比2d视频更为复杂。例如，每帧包含约76万点的视频，其带宽需求高达2.9gbps，远超过普通设备的带宽能力。因此，优化pcv传输的带宽需求成为当务之急。

2、与传统的视频流媒体服务相比，点云视频(pcv)流媒体系统面临几个关键挑战：1)高带宽需求：pcv需要处理大量数据，导致其带宽需求远超过普通设备的能力。特别是在带宽受限的环境下，如何有效传输高质量的3d内容成为一个重要问题。2)实时交互的复杂性：pcv提供六自由度(6-dof)的观看体验，用户可以自由移动和旋转头部观看视频内容。这种高度的交互性要求系统能实时响应用户的动作和视角变化，而在实际应用中，这往往受到网络波动和压缩效率低下的影响。3)有效的压缩和播放连续性：为了处理大量的点云数据，有效的压缩技术至关重要。本文档来自技高网...

【技术保护点】

1.一种基于神经压缩与渐进式精细化的点云视频处理方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于神经压缩与渐进式精细化的点云视频处理方法，其特征在于：所述深度神经编码器压缩速度低于自适应编码器，但压缩率高于视角自适应编码器。

3.根据权利要求1所述的一种基于神经压缩与渐进式精细化的点云视频处理方法，其特征在于：所述步骤S1所述深度神经编码器包括：多尺度特征提取器、运动估计模块、运动补偿模块、残差计算模块和熵编码压缩模块，所述步骤S1包括：

4.根据权利要求3所述的一种基于神经压缩与渐进式精细化的点云视频处理方法，其特征在于：所述密度学...

【技术特征摘要】

1.一种基于神经压缩与渐进式精细化的点云视频处理方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于神经压缩与渐进式精细化的点云视频处理方法，其特征在于：所述深度神经编码器压缩速度低于自适应编码器，但压缩率高于视角自适应编码器。

3.根据权利要求1所述的一种基于神经压缩与渐进式精细化的点云视频处理方法，其特征在于：所述步骤s1所述深度神经编码器包括：多尺度特征提取器、运动估计模块、运动补偿模块、残差计算模块和熵编码压缩模块，所述步骤s1包括：

4.根据权利要求3所述的一种基于神经压缩与渐进式精细化的点云视频处理方法，其特征在于：所述密度学习模块的数据处理过程如下：

5.根据权利要求1所述的一种基于神经压缩与渐进式精细化的点云视频处理方法，其特征在于：所述视角自适应编码器包括区域粗...

【专利技术属性】
技术研发人员：王方鑫，梁志成，刘俊华，
申请(专利权)人：香港中文大学深圳，
类型：发明
国别省市：