层级化的点云码流封装方法和系统技术方案

本发明专利技术提供了一种层级化的点云码流封装方法和系统，包括：将动态点云压缩后的码流信息进行优先级的划分，封装在不同的盒子当中；其中，将所述码流信息中的信息区分出基础层信息和增强层信息，并对基础层信息、增强层信息的解码设定不同的优先级。本发明专利技术可以根据解码端的不同条件：网络带宽、设备性能、延时条件、用户需求等进行层级化的解码。层级化，即从不同的角度对动态点云压缩后的码流进行分解，并在此基础上实现基本信息呈现(以保证用户的基础体验，实现基本功能)和增强信息呈现(以保证用户的高质量体验)。从而为各类条件下的用户提供流畅的点云呈现体验。

【技术实现步骤摘要】
层级化的点云码流封装方法和系统
本专利技术涉及点云码流领域，具体地，涉及层级化的点云码流封装方法和系统，尤其是将点云的码流封装结构进行适应于消费过程的设计，用于点云在解码端呈现时的应用场景。
技术介绍
近几十年来，三维扫描技术和系统日趋成熟，3D扫描仪仪器制造成本降低，精度越来越来高，其应用也越来越广泛，可快速精准的获取实际物体表面的三维坐标信息并存储，使点云数据可广泛应用于科研和工业中的图像处理相关领域中。点云数据是物体三维扫描后其三维坐标的数据信息，还可能记录了RGB、深度等信息。随着三维扫描系统精度和速度的提升，扫描后点云数据量将达到几百万甚至更大的数量级，目前，海量点云数据为计算机存储、处理和传输增加沉重的负担。点云的压缩算法已经有了较为系统的研究，动态点云的典型压缩方案是通过映射将3D点云数据转换为2D图片进行处理。这种方案使得点云可通过视频处理手段进行压缩和传输，但是转化后码流中的信息分为几何信息、纹理信息、占位图、辅助信息等。其中几何信息记录了点云的空间位置，最为重要，同时需要借助占位图和辅助信息才能实现解码，而纹理信息则是在几何信息解码完成后才能解码。目前方案中动态点云压缩后的码流结构一般以GOF(GroupofFrame，帧组)为粒度，多个点云帧的几何信息与纹理信息等交错地存储在码流中，这种码流结构并未考虑解码端的处理压力。因为点云文件本身数据量巨大，一帧就可达几百兆，所以若直接按照压缩后的码流进行传输和解码，则在解码端呈现时，将出现严重的卡顿和时延。如何针对动态点云压缩后的码流信息进行封装结构设计，使之适应于解码端的呈现，是亟待解决的关键问题。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种层级化的点云码流封装方法和系统。根据本专利技术提供的一种层级化的点云码流封装方法，包括如下步骤：划分封装步骤：将动态点云压缩后的码流信息进行优先级的划分，封装在不同的盒子当中；其中，将所述码流信息中的信息区分出基础层信息和增强层信息，并对基础层信息、增强层信息的解码设定不同的优先级。优选地，包括如下步骤：几何信息设定步骤：将码流信息中的几何信息设定为基础层信息；所述几何信息表明了点云的空间位置；占位图设定步骤：将码流信息中的占位图设定为基础层信息；所述占位图表明了映射后图中被点云数据所占的区域；纹理信息设定步骤：将码流信息中的纹理信息设定为增强层信息；所述纹理信息表明了点云的颜色属性，在基础层信息完成解码后进行解码；辅助信息设定步骤：将码流信息中的辅助信息设定为元数据；所述辅助信息用于表明整个点云的映射方式，辅助实现整个点云的解码。优选地，包括：解码步骤：根据解码端的条件，进行层级化的解码；所述解码端的条件包括网络带宽、设备性能、延时条件、用户需求中的任一种或任多种条件；所述层级化的解码，以从不同的角度对动态点云压缩后的码流进行分解为基础，并在此基础上实现基本信息呈现和增强信息呈现。根据本专利技术提供的一种层级化的点云码流封装系统，包括如下模块：划分封装模块：将动态点云压缩后的码流信息进行优先级的划分，封装在不同的盒子当中；其中，将所述码流信息中的信息区分出基础层信息和增强层信息，并对基础层信息、增强层信息的解码设定不同的优先级。优选地，包括如下模块：几何信息设定模块：将码流信息中的几何信息设定为基础层信息；所述几何信息表明了点云的空间位置；占位图设定模块：将码流信息中的占位图设定为基础层信息；所述占位图表明了映射后图中被点云数据所占的区域；纹理信息设定模块：将码流信息中的纹理信息设定为增强层信息；所述纹理信息表明了点云的颜色属性，在基础层信息完成解码后进行解码；辅助信息设定模块：将码流信息中的辅助信息设定为元数据；所述辅助信息用于表明整个点云的映射方式，辅助实现整个点云的解码。优选地，包括：解码模块：根据解码端的条件，进行层级化的解码；所述解码端的条件包括网络带宽、设备性能、延时条件、用户需求中的任一种或任多种条件；所述层级化的解码，以从不同的角度对动态点云压缩后的码流进行分解为基础，并在此基础上实现基本信息呈现和增强信息呈现。优选地，不同优先级指示了解码的顺序和依赖关系，使得解码端依照规定的顺序进行解码，进而优化点云的呈现。优选地，几何信息与占位图为基础层信息，得到优先解码，从而呈现出点云的空间位置及形状轮廓，满足用户最基本的需求；纹理信息为增强层信息，在基础层信息解码完成后进行解码，满足用户对于点云颜色属性方面的需求；或者是，优先呈现基础层信息，不呈现增强层信息。与现有技术相比，本专利技术具有如下的有益效果：1、本专利技术针对点云的码流信息和解码过程，将几何信息、纹理信息、占位图和辅助信息分别置于不同的盒子中，优化点云在解码端的呈现。2、本专利技术可以根据解码端的不同条件：网络带宽、设备性能、延时条件、用户需求等进行层级化的解码。层级化，即从不同的角度对动态点云压缩后的码流进行分解，并在此基础上实现基本信息呈现(以保证用户的基础体验，实现基本功能)和增强信息呈现(以保证用户的高质量体验)。从而为各类条件下的用户提供流畅的点云呈现体验。3、本专利技术对动态点云压缩后的码流信息进行优先级的划分，信息的不同优先级指示了解码的顺序和依赖关系，使得解码端可以依照规定的顺序进行解码，进而优化点云的呈现。几何信息与占位图为基础层信息，可以得到优先解码从而呈现出点云的空间位置及形状轮廓，满足用户最基本的需求。纹理信息为增强层信息，需要在基础层信息解码完成后进行解码，满足用户对于点云颜色属性方面的更高层次需求。特别地，当解码端的应用有特殊需求(如目标检测等应用，无需纹理信息)，或是处理性能及网络条件较差时，可以优先呈现基础层信息，而增强层信息则是可选的，通过这种方式实现解码端的流畅呈现。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为现有技术背景的码流封装结构。图2为本专利技术所提出的层级化码流封装结构。图3为实施例中基础层信息解码完成后的点云呈现效果图。图4为实施例中增强层信息解码完成后的点云呈现效果图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。现今基于2D处理方式的动态点云压缩方案所得到的码流，直接以GOF为粒度。这就导致了一个问题：因为点云文件本身数据量巨大，一帧就可达几百兆，所以若直接按照压缩后的码流进行传输和解码，则在解码端呈现时，将出现严重的卡顿和时延。现今人们对于媒体的消费正在进一步升级，点云作为沉浸式媒体的重要表现形式，必不本文档来自技高网...

【技术保护点】
1.一种层级化的点云码流封装方法，其特征在于，包括如下步骤：/n划分封装步骤：将动态点云压缩后的码流信息进行优先级的划分，封装在不同的盒子当中；/n其中，将所述码流信息中的信息区分出基础层信息和增强层信息，并对基础层信息、增强层信息的解码设定不同的优先级。/n

【技术特征摘要】
1.一种层级化的点云码流封装方法，其特征在于，包括如下步骤：
划分封装步骤：将动态点云压缩后的码流信息进行优先级的划分，封装在不同的盒子当中；
其中，将所述码流信息中的信息区分出基础层信息和增强层信息，并对基础层信息、增强层信息的解码设定不同的优先级。


2.根据权利要求1所述的层级化的点云码流封装方法，其特征在于，包括如下步骤：
几何信息设定步骤：将码流信息中的几何信息设定为基础层信息；所述几何信息表明了点云的空间位置；
占位图设定步骤：将码流信息中的占位图设定为基础层信息；所述占位图表明了映射后图中被点云数据所占的区域；
纹理信息设定步骤：将码流信息中的纹理信息设定为增强层信息；所述纹理信息表明了点云的颜色属性，在基础层信息完成解码后进行解码；
辅助信息设定步骤：将码流信息中的辅助信息设定为元数据；所述辅助信息用于表明整个点云的映射方式，辅助实现整个点云的解码。


3.根据权利要求1所述的层级化的点云码流封装方法，其特征在于，包括：
解码步骤：根据解码端的条件，进行层级化的解码；
所述解码端的条件包括网络带宽、设备性能、延时条件、用户需求中的任一种或任多种条件；
所述层级化的解码，以从不同的角度对动态点云压缩后的码流进行分解为基础，并在此基础上实现基本信息呈现和增强信息呈现。


4.一种层级化的点云码流封装系统，其特征在于，包括如下模块：
划分封装模块：将动态点云压缩后的码流信息进行优先级的划分，封装在不同的盒子当中；
其中，将所述码流信息中的信息区分出基础层信息和增强层信息，并对基础层信息、增强层信息的解码设定不同的优先级。

【专利技术属性】
技术研发人员：徐异凌，柳宁，李哲，朱文婕，孙军，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31