一种基于多角度自适应帧内预测的点云属性压缩方法技术

本发明专利技术公布了一种基于多角度自适应帧内预测的点云属性压缩方法，针对点云属性信息,提出一种新的基于块结构的帧内预测方案，提供六种预测模式以尽可能地减少点云不同编码块之间的信息冗余，提高点云属性的压缩性能；包括：(1)点云的输入；(2)点云属性的颜色空间转换；(3)采用K‑dimension(KD)树划分点云得到编码块；(4)基于块结构的多角度自适应帧内预测；(5)帧内预测模式决策；(6)变换、均匀量化和熵编码。本发明专利技术使用KD树对点云进行编码块的划分，并按照广度优先遍历的顺序对编码块进行编号，根据编号顺序使用具有六种预测模式的点云帧内预测方案对编码块进行逐一处理，由模式决策选出最佳预测模式，再对预测残差进行变换、量化和熵编码处理，以达到点云属性压缩的最佳性能。

【技术实现步骤摘要】
一种基于多角度自适应帧内预测的点云属性压缩方法
本专利技术属于点云数据处理
，涉及点云数据压缩方法，尤其涉及一种基于多角度自适应帧内预测的点云属性压缩的方法，我们将这种帧内预测命名为“多角度自适应帧内预测”。
技术介绍
随着人们对三维视觉的需求日益增加，三维点云作为现实世界数字化的一种重要表现形式，在如智慧城市、无人驾驶、文物保护等众多热门研究中起技术支撑作用。随着三维扫描设备(激光、雷达等)的快速发展，点云的精度、分辨率更高。高精度点云广泛应用于城市数字化地图的构建，。点云是三维扫描设备对物体表面采样所获取的，一帧点云的点数一般是百万级别，其中每个点包含几何信息和颜色、纹理等属性信息，数据量十分庞大。三维点云庞大的数据量给数据存储、传输等带来巨大挑战，所以点云压缩十分必要。点云压缩主要分为几何压缩和属性压缩，现有的点云属性压缩框架主要包括以下几种：一、基于八叉树分解和DCT的方法：该方法先用八叉树对点云进行空间分解得到编码块，然后对树进行深度优先遍历，将遍历的结点颜色值按照蛇形的顺序写入二维的JPEG表，再利用现有的JPEG编码器对获得的点云颜色表进行编码，其中JPEG编码器使用的是DCT。该方法利用现有的编码器，计算复杂度低，但并未充分利用点与点之间的空间相关性，在压缩性能上有待提高；二、基于八叉树分解和图变换的方法：该方法先用八叉树对点云进行空间分解，划分到特定层次得到变换块；在每个变换块内形成图，将沿着任意坐标轴的距离不超过1的两点用一条边连接起来，边的权重与欧氏距离成反比；再对图中结点的属性信息进行图变换。该方法的压缩性能佳；但运算复杂度较高，其构图方式可能会带来子图问题，影响图变换的效率，仍有改善的空间；三、基于KD树分解和图变换的方法：该方法先用KD树对点云进行空间分解，划分到一定深度得到变换块，其中每个变换块内所包含的点数大致相同：在变换块内，每两点用一条边连接起来，边的权重与欧氏距离有关，设定的边欧式距离阈值决定图的稀疏度；然后再对图内点的属性信息进行图变换。该方法彻底解决了子图问题，同时在压缩性能方面较前两种方法都有较大的提升，但运算复杂度较高，性能仍待改善。
技术实现思路
为了克服上述现有技术的不足，在考虑计算复杂度的条件下，进一步改善点云属性的压缩性能，本专利技术提供一种基于多角度自适应帧内预测的点云属性压缩的方法，通过使用一种新的基于块结构的帧内预测方案，提供六种预测模式以尽可能地减少点云不同编码块之间的信息冗余，提高点云属性的压缩性能。此专利技术提出的六种预测模式基本涵盖了所有可预测方向，提供了一套完备的多角度自适应帧内预测方法。本专利技术提供的技术方案是：一种基于多角度自适应帧内预测的点云属性压缩方法，针对点云数据，使用KD树对点云进行编码块的划分，并按照广度优先遍历的顺序对编码块进行编号，根据编号顺序使用具有六种预测模式的点云帧内预测方案对编码块进行逐一处理，由模式决策选出最佳预测模式，再对预测残差进行变换、量化和熵编码处理，以达到点云属性压缩的最佳性能；包括如下步骤：1)点云属性的颜色空间转换：读入待处理的点云属性信息，考虑人眼的视觉特性和压缩处理的难易程度，将点云颜色空间从RGB空间转换到YUV空间；2)采用KD树划分点云得到编码块：根据几何信息对点云进行KD树划分，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度；KD树划分的最后一层为叶子节点，所得到的块即为点云的编码块；编码块的上一层为宏块层，每个宏块是两个叶子结点的父节点。按照广度遍历的顺序对所有编码块进行编号，该编号将作为编码块后期处理的顺序。3)基于块结构的帧内预测：根据编码块的编号顺序依次对编码块进行帧内预测，共六种预测模式。预测模式一是使用数值128作为当前块b2i的Y亮度分量的预测参考值，U、V色度分量不预测，称为“直流模式”；预测模式二是用当前块b2i的前一个块b2i-1重构后所有点Y、U、V分量的均值作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；预测模式三是用当前块b2i的前两个块b2i-2重构后所有点Y、U、V分量的均值作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；预测模式四是用当前块b2i的前三个块b2i-3重构后所有点Y、U、V分量的均值作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；预测模式二、模式三、模式四这三种预测模式为KD树叶子节点之间的多角度预测。预测模式五是使用当前块b2i在KD树上父节点Mbi的前一个父节点Mbi-1作为预测参考块，将该父节点重构后所有点Y、U、V分量的均值作为当前叶子节点的Y2i、U2i、V2i分量的参考值进行预测；预测模式六是使用当前块b2i在KD树上父节点Mbi的前两个父节点Mbi-2作为预测参考块，将该父节点重构后所有点Y、U、V分量的均值作为当前叶子节点的Y2i、U2i、V2i分量的参考值进行预测；这两种预测模式为KD树叶子节点与父节点之间跨层次的多角度预测，提供了更灵活的预测方案，有利于编码块内信息冗余的去除。对第一个编码块b1进行帧内预测时，只能使用预测模式一；对第二个编码块b2进行帧内预测时，可以预测模式一和预测模式二；对第三个编码块b3进行帧内预测时，可以使用预测模式一、预测模式二、预测模式三和预测模式五；对第四个编码块b4进行帧内预测时，可以使用预测模式一、预测模式二、预测模式三、预测模式四和预测模式五；对编号k≥5的编码块bk进行帧内预测时，六种预测模式均可采用。4)帧内预测模式决策：对编码块bk(k≥2)的颜色分量Yk、Uk、Vk预测需要进行模式决策选出最佳的预测模式，而第一个编码块不需要进行模式决策；使用预测残差变换系数的绝对值和SATD(SumofAbsoluteTransformedDifference)来估计预测模式的代价，其中使用离散余弦变换DCT(Discretecosinetransform)对预测残差进行变换处理；SATD值越小，代表预测模式代价越小，预测性能越好，具有最小SATD的模式将被选择为当前块的预测模式；5)点云属性压缩码流的生成：按照编码顺序处理所有编码块，对预测后残差进行DCT变换、均匀量化和熵编码，得到点云属性压缩的最终码流；上述步骤1)所述的颜色空间转换，其具体过程如下：(1-1)点云中的点pk具有RGB颜色空间的颜色值为rk、gk、bk，通过颜色空间转换矩阵将RGB转换到YUV颜色空间，颜色值为yk、uk、vk；(1-2)颜色空间转换的数学表达式为:上述步骤2)所述的编码块的划分和编号，其具体过程如下：KD树划分时，选择点的分布方差最大的坐标轴作为划分轴，充分考虑了变换块内各点的相关性；同时把划分轴上坐标是中位值的点作为划分点，使变换块内点的数量基本相同。设待处理的点云共有N个点，KD树设定的划分深度为d，经过对点云d次划分后，得到2d个编码块；对所有的编码块按照广度遍历的顺序进行编号上述步骤3)所述的基于编码块顺序的帧内预测，编码块的预测参考值如表1所示：表1编码块帧内预测的颜色分量参考值上述步骤4)中所述的帧内预测的模式决策，其具体过程如下：编码块b本文档来自技高网...

【技术保护点】
1.一种基于多角度自适应帧内预测的点云属性压缩方法，针对点云属性信息，提出一种新的基于块结构的帧内预测方案，提供六种预测模式以尽可能地减少点云不同编码块之间的信息冗余，提高点云属性的压缩性能；包括如下步骤：1)点云属性的颜色空间转换：读入待处理的点云属性信息，考虑人眼的视觉特性和压缩处理的难易程度，将点云颜色空间从RGB空间转换到YUV空间；2)采用KD树划分点云得到编码块，并按照广度遍历顺序对编码块进行编号：读入点云的几何信息，根据几何信息对点云进行KD树划分，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度；KD树划分的最后一层为叶子节点，所得到的块即为点云的编码块；编码块的上一层为宏块层，每个宏块是两个叶子结点的父节点。按照广度遍历的顺序对所有编码块进行编号，该编号将作为编码块后期处理的顺序；3)基于编号顺序对点云编码块的属性信息进行多角度自适应帧内预测，有六种预测模式：预测模式一是使用数值128作为当前块b2i的Y亮度分量的预测参考值，U、V色度分量不预测，称为“直流模式”；预测模式二是用当前块b2i的前一个块b2i‑1重构后所有点Y、U、V分量的均值...

【技术特征摘要】
1.一种基于多角度自适应帧内预测的点云属性压缩方法，针对点云属性信息，提出一种新的基于块结构的帧内预测方案，提供六种预测模式以尽可能地减少点云不同编码块之间的信息冗余，提高点云属性的压缩性能；包括如下步骤：1)点云属性的颜色空间转换：读入待处理的点云属性信息，考虑人眼的视觉特性和压缩处理的难易程度，将点云颜色空间从RGB空间转换到YUV空间；2)采用KD树划分点云得到编码块，并按照广度遍历顺序对编码块进行编号：读入点云的几何信息，根据几何信息对点云进行KD树划分，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度；KD树划分的最后一层为叶子节点，所得到的块即为点云的编码块；编码块的上一层为宏块层，每个宏块是两个叶子结点的父节点。按照广度遍历的顺序对所有编码块进行编号，该编号将作为编码块后期处理的顺序；3)基于编号顺序对点云编码块的属性信息进行多角度自适应帧内预测，有六种预测模式：预测模式一是使用数值128作为当前块b2i的Y亮度分量的预测参考值，U、V色度分量不预测，称为“直流模式”；预测模式二是用当前块b2i的前一个块b2i-1重构后所有点Y、U、V分量的均值作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；预测模式三是用当前块b2i的前两个块b2i-2重构后所有点Y、U、V分量的均值作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；预测模式四是用当前块b2i的前三个块b2i-3重构后所有点Y、U、V分量的均值作为预测参考值，对当前块b2i的Y2i、U2i、V2i分量进行帧内预测；预测模式二、模式三、模式四这三种预测模式为KD树叶子节点之间的多角度预测；预测模式五是使用当前块b2i在KD树上父节点Mbi的前一个父节点Mbi-1作为预测参考块，将该父节点重构后所有点Y、U、V分量的均值作为当前叶子节点的Y2i、U2i、V2i分量的参考值进行预测；预测模式六是使用当前块b2i在KD树上父节点Mbi的前两个父节点Mbi-2作为预测参考块，将该父节点重构后所有点Y、U、V分量的均值作为当前叶子节点的Y2i、U2i、V2i分量的参考值进行预测；这两种预测模式为KD树叶子节点与父节点之间跨层次的多角度预测，提供了更灵活的预测方案，有利于编码块内信息冗余的去除；对第一个编码块b1进行帧内预测时，只能使用预测模式一；对第二个编码块b2进行帧内预测时，可以预测模式一和预测模式二；对第三个编码块b3进行帧内预测时，可以使用预测模式一、预测模式二、预测模式三和预测模式五；对第四个编码块b4进行帧内预测时，可以使用预测模式一、预测模式二、预测模式三、预测模式四和预测模式五；对编号k≥5的编码块bk进行帧内预测时，六种预测模式均可采用。4...

【专利技术属性】
技术研发人员：李革，邵薏婷，魏红莲，王荣刚，黄铁军，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东,44