一种用于实时体积视频流传输的压缩方法技术

本发明专利技术公开了一种用于实时体积视频流传输的压缩方法，通过聚类分割与两阶段的点云注册实现了点云以片为单位的动作补偿，并进一步将点云帧组划分为点云片组；对每一个点云片组构建共同点云片，并生成每个片对应的颜色信息，将预测帧颜色信息处理为颜色残差；之后该方法根据客户端的用户视角信息剔除不可见的点云片，对剩余的点云片使用八叉树与RAHT算法对几何信息与颜色信息编码；最后解码器通过CPU多线程技术并行解码彼此无关的点云片码流，实现了高速解码，满足了实时性的要求，该方法创建了共同点云片来有效地利用体积视频点云帧之间时间上的相似性，通过消除帧之间时间上的冗余来提高压缩率。上的冗余来提高压缩率。上的冗余来提高压缩率。

【技术实现步骤摘要】
一种用于实时体积视频流传输的压缩方法


[0001]本专利技术涉及计算机视频编码领域，尤其是一种用于实时体积视频流传输的压缩方法。

技术介绍

[0002]在虚拟现实与增强现实(VR/AR)的应用中，由点云视频帧构成的体积视频具有广泛的发展前景。体积视频因为允许用户以六自由度方式进行观看，所以可以为用户提供沉浸式的体验。体积视频的每一帧都是由3D点云构成的，点云中的每个点一般包含三维坐标<x,y,z>、RGB颜色与其他可选的属性。为了获得足够的真实性，体积视频通常要满足至少30FPS的帧率和每一帧包含上百万点的条件，因此传输体积视频需要以Gbps为单位的带宽，大大超出目前网络的上限。
[0003]为了传输体积视频，需要对其进行编码压缩。目前的主流方案分为两个类型，一种是二维投影压缩方案，另一种是三维空间树结构压缩方案，但是这两种方案都存在一定的问题。二维压缩方案需要将点云投影形成二维图像，通过现存的二维编码器进行编解码，最后还需要将二维图像重建为三维点云。这种方案虽然具有较高的压缩率，但是投影与重建的过程复杂度很高，运算时间较长，不能满足实时传输的需求，并且由于技术原因，不能根据用户视角的变化提前将视锥外与被遮挡的点云去除，造成资源的浪费。三维压缩方案使用八叉树等空间结构对点云进行压缩，压缩率较低，得到的视频流不能满足当前商业互联网带宽的限制。所以说，目前仍不存在一种方案可以在实时流传输的场景之下使编码过后的体积视频流码率满足商用互联网带宽需求，同时具有自适应用户视锥裁剪功能。
>
技术实现思路

[0004]为了克服现有技术中存在的上述问题，本专利技术提出一种用于实时体积视频流传输的压缩方法。
[0005]本专利技术解决其技术问题所采用的技术方案是：一种用于实时体积视频流传输的压缩方法，包括如下步骤：
[0006]步骤1，聚类分割与动作补偿阶段：对参考帧聚类分割，与预测帧做点云注册的运动补偿，得到点云片组；
[0007]步骤2，共同点云片生成阶段：对步骤1形成的点云片组，生成共同点云片，并进行颜色插值和颜色冗余去除；
[0008]步骤3，压缩编码阶段：对步骤2生成的共同点云片，进行不可见点云片去除，剩余的数据进行压缩，形成体积视频码流；
[0009]步骤4，并行解码阶段：客户端对步骤3产生的体积视频码流进行解码，使用CPU多线程技术加速解码过程。
[0010]上述的一种用于实时体积视频流传输的压缩方法，所述步骤1具体包括：
[0011]步骤1.1，将给定的体积视频以固定的长度分组，每一组称为一个GOP，每个GOP由
一个参考帧和若干预测帧构成；
[0012]步骤1.2，依据点云密度安排聚类中心，将预测帧分割为若干点数接近的点云片；
[0013]步骤1.3，对每个预测帧与参考帧之间进行点云注册，点云注册算法选取迭代最近邻点法(ICP)，首先对预测帧相对于参考帧做全局注册，得到最佳变换矩阵记为M
g
，再将上一步中参考帧分割出的点云片相对于变换后的预测帧做局部注册，得到局部最佳变换矩阵M
p
，记录变换后的点云片和对应变换矩阵M
p
M
′
g
；
[0014]步骤1.4，对预测帧的每一个点，计算该点应该归属的点云片组，片组编号l的计算方式为：
[0015][0016]其中，是第l个针对于第n个预测帧变换的参考帧点云片，p是当前被计算归属的预测帧点，p
′
是属于的点。
[0017]上述的一种用于实时体积视频流传输的压缩方法，所述步骤2具体包括：
[0018]步骤2.1，对于步骤(1)中生成的点云片组，计算每个预测帧点云片与参考帧点云片之间的均方误差MSE(p
n
)，计算方法如下：
[0019][0020]其中，P0是参考帧点云片，P
n
是预测帧点云片，P和Q是任意输入的两个点云，p是属于点云P的点，q是属于点云Q的点；
[0021]步骤2.2，在点云片组上构建共同的八叉树，在八叉树的节点上使用k均值聚类生成共同点云片；
[0022]步骤2.3，共同点云片参照点云片组中的片进行颜色插值，每个片都将生成一份颜色信息，颜色信息插值方法如下：
[0023][0024]其中，cc
n
是当前点颜色插值之后的结果，是第n片中j近邻点的颜色信息，w
j
是与该近邻点距离的倒数，w是所有权重之和；
[0025]步骤2.4，对共同点云片的不同帧颜色信息，参考帧保留原始数据，预测帧保留与参考帧颜色信息的差值，称为颜色残差。
[0026]上述的一种用于实时体积视频流传输的压缩方法，所述步骤3具体包括：
[0027]步骤3.1，根据客户端获取的用户视角信息，通过视锥体裁剪与遮挡去除算法剔除所有用户不可见的共同点云片；
[0028]步骤3.2，对用户可见的共同点云片建立八叉树，舍弃掉分辨率为1的层之下的信息，将八叉树节点用单字节数据表示，对八叉树依照层序遍历使用熵编码算法进行编码；
[0029]步骤3.3，对共同点云片的颜色信息，使用RAHT编码算法编码参考帧颜色信息与预测帧颜色信息残差。
[0030]步骤3.4，对步骤2.1中均方误差MSE大于一定阈值的片，单独编码，在这个片上单独建立八叉树，使用熵编码算法压缩几何信息，RAHT算法压缩颜色信息。
[0031]上述的一种用于实时体积视频流传输的压缩方法，所述步骤4具体包括：
[0032]步骤4.1，客户端解码器在收到视频码流之后，首先解码共同点云片，使用熵编码器的解码器将八叉树字节流解码，恢复八叉树的空间结构并从叶子结点恢复点云中点的几何坐标；
[0033]步骤4.2，客户端解码器使用RAHT解码点云片的颜色信息，将预测帧的颜色差值还原为颜色信息；
[0034]步骤4.3，对步骤3.4中单独编码的点云片，按照预测帧点云片的模式通过步骤4.1与步骤4.2进行解码。
[0035]本专利技术的有益效果是：
[0036](1)本专利技术构建了一种可以用于实时传输的体积视频流传输压缩框架；
[0037](2)本专利技术通过利用一种共同点云片实现了不同点云帧之间的时序冗余压缩，充分提高了三维压缩方法的压缩率；
[0038](3)本专利技术通过消除共同点云片之间的依赖关系，适应CPU多线程技术的需要，最终提高了解码速度，达到了实时传输的要求。
附图说明
[0039]下面结合附图和实施例对本专利技术进一步说明。
[0040]图1为本专利技术编码器流程图；
[0041]图2为本专利技术解码器流程图。
具体实施方式
[0042]为使本领域技术人员更好的理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术作详细说明。
[0043]本专利技术提供了一种用于实时体积视频流传输的压缩方法，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于实时体积视频流传输的压缩方法，其特征在于：包括如下步骤：步骤1，聚类分割与动作补偿阶段：对参考帧聚类分割，与预测帧做点云注册的运动补偿，得到点云片组；步骤2，共同点云片生成阶段：对步骤1形成的点云片组，生成共同点云片，并进行颜色插值和颜色冗余去除；步骤3，压缩编码阶段：对步骤2生成的共同点云片，进行不可见点云片去除，剩余的数据进行压缩，形成体积视频码流；步骤4，并行解码阶段：客户端对步骤3产生的体积视频码流进行解码，使用CPU多线程技术加速解码过程。2.根据权利要求1所述的一种用于实时体积视频流传输的压缩方法，其特征在于，所述步骤1具体包括：步骤1.1，将给定的体积视频以固定的长度分组，每一组称为一个GOP，每个GOP由一个参考帧和若干预测帧构成。步骤1.2，依据点云密度安排聚类中心，将预测帧分割为若干点数接近的点云片。步骤1.3，对每个预测帧与参考帧之间进行点云注册，点云注册算法选取迭代最近邻点法(ICP)。首先对预测帧相对于参考帧做全局注册，得到最佳变换矩阵记为M
g
，再将上一步中参考帧分割出的点云片相对于变换后的预测帧做局部注册，得到局部最佳变换矩阵M
p
。记录变换后的点云片和对应变换矩阵M
p
M
′
g
。步骤1.4，对预测帧的每一个点，计算该点应该归属的点云片组，片组编号l的计算方式为：其中，是第l个针对于第n个预测帧变换的参考帧点云片，p是当前被计算归属的预测帧点，p
′
是属于的点。3.根据权利要求1所述的一种用于实时体积视频流传输的压缩方法，其特征在于，所述步骤2具体包括：步骤2.1，对于步骤(1)中生成的点云片组，计算每个预测帧点云片与参考帧点云片之间的均方误差MSE(p
n
)，计算方法如下：MSE(P
n
)＝max(f(P
n
，P0)，f(P0，P...

【专利技术属性】
技术研发人员：肖梦白，
申请(专利权)人：山东大学，
类型：发明
国别省市：