一种基于模型预测控制的点云视频流自适应传输方法技术

本发明专利技术公开了一种基于模型预测控制的点云视频流自适应传输方法，包括：1.将每帧的点云视频在空间上进行均匀切分，并将每个切块压缩编码成不同质量等级的版本；2.将点云视频序列帧在时间上分组，以帧组为最小单位；3.将不同质量等级的切块储存在服务器中，并生成其描述文件；4.服务器端根据MPC算法，并以构造的QOE作为目标函数，选取下一帧组要下载的合适的质量等级，以保证QOE目标函数尽可能大；5.客户端合适的切块后将其解码，融合，渲染然后即时播放。本发明专利技术能够在网络环境波动的情况下有一定的预见性，稳定控制buffer，并减少冻结、频繁的质量切换等严重影响用户观看体验地发生次数，以保证用户观看体验。以保证用户观看体验。以保证用户观看体验。

【技术实现步骤摘要】
一种基于模型预测控制的点云视频流自适应传输方法


[0001]本专利技术涉及多媒体视频传输领域，具体的说是一种针对点云视频的流媒体自适应传输方法，适用于在无线网络环境下，优化端到端的点云视频传输流程。

技术介绍

[0002]基于体积的点云视频是三维影像的一个分支，由于对比其基于图像的另外一个分支，点云有这更小的数据量，更先进的压缩方式，更少的采样相机，占用更小的传输带宽而有较广泛的应用。然而，即便如此，点云视频由于相当于二维传统视频增加一个维度，需要记录点的三维信息，因此其原始数据量大小远远大于传统二维视频。纵使近年来研究点云压缩十分火热，压缩后的点云仍然具有很大的数据量，以及造成客户端需要花费更多时间来进行解码。点云视频流在无线传输方面有较大发展空间，但由于网络环境的波动，导致带宽频繁波动，出现冻结等负面情况，用户观看体验难以达到最大化。
[0003]黑莓有限公司的S.拉瑟雷等人，专利技术了一种对点云进行编码以生成压缩后的点云数据的比特流的方法(公开号：CN112789803A)，其方法包括，所述点云在具有多个节点的树形结构中被定义,所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模型预测控制的点云视频流自适应传输方法，是应用在点云视频服务器和点云播放客户端所组成的网络环境中；所述点云视频服务器和点云播放客户端之间是通过下行链路传输；所述下行链路中包含从点云播放客户端到点云视频服务器的反馈信道；其特征是，所述点云视频自适应传输方法按如下步骤进行：步骤一、将整个点云视频在时间上均等划分为K个帧组，记为{GOF1,GOF2,...,GOF
k
,...,GOF
K
}，其中，GOF
k
表示点云视频中的第k个帧组，且1≤k≤K；将第k个帧组GOF
k
在空间上均匀切分为C＝a1×
a2×
a3尺寸的切块，并得到切块集合记为{BLOCK
k,1
,BLOCK
k,2
,...,BLOCK
k,c
,...,BLOCK
k,C
}，其中，BLOCK
k,c
表示第k个帧组GOF
k
的第c个切块，1≤c≤C；a1,a2,a3分别为切块长、宽、高；将第c个切块BLOCK
k,c
压缩成L种不同码率等级的切块，得到压缩后的切块集合记为{I
k,c,1
,I
k,c,2
,...,I
k,c,l
,...,I
k,c,L
}，其中，I
k,c,l
表示第k个帧组GOF
k
中第c个切块BLOCK
k,c
压缩得到的第l种码率等级的切块，从而得到所有切块的压缩后的切块集合并储存在点云视频服务器中；1≤l≤L；将第c个切块BLOCK
k,c
压缩后的切块集合{I
k,c,1
,I
k,c,2
,...,I
k,c,l
,...,I
k,c,L
}所包含的点数的集合记为{P
k,c,1
,P
k,c,2
,...,P
k,c,l
,...,P
k,c,L
}，其中，P
k,c,L
表示第k个帧组GOF
k
中第c个切块BLOCK
k,c
的第l个码率等级的切块I
k,c,l
所包含的点数；将第c个切块BLOCK
k,c
压缩后的切块集合{I
k,c,1
,I
k,c,2
,...,I
k,c,l
,...,I
k,c,L
}所包含的数据量的集合记为{S
k,c,1
,S
k,c,2
,...,S
k,c,l
,...,S
k,c,L
}，其中，S
k,c,l
表示第k个帧组GOF
k
中第c个切块BLOCK
k,c
的第l个码率等级的切块I
k,c,l
的数据量大小；将第c个切块BLOCK
k,c
压缩后的切块集合{I
k,c,1
,I
k,c,2
,...,I
k,c,l
,...,I
k,c,L
}的解码时间的集合记为{C
k,c,1
,C
k,c,2
,...,C
k,c,l
,...,C
k,c,L
}，其中，C
k,c,l
表示第k个帧组GOF
k
中第c个切块BLOCK
k,c
的第l个码率等级的切块I
k,c,l
所需的解码时间；将每个帧组下载过程的平均带宽集合记为{B1,B2,...,B
k
...,B
K
}，其中，B
k
表示第k个帧组GOF
k
下载过程中的平均带宽；步骤二、计算每个码率的切块的客观质量；步骤三、建立最优目标函数及其约束条件并作为用户观看体验模型；步骤四、使用模型预测控制方法对所述用户观看体验模型求解，获得当前环境参数下的下行传输决策变量，并传输至点云视频服务器；步骤五、所述点云服务器将对应下行传输决策变量的点云切块传输到点云播放客户端，点云播放客户端下载、解码并融合后，送入缓冲区以在VR头盔中播放。2.根据权利要求1所述的点云视频流自适应传输方法，其特征是，所述步骤二是按照如下过程进行：步骤2.1、将第k个帧组GOF
k
的第c个切块BLOCK
k,c
的第l个码率等级的切块I
k,c,l
记为退化点云V
′
，将k个帧组GOF
k
的第c个切块BLOCK
k,c
记为参考点云V；步骤2.2、将参考点云V中包含的点的集合记为其中，N
V
表示参考点云V中包含的点的数量；V
n
表示参考点云V中的第n个点，1≤n≤N
V
；步骤2.3、将退化点云V
′
中包含的点的集合记为其中，N
′
V
表示退化点云V
′
中包含的点的数量；V
′
n
′
表示参考点云V中的第n
′
个点，1≤n
′
≤N
′
V
；
步骤2.4、找到参考点云V中与退化点云V
′
中的第n
′
个点V
′
n
′
的最邻近点，并将两点之间的距离作为从退化点云V
′
到参考点云V的误差向量d
V
′
,V
(n
′
)；找到退化点云V
′
中与参考点云V中的第n个点V
n
的最邻近点，并将两点之间的距离作为从参考点云V到退化点云V
′
的误差向量d
V,V
′
(n)；步骤2.5、利用式(2
‑
1)和式(2
‑
2)分别计算从退化点云V
′
到参考点云V的均方根距离和从参考点云V到退化点云V
′
的均方根距离的均方根距离的均方根距离步骤2.6、利用式(2
‑
3)和式(2
‑
4)分别计算从退化点云V
′
到参考点云V的Haus距离和从参考点云V到退化点云V
′
的Haus距离的Haus距离的Haus距离步骤2.7、利用式(2
‑
5)和式(2
‑
6)分别计算均方根距离和Haus距离距离分别在两个方向上的最大值和和和步骤2.8、利用式(2
‑
7)
‑
式(2
‑
9)分别计算从退化点云V
′
到参考点云V的亮度均方差MSE
y
、色度的均方差MSE
u
和饱和度的均方差MSE
v
：：：式(2
‑
7)
‑
式(2
‑
9)中，分别表示退化点云V
′
中第n
′
个点的亮度值，色度值和饱和度值；分别表示参考点云V中距离退化点云V
′
的第n
′
个点最邻近点的亮度值，色度值和饱和度值；步骤2.9、利用式(2
‑
10)计算总均方误差AMSE：步骤2.10、利用式(2
‑
11)得到第k个帧组GOF
k
的第c个切块BLOCK
k...

【专利技术属性】
技术研发人员：黎洁，王慧宇，李奇越，张聪，王枭，陈勇，彭涛，韩玲，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：