一种基于有限视场反馈的全景视频多播流的视角预测方法技术

本发明专利技术公开了一种基于有限视场反馈的全景视频多播流的视角预测方法，包括以下步骤：1、构建基于球面卷积的显著性检测模型，并利用显著性检测模型对全景视频提取显著性特征；2、构建基于球面卷积的记忆网络模型，并利用基于球面卷积的记忆网络模型挖掘少量用户用户视图序列的因果关联性以及特征；3、最后结合视频的时空显著性特征和少量用户视角特征进行融合，得到预测的全体用户视角。本发明专利技术考虑了全景视频的映射失真问题，并将显著性检测与少量视角结合起来得到最终预测的用户视角，从而能够实现较高的预测准确率。够实现较高的预测准确率。够实现较高的预测准确率。

【技术实现步骤摘要】
一种基于有限视场反馈的全景视频多播流的视角预测方法


[0001]本专利技术涉及多媒体视频传输领域，具体的说是一种基于有限视场反馈的全景视频多播流的视角预测方法。

技术介绍

[0002]沉浸式多媒体，包括全景视频和虚拟/增强现实(VR/AR)视频，最近随着交互式应用程序的需求上升而变得越来越流行。全景视频，借助头戴显示器(HMDs)，允许用户自由改变视野的方向，提供了一个非凡的沉浸式体验。然而，传统无线技术的带宽容量与360度视频流的带宽需求之间存在着很大的差距。由于头戴式显示设备HMD的局限性，用户只能看到整个视频的一小部分，因此选择用户感兴趣的视频区域进行传输能够节省带宽和计算资源。若像YouTube的策略一样，传输整个全景的视频内容，造成了带宽和计算资源的巨大浪费。假设用户未来的视角已知，则可以根据用户感兴趣的视频区域选择对应的视频传输，从而在视频传输中有利于带节省带宽资源，并使得用户观看的视频质量和用户体验效果更好。因此，需要预测未来的用户视角。
[0003]目前已有许多针对全景视频视角预测的研究。深圳大学的霍永凯等人专利技术了利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于有限视场反馈的全景视频多播流的视角预测方法，其特征是应用于多播网络场景中，所述多播网络场景中包含全景视频服务器和N个客户端；所述全景视频服务器和客户端之间的上行链路中包含有从客户端到全景视频服务器的反馈信道；所述反馈信道用于将用户的实时视角信息反馈给全景视频服务器，并由所述服务器进行视角预测；所述全景视频多播流的视角预测方法是按如下步骤进行：步骤一、构建基于球面卷积的显著性检测模型，所述显著性检测模型包括：显著性特征提取模块M
ST
‑
SPCNN
和基于球面卷积注意力模块M
SP
‑
CBAM
；所述显著性特征提取模块M
ST
‑
SPCNN
包括：空间特征提取单元M
S
‑
SPCNN
和时间特征提取单元M
T
‑
SPCNN
；所述空间特征提取单元M
S
‑
SPCNN
以视频中t时刻的单帧全景图像χ
t
为输入，并提取单帧图像χ
t
中的空间尺度特征F
tS
；所述时间特征提取单元M
T
‑
SPCNN
以连续t时刻到t+τ时刻的多帧图像(χ
t
,χ
t+1
,...,χ
t+τ
)为输入，并提取多帧图像间的时间尺度特征F
tT
；将t时刻的空间尺度特征F
tS
和时间尺度特征F
tT
按通道串联后，得到t时刻的时空特征F
tST
；将t时刻的时空特征F
tST
输入到所述球面卷积注意力模块M
SP
‑
CBAM
中并输出最终的时空特征F
t
′
，将时空特征F
t
′
映射为t时刻的显著性特征图P
ts
；1≤t≤t+τ≤tmax，tmax表示全景视频的时长；步骤二、根据N个用户通过反馈信道反馈的{t
‑
k,...,t
‑
2,t
‑
1}时刻的历史视角信息，从中随机选择R个用户在{t
‑
k,...,t
‑
2,t
‑
1}时刻的历史视角信息；根据所选择的每个用户在{t
‑
k,...,t
‑
2,t
‑
1}的历史视角信息，利用高斯分布生成每个用户在{t
‑
k,...,t
‑
2,t
‑
1}时刻的历史视图序列，记为其中，表示第r个用户反馈的{t
‑
k,...,t
‑
2,t
‑
1}时刻的历史视图序列，表示第r个用户反馈的t
‑
k时刻的历史用户视图，1≤r≤R≤N；将R个用户在{t
‑
k,...,t
‑
2,t
‑
1}时刻的历史用户视图序列相加，得到用户视图序列，记为(X
t
‑
k
,...,X
t
‑2,X
t
‑1)；其中，X
t
‑
k
表示R个用户在t
‑
k时刻的视图序列；步骤三、构建视角预测模块，所述视角预测模块包含基于球面卷积的双层记忆网络模型，M
2SP
‑
ConvGRU
；所述双层记忆网络模型M
2SP
‑
ConvGRU
是由两层基于球面卷积的记忆单元M
SP

【专利技术属性】
技术研发人员：黎洁，韩玲，李奇越，张聪，王枭，陈勇，彭涛，王慧宇，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：