360度视频传输的用户观看视点序列预测方法技术

技术编号:20182363 阅读:97 留言:0更新日期:2019-01-23 02:17
本发明专利技术提供了一种360度视频传输的用户观看视点序列预测方法,所述方法包括:将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第一视点序列;通过视点跟踪模型,将视频内容作为所述视点跟踪模型的输入,通过所述视点跟踪模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第二视点序列;结合第一视点序列和第二视点序列,确定用户未来的观看视点序列。本发明专利技术中的预测方法能够具有良好的实用性和扩展性,能够根据用户头部运动速度改变预测视点的序列长度。

Prediction Method of User View Sequence for 360 Degree Video Transmission

The invention provides a method for predicting the viewing viewpoint sequence of a user in 360 degree video transmission. The method includes: taking the viewing position of the user's past time as the input of the prediction model of the viewing viewpoint sequence, predicting the viewing position of the future multiple times through the prediction model of the viewing viewpoint sequence, and forming the first viewing point sequence through the viewing point tracking model of the future multiple times; The video content is used as the input of the viewpoint tracking model, and the viewpoint position of the future multiple times is predicted by the viewpoint tracking model. The viewpoint position of the future multiple times constitutes the second viewpoint sequence, and the user's future viewing viewpoint sequence is determined by combining the first viewpoint sequence and the second viewpoint sequence. The prediction method in the invention has good practicability and expansibility, and can change the sequence length of the prediction viewpoint according to the head movement speed of the user.

【技术实现步骤摘要】
360度视频传输的用户观看视点序列预测方法
本专利技术涉及视频通信
,具体地,涉及360度视频传输的用户观看视点序列预测方法。
技术介绍
360度视频是虚拟现实技术的一种重要应用,与传统视频相比,360度视频采用全方位摄像头捕捉现实世界每个方位景象,并将这些景象拼接以形成全景图像。当观看360度视频时,用户可以自由转动头部调整观看视角,获得沉浸式体验。然而,360度视频有超高的分辨率,传输完整360度视频需要消耗的带宽高达传统视频的6倍以上。在网络带宽资源受限的情况下,特别是对于移动网络来说,传输完整的360度视频是很困难的。受限于头戴式显示器的视场区域,每个时刻用户只能观看360度视频的一部分。因此根据用户头部运动选择用户感兴趣的视频区域进行传输能够更加有效利用带宽。从获取用户的需求信息,并将这一信息反馈至服务器端,直至用户接收到视频内容,会经历从用户到服务器的往返时延(Round-TripTime,RTT)。而用户在这一时间段内可能已经发生了头部位置移动,导致用户接收到的内容不再是其感兴趣的部分。为了避免RTT时延带来的传输滞后性,需要对用户的视点进行预测。经过对现有技术的检索发现,为了实现用户的视点预测,一种常用方法是通过对过去时刻的视点位置来推断未来时刻的视点位置。Y.Bao等人在《IEEEInternationalConferenceonBigData》会议上发表了题为“Shootingamovingtarget:Motion-prediction-basedtransmissionfor360-degreevideos”的文章,该文章提出了直接将当前时刻的视点位置作为未来时刻的视点位置的简单模型,及采用线性回归、前馈神经网络对用户视点位置随时间的变化关系进行回归分析,进而预测未来时刻的视点位置等三种回归模型。但是,诸如用户职业,年龄,性别,偏好等因素会影响用户对于360度视频的感兴趣区域,未来时刻的视点位置与过去时刻的视点位置之间的关系可以表征为非线性和长时间依赖关系,该文章提出的三种预测模型只能预测单个视点位置,无法预测未来多个时刻的视点位置。经检索还发现,A.D.Aladagli等人在《InternationalConferenceon3dImmersion,2018,pp.1-6》发表了题为“Predictingheadtrajectoriesin360virtualrealityvideos”的文章,该文章考虑了视频内容对于用户视点位置的影响,基于显著性算法预测视频的显著性区域,以此预测用户视点位置。但是,该文章没有考虑过去时刻视点位置对于观看视点的影响。
技术实现思路
针对现有技术中的缺陷,本专利技术的目的是提供一种360度视频传输的用户观看视点序列预测方法。本专利技术提供一种360度视频传输的用户观看视点序列预测方法,包括:将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第一视点序列;通过视点跟踪模型,将视频内容作为所述视点跟踪模型的输入,通过所述视点跟踪模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第二视点序列;结合第一视点序列和第二视点序列,确定用户未来的观看视点序列。可选地,在将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置之前,还包括:基于循环神经网络构建视点序列预测模型;其中,所述视点序列预测模型用于将输入的视点位置编码后输入到循环神经网络,计算隐藏单元和输出单元的值,学习用户不同时刻的观看视点间的长时间依赖关系,输出未来多个时刻的视点位置;所述视点位置包括:俯仰角、偏航角、滚动角的单位圆投影,所述视点位置的变化范围为-1到1;采用双曲正切函数作为输出单元的激活函数,所述激活函数限定所述视点位置的输出范围。可选地,所述将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置,包括:将用户当前时刻的视点位置作为所述视点序列预测模型第一次迭代的输入,得到第一次迭代的预测视点位置;循环将上一次迭代的预测视点位置作为所述视点序列预测模型下一次迭代的输入,得到未来多个时刻的预测视点位置。可选地,所述第一视点序列的长度与用户观看时头部运动的速度有关,用户头部运动速度越慢,则对应的第一视点序列的长度越长;用户头部运动速度越快,则对应的第一视点序列的长度越短。可选地,在通过视点跟踪模型,将视频内容作为所述视点跟踪模型的输入,通过所述视点跟踪模型预测未来多个时刻的视点位置之前,还包括:根据目标跟踪相关的滤波器算法构建视点跟踪模型,其中,所述相关的滤波器算法是指:设置相关滤波器,所述相关滤波器对视点位置的视频区域会形成最大响应值。可选地,所述通过视点跟踪模型,将视频内容作为所述视点跟踪模型的输入,通过所述视点跟踪模型预测未来多个时刻的视点位置,包括:采用等距圆柱投影方式,将未来时刻的360度视频帧的球形图像投影成平面图像;通过所述视点跟踪模型在所述平面图像中确定一个边界框,所述边界框中的区域即为视点区域,根据所述视点区域确定对应的视点位置。可选地,所述结合第一视点序列和第二视点序列,确定用户未来的观看视点序列,包括:为所述第一视点序列中的视点位置和所述第二视点序列中的视点位置,分别设置不同的权重值w1和w2;且权重w1和w2满足w1+w2=1;其中:权重值w1和w2的设置需要满足预测的用户未来的观看视点位置与实际用户观看视点位置的误差最小原则;根据权重值w1和w2,以及第一视点序列中的视点位置、第二视点序列中的视点位置,计算用户未来的观看视点序列;计算公式中如下:其中:为t+1时刻到t+tw时刻用户未来的观看视点位置,w1为第一视点序列的权重值,为t+1时刻到t+tw时刻第一视点序列中的视点位置,w2为第二视点序列的权重值,为t+1时刻到t+tw时刻第二视点序列中的视点位置,⊙表示逐元素相乘运算,t为当前时刻,tw为预测时间窗。可选地,随着预测时刻的增大,所述视点跟踪模型所预测的第二视点序列的权重w2逐渐减小。与现有技术相比,本专利技术具有如下的有益效果:本专利技术提供的360度视频传输的用户观看视点序列预测方法,结合了循环神经网络学习用户不同时刻的观看视点之间的长时间依赖关系,基于过去时刻的用户视点位置预测未来多个时刻的视点位置;同时考虑了视频内容对观看视点的影响,基于视频内容预测未来的视点序列;最后综合循环神经网络和视频内容对观看视点的影响,得到用户未来的观看视点序列,能够根据用户头部运动速度改变预测视点序列的长度,具有良好的实用性和扩展性。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述,本专利技术的其它特征、目的和优点将会变得更明显:图1为本专利技术一实施例提供的应用360度视频传输的用户观看视点序列预测方法的系统框图;图2为本专利技术一实施例提供的视点区域的原理示意图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术,但不以任何形式限制本专利技术。应当指出的是,对本领域的普通技术人员来说,在不脱离本专利技术构思的前提下,还可以做出若干变形和本文档来自技高网
...

【技术保护点】
1.一种360度视频传输的用户观看视点序列预测方法,其特征在于,包括:将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第一视点序列;通过视点跟踪模型,将视频内容作为所述视点跟踪模型的输入,通过所述视点跟踪模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第二视点序列;结合第一视点序列和第二视点序列,确定用户未来的观看视点序列。

【技术特征摘要】
1.一种360度视频传输的用户观看视点序列预测方法,其特征在于,包括:将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第一视点序列;通过视点跟踪模型,将视频内容作为所述视点跟踪模型的输入,通过所述视点跟踪模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第二视点序列;结合第一视点序列和第二视点序列,确定用户未来的观看视点序列。2.根据权利要求1所述的360度视频传输的用户观看视点序列预测方法,其特征在于,在将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置之前,还包括:基于循环神经网络构建视点序列预测模型;其中,所述视点序列预测模型用于将输入的视点位置编码后输入到循环神经网络,计算隐藏单元和输出单元的值,学习用户不同时刻的观看视点间的长时间依赖关系,输出未来多个时刻的视点位置;所述视点位置包括:俯仰角、偏航角、滚动角的单位圆投影,所述视点位置的变化范围为-1到1;采用双曲正切函数作为输出单元的激活函数,所述激活函数限定所述视点位置的输出范围。3.根据权利要求2所述的360度视频传输的用户观看视点序列预测方法,其特征在于,所述将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置,包括:将用户当前时刻的视点位置作为所述视点序列预测模型第一次迭代的输入,得到第一次迭代的预测视点位置;循环将上一次迭代的预测视点位置作为所述视点序列预测模型下一次迭代的输入,得到未来多个时刻的预测视点位置。4.根据权利要求1所述的360度视频传输的用户观看视点序列预测方法,其特征在于,所述第一视点序列的长度与用户观看时头部运动的速度有关,用户头部运动速度越慢,则对应的第一视点序列的长度越长;用户头部运动速度越快,则对应的第一视点序列的长度越短。5.根据权利要求...

【专利技术属性】
技术研发人员:邹君妮杨琴刘昕李成林熊红凯
申请(专利权)人:上海交通大学
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1