The invention provides a method for predicting the viewing viewpoint sequence of a user in 360 degree video transmission. The method includes: taking the viewing position of the user's past time as the input of the prediction model of the viewing viewpoint sequence, predicting the viewing position of the future multiple times through the prediction model of the viewing viewpoint sequence, and forming the first viewing point sequence through the viewing point tracking model of the future multiple times; The video content is used as the input of the viewpoint tracking model, and the viewpoint position of the future multiple times is predicted by the viewpoint tracking model. The viewpoint position of the future multiple times constitutes the second viewpoint sequence, and the user's future viewing viewpoint sequence is determined by combining the first viewpoint sequence and the second viewpoint sequence. The prediction method in the invention has good practicability and expansibility, and can change the sequence length of the prediction viewpoint according to the head movement speed of the user.
【技术实现步骤摘要】
360度视频传输的用户观看视点序列预测方法
本专利技术涉及视频通信
,具体地,涉及360度视频传输的用户观看视点序列预测方法。
技术介绍
360度视频是虚拟现实技术的一种重要应用,与传统视频相比,360度视频采用全方位摄像头捕捉现实世界每个方位景象,并将这些景象拼接以形成全景图像。当观看360度视频时,用户可以自由转动头部调整观看视角,获得沉浸式体验。然而,360度视频有超高的分辨率,传输完整360度视频需要消耗的带宽高达传统视频的6倍以上。在网络带宽资源受限的情况下,特别是对于移动网络来说,传输完整的360度视频是很困难的。受限于头戴式显示器的视场区域,每个时刻用户只能观看360度视频的一部分。因此根据用户头部运动选择用户感兴趣的视频区域进行传输能够更加有效利用带宽。从获取用户的需求信息,并将这一信息反馈至服务器端,直至用户接收到视频内容,会经历从用户到服务器的往返时延(Round-TripTime,RTT)。而用户在这一时间段内可能已经发生了头部位置移动,导致用户接收到的内容不再是其感兴趣的部分。为了避免RTT时延带来的传输滞后性,需要对用户的视点进行预测。经过对现有技术的检索发现,为了实现用户的视点预测,一种常用方法是通过对过去时刻的视点位置来推断未来时刻的视点位置。Y.Bao等人在《IEEEInternationalConferenceonBigData》会议上发表了题为“Shootingamovingtarget:Motion-prediction-basedtransmissionfor360-degreevideos”的文章,该文章提出 ...
【技术保护点】
1.一种360度视频传输的用户观看视点序列预测方法,其特征在于,包括:将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第一视点序列;通过视点跟踪模型,将视频内容作为所述视点跟踪模型的输入,通过所述视点跟踪模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第二视点序列;结合第一视点序列和第二视点序列,确定用户未来的观看视点序列。
【技术特征摘要】
1.一种360度视频传输的用户观看视点序列预测方法,其特征在于,包括:将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第一视点序列;通过视点跟踪模型,将视频内容作为所述视点跟踪模型的输入,通过所述视点跟踪模型预测未来多个时刻的视点位置,所述未来多个时刻的视点位置构成第二视点序列;结合第一视点序列和第二视点序列,确定用户未来的观看视点序列。2.根据权利要求1所述的360度视频传输的用户观看视点序列预测方法,其特征在于,在将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置之前,还包括:基于循环神经网络构建视点序列预测模型;其中,所述视点序列预测模型用于将输入的视点位置编码后输入到循环神经网络,计算隐藏单元和输出单元的值,学习用户不同时刻的观看视点间的长时间依赖关系,输出未来多个时刻的视点位置;所述视点位置包括:俯仰角、偏航角、滚动角的单位圆投影,所述视点位置的变化范围为-1到1;采用双曲正切函数作为输出单元的激活函数,所述激活函数限定所述视点位置的输出范围。3.根据权利要求2所述的360度视频传输的用户观看视点序列预测方法,其特征在于,所述将用户过去时刻的视点位置作为视点序列预测模型的输入,通过所述视点序列预测模型预测未来多个时刻的视点位置,包括:将用户当前时刻的视点位置作为所述视点序列预测模型第一次迭代的输入,得到第一次迭代的预测视点位置;循环将上一次迭代的预测视点位置作为所述视点序列预测模型下一次迭代的输入,得到未来多个时刻的预测视点位置。4.根据权利要求1所述的360度视频传输的用户观看视点序列预测方法,其特征在于,所述第一视点序列的长度与用户观看时头部运动的速度有关,用户头部运动速度越慢,则对应的第一视点序列的长度越长;用户头部运动速度越快,则对应的第一视点序列的长度越短。5.根据权利要求...
【专利技术属性】
技术研发人员:邹君妮,杨琴,刘昕,李成林,熊红凯,
申请(专利权)人:上海交通大学,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。