全景视频传输方法、装置、终端设备以及存储介质制造方法及图纸

本发明专利技术公开了一种全景视频传输方法、装置、终端设备以及存储介质，属于视频传输领域。所述全景视频传输方法包括：获取用户视角信息；根据所述用户视角信息，通过预先创建的用户视角预测模型对用户视角进行预测，得到预测结果；基于所述预测结果，为待传输的全景视频的切片数据分配传输优先级和传输码率；通过多路复用优先级调度策略，按照所述传输优先级和传输码率，将所述待传输的全景视频的切片数据传输到客户端。本发明专利技术通过使用多路复用优先级调度策略配合全景视频的视角预测，使得高传输优先级的数据以更高的码率传输，改善了全景视频的传输效果。频的传输效果。频的传输效果。

【技术实现步骤摘要】
全景视频传输方法、装置、终端设备以及存储介质


[0001]本专利技术涉及视频传输领域，尤其涉及一种全景视频传输方法、装置、终端设备以及存储介质。

技术介绍

[0002]随着社会的不断发展，人们对于生活质量的要求越来越高，这也产生了更加复杂的视频体验需求。全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看全景视频时，可以随意调控视角，带来了更加逼真的观看体验。现已成为未来视频服务的新型载体，被广泛应用于医疗、旅游以及娱乐宣传等行业。因此，研究全景视频的传输技术是十分有价值的。
[0003]但是，由于全景视频高分辨率、高码率的特性，其在传输时需要使用大量的带宽，但受现实网络条件的制约，常常无法满足视频传输的网络需求，极大地影响了全景视频的传输效果。目前，相关技术在改善全景视频的传输效果时，效果都不理想，不能真正实现全景视频的高效传输，从而影响了全景视频的播放质量。
[0004]因此，有必要提出一种效果更好的全景视频传输方法。

技术实现思路

[0005]本申请的主要目的在于提供一种全景视频传输方法、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景视频传输方法，其特征在于，所述方法应用于服务器，所述全景视频传输方法的步骤包括：获取用户视角信息；根据所述用户视角信息，通过预先创建的用户视角预测模型对用户视角进行预测，得到预测结果；基于所述预测结果，为待传输的全景视频的切片数据分配传输优先级和传输码率；通过多路复用调度策略，按照所述传输优先级和传输码率，将所述待传输的全景视频的切片数据传输到客户端。2.根据权利要求1所述的全景视频传输方法，其特征在于，所述用户视角信息包括：用户头部运动轨迹、用户当前观看视频内容，所述用户视角预测模型包括：编码器、解码器，所述根据所述用户视角信息，通过预先创建的用户视角预测模型对用户视角进行预测，得到预测结果的步骤包括：通过所述编码器，对所述用户头部运动轨迹进行编码，得到所述用户头部运动轨迹的时序特征；对所述用户当前观看视频内容进行显著性特征提取，得到用户偏好特征；基于所述时序特征和用户偏好特征，通过所述解码器输出所述预测结果。3.根据权利要求2所述的全景视频传输方法，其特征在于，所述对所述用户当前观看视频内容进行显著性特征提取，得到用户偏好特征的步骤包括：对所述用户当前观看视频内容进行反投影，得到所述用户当前观看视频内容的三维视频图像；提取所述三维视频图像的显著性特征；将提取了显著性特征的所述三维视频图像进行重投影，得到二维的显著性图；对所述显著性图进行降采样，得到所述用户偏好特征。4.根据权利要求2所述的全景视频传输方法，其特征在于，所述通过所述编码器，对所述用户头部运动轨迹进行编码，得到所述用户头部运动轨迹的时序特征的步骤包括：将第一LSTM模型作为所述编码器，按照时间维度，将所述用户头部运动轨迹输入至所述编码器；通过所述编码器，将所述用户头部运动轨迹编码为统一的语义向量，得到所述用户头部运动轨迹的时序特征；所述用户视角预测模型还包括：全连接神经网络，所述根据所述时序特征和用户偏好特征，通过所述解码器输出所述预测结果的步骤包括：通过所述全连接神经网络，将所述时序特征和用户偏好特征进行整合，得到整合结果；将第二LSTM模型作为所述解码器，将所述整合结果输入到所述解码器中，通过所述解码器输出所述预测结果。5.根据权利要求1所述的全景视频传输方法，其特征在于，所述基于所述预测结果，为待传输的全景视频的切片数据分配传输优先级和传输码率的步骤包括：基于所述预测结果，为所述...

【专利技术属性】
技术研发人员：李康敬，王琦，赵腾飞，谢于贵，张志浩，张源鸿，张未展，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司西安交通大学，
类型：发明
国别省市：