本发明专利技术公开了一种全景视频传输方法、装置、终端设备以及存储介质，属于视频传输领域。所述全景视频传输方法包括：获取用户视角信息；根据所述用户视角信息，通过预先创建的用户视角预测模型对用户视角进行预测，得到预测结果；基于所述预测结果，为待传输的全景视频的切片数据分配传输优先级和传输码率；通过多路复用优先级调度策略，按照所述传输优先级和传输码率，将所述待传输的全景视频的切片数据传输到客户端。本发明专利技术通过使用多路复用优先级调度策略配合全景视频的视角预测，使得高传输优先级的数据以更高的码率传输，改善了全景视频的传输效果。频的传输效果。频的传输效果。
【技术实现步骤摘要】
全景视频传输方法、装置、终端设备以及存储介质
[0001]本专利技术涉及视频传输领域，尤其涉及一种全景视频传输方法、装置、终端设备以及存储介质。
技术介绍
[0002]随着社会的不断发展，人们对于生活质量的要求越来越高，这也产生了更加复杂的视频体验需求。全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看全景视频时，可以随意调控视角，带来了更加逼真的观看体验。现已成为未来视频服务的新型载体，被广泛应用于医疗、旅游以及娱乐宣传等行业。因此，研究全景视频的传输技术是十分有价值的。
[0003]但是，由于全景视频高分辨率、高码率的特性，其在传输时需要使用大量的带宽，但受现实网络条件的制约，常常无法满足视频传输的网络需求，极大地影响了全景视频的传输效果。目前，相关技术在改善全景视频的传输效果时，效果都不理想，不能真正实现全景视频的高效传输，从而影响了全景视频的播放质量。
[0004]因此，有必要提出一种效果更好的全景视频传输方法。
技术实现思路
[0005]本申请的主要目的在于提供一种全景视频传输方法、装置、终端设备以及存储介质，旨在改善全景视频的传输效果。
[0006]为实现上述目的，本申请提供了一种全景视频传输方法，所述全景视频传输方法包括：
[0007]获取用户视角信息；
[0008]根据所述用户视角信息，通过预先创建的用户视角预测模型对用户视角进行预测，得到预测结果；
[0009]基于所述预测结果，为待传输的全景视频的切片数据分配传输优先级和传输码率；
[0010]通过多路复用优先级调度，按照所述传输优先级和传输码率，将所述待传输的全景视频的切片数据传输到客户端。
[0011]可选地，所述用户视角信息包括：用户头部运动轨迹、用户当前观看视频内容，所述用户视角预测模型包括：编码器、解码器，所述根据所述用户视角信息，通过预先创建的用户视角预测模型对用户视角进行预测，得到预测结果的步骤包括：
[0012]通过所述编码器，对所述用户头部运动轨迹进行编码，得到所述用户头部运动轨迹的时序特征；
[0013]对所述用户当前观看视频内容进行显著性特征提取，得到用户偏好特征；
[0014]基于所述时序特征和用户偏好特征，通过所述解码器输出所述预测结果。
[0015]可选地，所述对所述用户当前观看视频内容进行显著性特征提取，得到用户偏好
特征的步骤包括：
[0016]对所述用户当前观看视频内容进行反投影，得到所述用户当前观看视频内容的三维视频图像；
[0017]提取所述三维视频图像的显著性特征；
[0018]将提取了显著性特征的所述三维视频图像进行重投影，得到二维的显著性图；
[0019]对所述显著性图进行降采样，得到所述用户偏好特征。
[0020]可选地，所述通过所述编码器，对所述用户头部运动轨迹进行编码，得到所述用户头部运动轨迹的时序特征的步骤包括：
[0021]将第一LSTM模型作为所述编码器，按照时间维度，将所述用户头部运动轨迹输入至所述编码器；
[0022]通过所述编码器，将所述用户头部运动轨迹编码为统一的语义向量，得到所述用户头部运动轨迹的时序特征；
[0023]所述用户视角预测模型还包括：全连接神经网络，所述根据所述时序特征和用户偏好特征，通过所述解码器输出所述预测结果的步骤包括：
[0024]通过所述全连接神经网络，将所述时序特征和用户偏好特征进行整合，得到整合结果；
[0025]将第二LSTM模型作为所述解码器，将所述整合结果输入到所述解码器中，通过所述解码器输出所述预测结果。
[0026]可选地，所述基于所述预测结果，为待传输的全景视频的切片数据分配传输优先级和传输码率的步骤包括：
[0027]基于所述预测结果，为所述待传输的全景视频的切片数据分配所述传输优先级；
[0028]根据所述传输优先级，按照从大到小的顺序为所述全景视频的切片数据分配所述传输码率，其中，所述传输优先级越高的全景视频的切片数据的传输码率越高。
[0029]可选地，所述基于所述预测结果，为所述待传输的全景视频的切片数据分配所述传输优先级的步骤包括：
[0030]基于所述预测结果，将所述全景视频的切片数据划分为视角内区域数据、视角边缘区域数据、视角远侧区域数据；
[0031]为所述视角内区域数据赋予高传输优先级，为所述视角边缘区域数据赋予次高传输优先级，为所述视角远侧数据赋予低传输优先级，其中，对于传输优先级相同的数据，重传数据的传输优先级更高。
[0032]可选地，所述通过多路复用优先级调度策略，按照所述传输优先级和传输码率，将所述待传输的全景视频的切片数据传输到客户端的步骤之后还包括：
[0033]获取所述客户端的实时观看数据；
[0034]根据所述客户端的实时观看数据，判断用户视角是否发生变化；
[0035]若用户视角未发生变化，则通过流量控制，减少视角远侧视频数据流的流量发送，增加网络带宽对于高价值数据的传输率；
[0036]若用户视角发生变化，则通过缓冲机制，继续发送缓冲区的全景视频，重新计算用户视角，以进行下一次的全景视频传输。
[0037]此外，本申请还提出一种全景视频传输装置，所述全景视频传输装置包括：
[0038]数据获取模块，用于获取用户视角信息；
[0039]视角预测模块，用于根据所述用户视角信息，通过预先创建的用户视角预测模型对用户视角进行预测，得到预测结果；
[0040]码率分配模块，用于基于所述预测结果，为待传输的全景视频的切片数据分配传输优先级和传输码率；
[0041]视频传输模块，用于通过多路复用传输优先级调度策略，按照所述传输优先级和传输码率，将所述待传输的全景视频的切片数据传输到客户端。
[0042]此外，本申请还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的全景视频传输程序，所述全景视频传输程序被所述处理器执行时实现如上所述的全景视频传输方法的步骤。
[0043]此外，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有全景视频传输程序，所述全景视频传输程序被处理器执行时实现如上所述的全景视频传输方法的步骤。
[0044]本申请实施例提出的一种全景视频传输方法、装置、终端设备以及存储介质，通过获取用户视角信息；根据所述用户视角信息，通过预先创建的用户视角预测模型对用户视角进行预测，得到预测结果；基于所述预测结果，为待传输的全景视频的切片数据分配传输优先级和传输码率；通过多路复用传输优先级调度策略，按照所述传输优先级和传输码率，将所述待传输的全景视频的切片数据传输到客户端。基于本申请方案，将全景视频视角预测与多路复用传输优先级调度策略结合在一起，以更高码率来传输预测的用户视角内数据，在适应宽带资源的同时提高了视频的传输质量，从本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种全景视频传输方法，其特征在于，所述方法应用于服务器，所述全景视频传输方法的步骤包括：获取用户视角信息；根据所述用户视角信息，通过预先创建的用户视角预测模型对用户视角进行预测，得到预测结果；基于所述预测结果，为待传输的全景视频的切片数据分配传输优先级和传输码率；通过多路复用调度策略，按照所述传输优先级和传输码率，将所述待传输的全景视频的切片数据传输到客户端。2.根据权利要求1所述的全景视频传输方法，其特征在于，所述用户视角信息包括：用户头部运动轨迹、用户当前观看视频内容，所述用户视角预测模型包括：编码器、解码器，所述根据所述用户视角信息，通过预先创建的用户视角预测模型对用户视角进行预测，得到预测结果的步骤包括：通过所述编码器，对所述用户头部运动轨迹进行编码，得到所述用户头部运动轨迹的时序特征；对所述用户当前观看视频内容进行显著性特征提取，得到用户偏好特征；基于所述时序特征和用户偏好特征，通过所述解码器输出所述预测结果。3.根据权利要求2所述的全景视频传输方法，其特征在于，所述对所述用户当前观看视频内容进行显著性特征提取，得到用户偏好特征的步骤包括：对所述用户当前观看视频内容进行反投影，得到所述用户当前观看视频内容的三维视频图像；提取所述三维视频图像的显著性特征；将提取了显著性特征的所述三维视频图像进行重投影，得到二维的显著性图；对所述显著性图进行降采样，得到所述用户偏好特征。4.根据权利要求2所述的全景视频传输方法，其特征在于，所述通过所述编码器，对所述用户头部运动轨迹进行编码，得到所述用户头部运动轨迹的时序特征的步骤包括：将第一LSTM模型作为所述编码器，按照时间维度，将所述用户头部运动轨迹输入至所述编码器；通过所述编码器，将所述用户头部运动轨迹编码为统一的语义向量，得到所述用户头部运动轨迹的时序特征；所述用户视角预测模型还包括：全连接神经网络，所述根据所述时序特征和用户偏好特征，通过所述解码器输出所述预测结果的步骤包括：通过所述全连接神经网络，将所述时序特征和用户偏好特征进行整合，得到整合结果；将第二LSTM模型作为所述解码器，将所述整合结果输入到所述解码器中，通过所述解码器输出所述预测结果。5.根据权利要求1所述的全景视频传输方法，其特征在于，所述基于所述预测结果，为待传输的全景视频的切片数据分配传输优先级和传输码率的步骤包括：基于所述预测结果，为所述...
【专利技术属性】
技术研发人员：李康敬，王琦，赵腾飞，谢于贵，张志浩，张源鸿，张未展，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。