一种处理云VR视频流的方法、边云协同系统及存储介质技术方案

本发明专利技术提供了一种处理云VR视频流的方法、边云协同系统及存储介质，其中所述方法包括：云服务器接收边缘服务器上传的视频获取任务，根据所述视频获取任务获取对应的视频资源，得到解压任务；所述云服务器根据其自身以及所述边缘服务器分配给所述解压任务的计算资源，确定划分给所述边缘服务器和所述云服务器的解压比例，对所述解压任务进行划分；所述云服务器和所述边缘服务器分别按照划分的所述解压比例对所述解压任务进行解压，并将解压结果发送给VR终端。本发明专利技术实现了在保证图像质量的同时，有效降低视频的传输延迟，提升用户体验的效果。效果。效果。

【技术实现步骤摘要】
一种处理云VR视频流的方法、边云协同系统及存储介质


[0001]本专利技术涉及移动流媒体
，具体涉及一种处理云VR视频流的方法、边云协同系统及存储介质。

技术介绍

[0002]随着5G时代的到来，依靠5G大带宽、低时延、广连接的特点，使得VR(Virtual Reality，虚拟现实技术)产业得到进一步发展，VR直播、VR社交、虚拟演唱会等场景被再次开拓。
[0003]VR应用相比于普通3D应用，对设备的混合渲染能力要求更高，要融合图片、视频、3D数字模型、动态模拟效果等。如图1所示，在VR视频流的传输过程中，VR视频编码和VR视频传输是关键环节。视频编码要求图像的压缩率高，不仅要去除时间、空间、编码和视觉上的冗余，还要求失真率低，即解码后的图像尽可能的和原图像各方面一致。视频传输要求传输延迟低、用时短、丢包率低，还要求传输的视频帧率更高，即要求传输成功的信息多。目前VR在各行各业的使用依赖于功能强大的计算硬件或其他外接设备(如身体跟踪、手部跟踪、头显设备)，因设备沉重用户无法长时间使用。而在进行超高清图像渲染等计算任务时，VR设备终端的算力明显不够，例如大多数一体化VR头显的算力只有桌面级GPU(graphics processing unit，图形处理器)的二十分之一，难以在有限的时间内完成任务的处理。通常的视频渲染与传输方法是将VR终端连接高性能PC(Personal Computer，计算机)并通过流传输的方式将画面通过VR终端显示出来，而VR终端与计算机的有线连接往往会限制用户的移动范围。r/>[0004]针对以上的问题，目前普遍基于云计算技术通过云渲染的方式降低依赖硬件算力带来的问题。VR终端将资源和计算任务的需求上传到云服务器，云服务器依靠其较强的计算能力和存储空间，加速图像渲染等计算任务的速度，然后将视频流返回传送给VR终端。用户不再需要高端PC进行本地渲染，VR终端设备直接从云服务器下载渲染的视频图像；将用户的交互信息上传到云端，让用户可以在相对广阔的范围内移动。这样的方法可以有效降低硬件设备成本，且可以提升图像质量、视觉质量，扩大用户的移动范围，有效提升用户体验。但是由于云服务器通常离用户较远，超高清、高帧率的视频图像其数据量较大，往往会导致出现较高的延迟，而VR视频流畅度直接影响用户的体验感，所以如何在提升传输图像质量的同时降低视频图像传输时延是急需解决的问题。

技术实现思路

[0005]为解决上述问题，本专利技术提供了一种处理云VR视频流的方法、边云协同系统及存储介质，可以将解压任务进行拆解，由云服务器和边缘服务器按照比例分别解压该任务，VR终端只负责进行用户交互及图像显示，实现了在保证图像质量的同时，有效降低视频的传输延迟，提升用户体验的效果。
[0006]根据本专利技术的第一方面，提供一种用于包括云服务器和边缘服务器的边云协同的
云VR视频流的处理方法，包括：云服务器接收边缘服务器上传的视频获取任务，根据所述视频获取任务获取对应的视频资源，得到解压任务；所述云服务器根据其自身以及所述边缘服务器分配给所述解压任务的计算资源，确定划分给所述边缘服务器和所述云服务器的解压比例，对所述解压任务进行划分；所述云服务器和所述边缘服务器分别按照划分的所述解压比例对所述解压任务进行解压，并将解压结果发送给VR终端。
[0007]优选的，所述根据其自身以及所述边缘服务器分配给所述解压任务的计算资源，确定划分给所述边缘服务器和所述云服务器的解压比例，包括：根据所述解压任务的数据大小、所述解压任务的优先级、解压所述解压任务的单位数据CPU周期数、协同传输通信容量，确定边缘服务器分配给所述解压任务的最佳计算资源以及云服务器分配给所述解压任务的最佳计算资源；根据所述CPU周期数、所述协同传输通信容量、所述边缘服务器分配给所述解压任务的最佳计算资源以及所述云服务器分配给所述解压任务的最佳计算资源，确定边缘服务器的解压比例；根据所述边缘服务器的解压比例，得到云服务器的解压比例。
[0008]优选的，所述根据所述解压任务的数据大小、所述解压任务的优先级、解压所述解压任务的单位数据CPU周期数、协同传输通信容量，确定边缘服务器分配给所述解压任务的最佳计算资源以及云服务器分配给所述解压任务的最佳计算资源，包括：根据所述解压任务的数据大小、所述解压任务的优先级、解压所述解压任务的单位数据CPU周期数、协同传输通信容量，构建约束优化问题关系式；利用拉格朗日乘数法求解所述关系式，得到边缘服务器分配给所述解压任务的最佳计算资源以及云服务器分配给所述解压任务的最佳计算资源。
[0009]优选的，所述根据所述视频获取任务获取对应的视频资源，得到解压任务，包括：根据所述视频获取任务，在云服务器的本地数据库搜索对应的所述视频资源：若能搜索到，则将搜索到的所述视频资源作为所述解压任务；若未能搜索到或搜索结果还需要进行渲染，则根据所述视频获取任务中的任务信息进行渲染处理，得到对应的视频渲染资源，压缩所述视频渲染资源得到解压任务。
[0010]优选的，所述压缩所述视频资源作为解压任务，包括：根据H.265标准对所述视频渲染资源进行压缩处理，得到解压任务。
[0011]优选的，所述云服务器和所述边缘服务器分别按照划分的所述解压比例对所述解压任务进行解压，并将解压结果发送给VR终端，包括：所述云服务器根据所述云服务器的解压比例对所述解压任务进行部分解压，得到完成部分解压的所述解压任务；所述云服务器采用网络传输KCP协议发送所述完成部分解压的所述解压任务至所述边缘服务器；所述边缘服务器对所述完成部分解压的解压任务进行全部解压，得到解压后的视频资源；所述边缘服务器采用网络传输KCP协议发送所述解压后的视频资源至VR终端。
[0012]优选的，在所述云服务器接收边缘服务器上传的视频获取任务之前，包括：所述边缘服务器接收指令任务，并判断所述指令任务是否为请求获取视频图像资源的任务：若否，则处理所述指令任务并返回处理结果；若是，则在所述边缘服务器的本地数据库内进行搜索：若能搜索到，则将搜索到的视频图像资源全部解压，并返回全部解压后的视频图像资源至VR终端；若未能搜索到，则将所述指令任务作为视频获取任务，发送所述视频获取任务至所述云服务器。
[0013]优选的，在所述边缘服务器接收指令任务之前，包括：所述VR终端接收用户的交互
信息；将所述交互信息转换为指令任务，并发送所述指令任务至所述边缘服务器。
[0014]根据本专利技术的第二方面，提供一种适用云VR视频流处理方法的边云协同系统，包括：云服务器、边缘服务器以及VR终端；其中，所述云服务器用于接收边缘服务器上传的视频获取任务，根据所述视频获取任务获取对应的视频资源，得到解压任务；根据其自身以及所述边缘服务器分配给所述解压任务的计算资源，确定划分给所述边缘服务器和所述云服务器的解压比例，对所述解压任务进行划分；按照所述云服务器的解压比例进行部分解压；所述边缘服务器用于将部分解压后的所述解压任务进行全部解压，得到解压结果；所述VR终端用户用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于包括云服务器和边缘服务器的边云协同的云VR视频流的处理方法，包括：云服务器接收边缘服务器上传的视频获取任务，根据所述视频获取任务获取对应的视频资源，得到解压任务；所述云服务器根据其自身以及所述边缘服务器分配给所述解压任务的计算资源，确定划分给所述边缘服务器和所述云服务器的解压比例，对所述解压任务进行划分；所述云服务器和所述边缘服务器分别按照划分的所述解压比例对所述解压任务进行解压，并将解压结果发送给VR终端。2.根据权利要求1所述的方法，其特征在于，所述根据其自身以及所述边缘服务器分配给所述解压任务的计算资源，确定划分给所述边缘服务器和所述云服务器的解压比例，包括：根据所述解压任务的数据大小、所述解压任务的优先级、解压所述解压任务的单位数据CPU周期数、协同传输通信容量，确定边缘服务器分配给所述解压任务的最佳计算资源以及云服务器分配给所述解压任务的最佳计算资源；根据所述CPU周期数、所述协同传输通信容量、所述边缘服务器分配给所述解压任务的最佳计算资源以及所述云服务器分配给所述解压任务的最佳计算资源，确定边缘服务器的解压比例；根据所述边缘服务器的解压比例，得到云服务器的解压比例。3.根据权利要求2所述的方法，其特征在于，所述根据所述解压任务的数据大小、所述解压任务的优先级、解压所述解压任务的单位数据CPU周期数、协同传输通信容量，确定边缘服务器分配给所述解压任务的最佳计算资源以及云服务器分配给所述解压任务的最佳计算资源，包括：根据所述解压任务的数据大小、所述解压任务的优先级、解压所述解压任务的单位数据CPU周期数、协同传输通信容量，构建约束优化问题关系式；利用拉格朗日乘数法求解所述关系式，得到边缘服务器分配给所述解压任务的最佳计算资源以及云服务器分配给所述解压任务的最佳计算资源。4.根据权利要求1所述的方法，其特征在于，所述根据所述视频获取任务获取对应的视频资源，得到解压任务，包括：根据所述视频获取任务，在云服务器的本地数据库搜索对应的所述视频资源：若能搜索到，则将搜索到的所述视频资源作为所述解压任务；若未能搜索到或搜索结果还需要进行渲染，则根据所述视频获取任务中的任务信息进行渲染处理，得到对应的视频渲染资源，压缩所述视频渲染资源得到解压任务。5.根据权利要...

【专利技术属性】
技术研发人员：张宗帅，邹文浩，田霖，黄家莹，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：