一种基于IPv6的360度视频自适应传输方法技术

本发明专利技术公开一种基于IPv6的360度视频自适应传输方法，方法首先根据码率调节算法的性能，选择最优码率调节算法作为系统的码率调节算法；接着对360度视频进行预处理并生成清单文件，再利用Shell脚本处理得到包含媒体片段的JSON文件，并在服务器端进行视频资源的部署；然后对强化学习模型进行预处理，并将经过训练的强化学习模型转换为TensorFlow

【技术实现步骤摘要】
一种基于IPv6的360度视频自适应传输方法


[0001]本专利技术涉及网络通信
，尤其涉及一种基于IPv6的360度视频自适应传输方法。

技术介绍

[0002]伴随着5G时代的的到来，以及IPv6在国家层面得到愈发重视，VR(virtual reality，虚拟现实)会越来越成为一项顺势发展的热门技术，VR技术中的最独特之处在于360度视频，它体现了VR技术三大基本特征(即三“I”：immersion
‑
interaction imagination)中的“immersion”，即通过展现360度的视频为观看者提供沉浸式的体验。360度视频是虚拟现实最重要的组成部分之一，配合头戴式显示器可以让用户得到沉浸的影音体验。360度视频作为虚拟现实中一种强大的演示媒体，具有不可替代的重要作用。要实现虚拟现实的终极目标也许还需要更多时间的沉淀和发展，但是360度视频已经逐渐成为各大视频提供商和网络运营商重点发展业务。360度视频是指能够根据用户观看角度进行渲染的视频，它包含各个角度的视频资源，在拍摄时通常由多个处在不同方向的相机拍摄拼接而成，在播放时用户可以自行选择自己感兴趣的区域。诸如360度视频这类全景媒体的技术架构主要由视频拼接与映射、视频编解码、存储与传输等技术构成。目前，已有众多研究提出了视频拼接算法，关于映射方法也有多种模型方案。此外，一些组织和标准正在制定针对全景媒体的编解码和传输的优化算法。同时，全景媒体技术面临很多巨大的挑战。首先，360度视频分辨率是一个技术瓶颈，相机组拼接带来的不同步、变形等因素将严重降低视频质量；其次，全景媒体庞大的数据传输与计算给传输带宽和终端的解码能力提出了巨大的挑战；此外，端到端的时延也是一个影响用户体验的关键参数。
[0003]目前在360度视频传输方面，有文献基于在视角移动过程中用户对视频质量变化敏感度会发生变化，也即容易理解的若视角移动越快用户对视频质量变化越不敏感这一现象，提出了一种新的包含“视角移动速度、场景光强变化、视频景深变化”三因素的视频质量度量标准，在传统的衡量图像重建质量的峰值信噪比中加入了这一新的质量确定因素，而后通过调查试验确定了三因素间的相互独立关系，确定在360度视频中的360JND(360
°ꢀ
video JustNoticeable Difference)用于计算得到不同像素重要程度，便于在后续计算区域视频质量进行区域划分以及使用线性回归预测对应区域比特率，从而实现自适应比特率传输，与前种方法不同，它不是一个单纯基于视角驱动的360度视频传输方法，它基于事先用户调查的感兴趣区域的概念，有针对性的对感兴趣区域高质量传输，其他区域低质量传输，不具备较高的灵活性。还有通过并行传输编解码以及VSync技术来降低延时，实现了通过60GHz无线网络支持4k分辨率的远程渲染平台。以及基于更具交互能力的VR进行传输方案的研究，论证了在当前软硬件条件下，单纯依靠硬件进步，或者更快的网络传输对于VR这类全景媒体的传输并不会带来实质性的改善，找到了主流编解码方案中对服务器、本地手机双端都较为友好的H.264的视频编码方案，使用本地渲染前景交互，服务器端渲染后台环境的双端合作渲染，同时通过服务器预渲染视点相邻区域来进一步减少延迟，同时也采用
了多核并行解码以得到良好的用户体验质量。还有同样基于感兴趣区域的概念，同时使用高效率视频编码(HEVC)和可扩展高效率视频编码(SHVC)来划分Tile实现感兴趣区域划分传输360度视频。还有的方法将MPEG
‑
DASH SRD扩展到360度视频3D空间，同样对视频空间进行Tile划分，依据视野(FoV)进行视点跟踪，实现FoV感知适应，视点区域高质量传输，其他区域较低质量传输来克服360度视频的大流量带宽需求。也有仍在对视频空间进行Tile划分的基础上，进一步在区域重要性确定上采用深度强化学习基于客户端播放器收集的感知情况对接下来的视频帧重要性进行预测，实现自适应分配对应比特率。可以发现如今国内外关于360度视频传输大都基于对视频空间Tile划分，按一定方法确定对应区域重要性，并分配不同比特率传输，实现视频流的自适应。
[0004]在IPv6方面，有作者给出了一种通过借助开源隧道系统OpenVPN在尚未部署IPv6的移动网络上接入IPv6的方法，主要是将IPv6包封装在IPv4数据包中，通过隧道传输至接入IPv6接入服务器，解封装后转发至IPv6网络，进而实现在未部署IPv6的移动网络接入IPv6。有在IPv4/IPv6网络环境下对音视频流量吞吐性能进行研究，得出了就音视频吞吐性能而言，IPv6的吞吐量要高于IPv4，也从理论上侧面证实了IPv6的各种改进能对360度视频传输带来帮助。

技术实现思路

[0005]针对上述现有技术的不足，本专利技术提供一种基于IPv6的360度视频自适应传输方法。
[0006]为解决上述技术问题，本专利技术所采取的技术方案是：一种基于IPv6的360度视频自适应传输方法，包括如下步骤：
[0007]步骤1：根据码率调节算法的性能，选择码率调节算法Pensive作为系统的码率调节算法；
[0008]步骤2：使用FFmpeg对360度视频进行预处理并生成对应清单文件，再利用Shell脚本处理得到包含媒体片段文件大小的JSON文件，最后在服务器端进行视频资源的部署，过程如下：
[0009]步骤2.1：根据原始360度视频分辨率大小，采用FFmpeg生成至少六个不同分辨率的视频资源以及一个独立的音频资源；
[0010]步骤2.2：对于原始360度视频宽度大于2160的情况，多生成一个与原始360度视频分辨率以及比特率相同的视频资源；
[0011]步骤2.3：对步骤2.1或步骤2.2得到的媒体资源采用FFmpeg生成DASH(Dynamic Adaptive Streaming over HTTP)传输协议所需的媒体片段以及清单；
[0012]步骤2.4：为了便于后续处理，在对每个360度视频处理时，将所生成的文件均置于输入文件同名目录下；
[0013]步骤2.5：利用Shell脚本设计用于服务器端传递媒体列表信息的JSON文件结构，并进行视频资源的部署。
[0014]步骤3：对强化学习模型进行预处理，并将经过训练的强化学习模型即ckpt文件转换为TensorFlow
‑
Lite所需以“tflite”为扩展名的文件，过程如下：
[0015]步骤3.1：基于强化学习算法Pensieve中的开源代码，对A3C算法进行修改；
[0016]步骤3.2：将强化学习模型中的Actor网络的输入inputs命名为a_inputs，将其输出out命名为a_outputs；
[0017]步骤3.3：通过TensorFlow
‑
Lite算法中的graph_def.node得到强化学习模型所有的网络节点，结合步骤3.2中对节点的命名，进行过滤筛选找本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于IPv6的360度视频自适应传输方法，其特征在于，包括如下步骤：步骤1：根据码率调节算法的性能，选择码率调节算法Pensive作为系统的码率调节算法；步骤2：使用FFmpeg对360度视频进行预处理并生成对应清单文件，再利用Shell脚本处理得到包含媒体片段文件大小的JSON文件，最后在服务器端进行视频资源的部署；步骤3：对强化学习模型进行预处理，并将经过训练的强化学习模型即ckpt文件转换为TensorFlow
‑
Lite所需以“tflite”为扩展名的文件；步骤4：基于移动设备的基础架构设计应用程序以及360度视频播放器；步骤5：将视频播放器码率调节部分使用预处理阶段处理得到的模型在移动设备上进行推导实现。2.根据权利要求1所述的基于IPv6的360度视频自适应传输方法，其特征在于：所述步骤2的具体过程如下：步骤2.1：根据原始360度视频分辨率大小，采用FFmpeg生成至少六个不同分辨率的视频资源以及一个独立的音频资源；步骤2.2：对于原始360度视频宽度大于2160的情况，多生成一个与原始360度视频分辨率以及比特率相同的视频资源；步骤2.3：对步骤2.1或步骤2.2得到的媒体资源采用FFmpeg生成DASH传输协议所需的媒体片段以及清单；步骤2.4：为了便于后续处理，在对每个360度视频处理时，将所生成的文件均置于输入文件同名目录下；步骤2.5：利用Shell脚本设计用于服务器端传递媒体列表信息的JSON文件结构，并进行视频资源的部署。3.根据权利要求1所述的基于IPv6的360度视频自适应传输方法，其特征在于，所述步骤3的具体过程如下：步骤3.1：基于强化学习算法Pensieve中的开源代码，对A3C算法进行修改；步骤3.2：将强化学习模型中的Actor网络的输入inputs命名为a_inputs，将其输出out命名为a_outputs；步骤3.3：通过TensorFlow
‑
Lite算法中的graph_def.node得到强化学习模型所有的网络节点，结合步骤3.2中对节点的命名，进行过滤筛选找到模型中对应输入输出节点；步骤3.4：采用修改后的A3C算法对强化学习模型重新训练，找到新的强化学习模型的输入输出节点，并等待新的强化学习模型训练到收敛；步骤3.5：使用writ...

【专利技术属性】
技术研发人员：李婕，倪石建，王兴伟，王峰，夏雷，
申请(专利权)人：东北大学，
类型：发明
国别省市：