视频传输加速方法、发射端、接收端及存储介质技术

本发明专利技术提供一种视频传输加速方法、发射端、接收端及存储介质，所述方法包括：基于帧间划分算法将视频流划分为第一视频帧流和第二视频帧流；基于超分辨率深度神经网络对所述第一视频帧流进行处理，得到第一图像流，对所述第一图像流进行编码压缩处理，得到第一数据流，并将所述第一数据流发送至接收端；将所述第二视频帧流进行编码压缩处理，得到第二数据流，并将所述第二数据流发送至接收端。本发明专利技术可以根据当前网络传输环境，传输端的硬件资源条件选择一个最优的帧间划分比例，充分利用视频发射端和接收端双向的运算资源来实现加速视频传输过程，并极大程度上节省带宽消耗，同时利用深度神经网络重训练的方法来改善视频有损压缩传输带来的损失。有损压缩传输带来的损失。有损压缩传输带来的损失。

【技术实现步骤摘要】
视频传输加速方法、发射端、接收端及存储介质


[0001]本专利技术涉及图像处理
，特别是涉及视频传输


技术介绍

[0002]目前，随着移动设备的不断进步和网络媒体的快速发展，人们对于高清视频的需求越来越广泛。很多视频网站已经相继推出4k高清视频服务。可是事实上由于网络情况的限制，上传和加载高清视频往往需要消耗很长时间，这个问题可能会导致是视频在上传下行过程中占用了较多带宽，或是在带宽限制的情况下出现卡顿现象。
[0003]视频压缩是一种已被广泛使用的视频传输加速技术。通过对视频进行编码，忽略一些无用信息甚至牺牲一些有用信息来压缩传输内容的大小，以达到加速传输及减小带宽需求的效果。超分辨率算法是一种将低分辨率图像恢复为高分辨率的算法。它通过深度学习神经网络对低分辨率图像进行预测，生成它对应的大尺寸高清图像。目前已经有一些基于超分辨率算法的，针对cloud
‑
device视频传输加速结构：例如Khani等人提出的，在cloud端将原有的高分辨率图像下采样并训练超分辨率网络，再在device端进行推理恢复高分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频传输加速方法，应用于发射端，其特征在于：所述方法包括：基于帧间划分算法将视频流划分为第一视频帧流和第二视频帧流；基于超分辨率深度神经网络对所述第一视频帧流进行处理，得到第一图像流，对所述第一图像流进行编码压缩处理，得到第一数据流，并将所述第一数据流发送至接收端；将所述第二视频帧流进行编码压缩处理，得到第二数据流，并将所述第二数据流发送至接收端。2.根据权利要求1所述的视频传输加速方法，其特征在于：所述帧间划分算法视频流切割时间将视频流划分为第一视频帧流和第二视频帧流；所述视频流切割时间基于所述视频流发送到所述接收端的总时长获取。3.根据权利要求2所述的视频传输加速方法，其特征在于：所述总时长的获取方式为：若所述第一视频帧流的推理时间小于所述第二视频帧流的网络传输时间，则总时长为：T＝T
A
＝T5+max{T2,T6}；若所述第一视频帧流的推理时间大于等于所述第二视频帧流的网络传输时间，则总时长为：T＝T
B
＝max{T1+T2,T5+T6}；optimal time＝min{T
A
,T
B
}；其中：T为总时长，T
A
为第一视频帧流处理时间，T
B
为第二视频帧流处理时间，T1为第一视频帧流的推理时间，T2为第一视频帧流的网络传输时间，T5为第二视频帧流的网络传输时间，T6为第二视频帧流的推理时间，optimal time为视频流切割时间。4.根据权利要求3所述的视频传输加速方法，其特征在于：T1＝t_inference_on_source_edge*x；T2＝size_high_resolution_frame*x/tu；T5＝size_low_resolution_frame*(10...

【专利技术属性】
技术研发人员：刘婉臻，宋卓然，景乃锋，梁晓峣，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：