【技术实现步骤摘要】
本申请涉及视频编码领域，尤其涉及一种端到端视频传输方法、装置、设备及计算机可读存储介质。
技术介绍
1、随着计算机技术和数字媒体的发展，高清晰度、高帧率的视频内容呈现爆炸式增长，而视频在传输和存储的过程中，由于存储以及带宽的提升则较为有限，因而需要对视频数据进行压缩(又称视频编码)，通过消除视频信号之间的冗余信息，从而实现视频内容的高效存储和传输。
2、目前普遍使用的视频压缩算法仍然以传统的视频压缩算法如h.264、h.265等为主，由于其编码框架及编码工具的局部优化已经遇到研究瓶颈，所提供的数据压缩率较低，且压缩效果差，因此，为了提高视频压缩性能，基于深度学习，以端到端的方式，通过时域预测的方式消除视频序列中帧间的时域冗余，从而实现视频压缩的方法成为了新的研究热点，但是，现有的深度学习端到端视频传输方法在消除了时域冗余后，视频序列中内仍然存在着大量的空域冗余，使得视频的编码数据量较大，提升了在视频压缩和解压缩过程中的编解码计算复杂度，从而出现视频编码性能差、编码效率低的技术问题，所以，现有端到端视频传输方法的视频压缩传输效率低。
3、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种端到端视频传输方法、装置、设备及计算机可读存储介质，旨在解决以端到端的方式进行视频传输时，视频数据压缩传输效率低的技术问题。
2、为实现上述目的，本申请提供一种端到端视频传输方法，所述端到端视频传
3、对原始视频的视频参考帧和视频非关键帧进行空域降采样，以确定降采样参考帧和降采样非关键帧；
4、根据所述降采样非关键帧和所述降采样参考帧的帧间运动信息，依次对所述降采样非关键帧进行时域预测，以及对所述视频非关键帧进行空域预测，从而生成空域预测帧；
5、根据所述视频非关键帧和所述空域预测帧之间的解码残差和所述空域预测帧，处理所述原始视频，以生成对应的重建帧；
6、根据所述重建帧，对所述原始视频进行端到端的视频传输。
7、此外，为实现上述目的，本申请还提供一种端到端视频传输装置，所述端到端视频传输装置包括：
8、确定模块，用于对原始视频的视频参考帧和视频非关键帧进行空域降采样，以确定降采样参考帧和降采样非关键帧；
9、生成模块，用于根据所述降采样非关键帧和所述降采样参考帧的帧间运动信息，依次对所述降采样非关键帧进行时域预测，以及对所述视频非关键帧进行空域预测，从而生成空域预测帧；
10、处理模块，用于根据所述视频非关键帧和所述空域预测帧之间的解码残差和所述空域预测帧，处理所述原始视频，以生成对应的重建帧；
11、传输模块，用于根据所述重建帧，对所述原始视频进行端到端的视频传输。
12、本申请还提供一种端到端视频传输设备，所述端到端视频传输设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的端到端视频传输程序，所述视频压缩程序配置为实现上述的端到端视频传输方法的步骤。
13、本申请还提供一种可读存储介质，所述可读存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现端到端视频传输方法的程序，所述实现端到端视频传输方法的程序被处理器执行以实现如上所述端到端视频传输方法的步骤。
14、本申请通过对原始视频的视频参考帧和视频非关键帧进行空域降采样，以确定降采样参考帧和降采样非关键帧；根据所述降采样非关键帧和所述降采样参考帧的帧间运动信息，依次对所述降采样非关键帧进行时域预测，以及对所述视频非关键帧进行空域预测，从而生成空域预测帧；根据所述视频非关键帧和所述空域预测帧之间的解码残差和所述空域预测帧，处理所述原始视频，以生成对应的重建帧，从而通过对原始视频的各视频参考帧和视频非关键帧都进行空域降采样，并在时域预测后加入了空域预测，消除了视频序列中帧内的空域冗余，使得所生成的帧间运动信息的数据量得以降低，同时抑制了原始视频在压缩和解压过程中对视频清晰度的影响，降低了视频在端到端传输过程中编解码的计算复杂度，克服了视频编码性能差、编码效率低的技术问题，所以，提高了现有端到端视频传输方法的视频压缩传输效率。
本文档来自技高网...【技术保护点】
1.一种端到端视频传输方法，其特征在于，所述端到端视频传输方法包括：
2.如权利要求1所述的端到端视频传输方法，其特征在于，所述根据所述降采样非关键帧和所述降采样参考帧的帧间运动信息，依次对所述降采样非关键帧进行时域预测，以及对所述视频非关键帧进行空域预测，从而生成空域预测帧的步骤包括：
3.如权利要求2所述的方法，其特征在于，所述空域预测包括预设运动估计网络，
4.如权利要求3所述的方法，其特征在于，所述空域预测包括预设重建网络，
5.如权利要求4所述的方法，其特征在于，所述通过将所述对齐参考特征输入至所述预设重建网络中，生成空域预测帧的步骤包括：
6.如权利要求1所述的方法，其特征在于，在所述对原始视频的视频参考帧和视频非关键帧进行空域降采样，以确定降采样非关键帧和降采样参考帧的步骤之前，所述端到端视频传输包括：
7.如权利要求1所述的方法，其特征在于，在所述根据所述非关键帧和所述空域预测帧之间的解码残差和所述空域预测帧，处理所述原始视频，以生成对应的重建帧的步骤之后，所述端到端视频传输方法包括：
...【技术特征摘要】
1.一种端到端视频传输方法，其特征在于，所述端到端视频传输方法包括：
2.如权利要求1所述的端到端视频传输方法，其特征在于，所述根据所述降采样非关键帧和所述降采样参考帧的帧间运动信息，依次对所述降采样非关键帧进行时域预测，以及对所述视频非关键帧进行空域预测，从而生成空域预测帧的步骤包括：
3.如权利要求2所述的方法，其特征在于，所述空域预测包括预设运动估计网络，
4.如权利要求3所述的方法，其特征在于，所述空域预测包括预设重建网络，
5.如权利要求4所述的方法，其特征在于，所述通过将所述对齐参考特征输入至所述预设重建网络中，生成空域预测帧的步骤包括：
6.如权利要求1所述的方法，其特征在于，在所述对原始视频的视频参考帧和视频非关键帧进行空域降采样，以确定降采样非关键帧和降采样参考...
【专利技术属性】
技术研发人员：王荣刚，杨佳宇，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。