一种基于视频流输入的自适应关键帧提取和视频恢复方法技术

本发明专利技术属于视频语义通信技术领域，具体为基于视频流输入的自适应关键帧提取和视频恢复方法。本发明专利技术包括对视频流输入的帧信息，根据信道情况适应性的选择关键帧，忽略含有冗余信息的非关键帧，实现实时有效的关键帧提取和非关键帧插回，为深度学习理解视频语义减轻数据流负担，同时避免损失关键信息；其中涉及视频帧恢复模拟模块、帧重要性计算器模块、自适应性帧选择模块、视频帧恢复模块；本发明专利技术与当前数字通信系统具有良好兼容性。实验结果表明，本方法在视频传输领域显著提高传输效率，降低信道资源开销，实现促进深度学习对于视频信息语义读取以及多尺度感知能力。

【技术实现步骤摘要】

本专利技术属于语义通信，具体涉及自适应关键帧提取和视频恢复方法。

技术介绍

1、近年来随着通讯需求不断增长，无线视频数据流量急剧增加，对传统的通信技术以及基础设施造成挑战。为适应视频通讯需求，一种开创性的通过端到端的联合信源信道编码方法(jscc)，提供了视频压缩、信道编码和调制的综合解决方案。虽然基于jscc的视频语义通讯系统在理论上显示出了减少失真和提高传输效率的潜力，但系统将源数据直接映射到信道符号上，导致星座点在星座图上任意出现，这偏离了当前数字通信系统的设计。此外，现有大多数研究基于加性高斯白噪声或其他简化模型来模拟信道，无法捕捉现实世界无线通信的复杂性，如多径效应、信号衰减以及不断变化的信道条件。因此，jscc方法在复杂动态无线环境中的鲁棒性和适用性存在困难。

2、为了使视频语义通信更兼容于数字通信系统，设计了基于源视频数据的自适应关键帧提取模块和视频恢复模块，依据信道情况，根据视频语义信息和信道情况，自适应选择关键帧，用于视频压缩，而后通过信源编码和信道编码转换为比特流。随后，这些比特流被映射到信道符号上，以实现语义通信。这种方法本文档来自技高网...

【技术保护点】

1.一种基于视频流输入的自适应关键帧提取和视频恢复方法，其特征在于，包括对视频流输入的帧信息，根据信道情况适应性的选择关键帧，忽略含有冗余信息的非关键帧，实现实时有效的关键帧提取和非关键帧插回，为深度学习理解视频语义减轻数据流负担，同时避免损失关键信息；其中涉及：视频帧恢复模拟模块，帧重要性计算器模块，自适应性帧选择模块，视频帧恢复模块；所述方法的具体步骤如下：

2.根据权利要求1所述的方法，其特征在于，所述视频帧恢复模拟模块，由光流估计网络和多层融合网络级联组成，输入为视频流数据，输出为模拟重建后的视频流；利用多层神经网络在发送端模拟接收端帧恢复流程，便于后续模块计算帧重要...

【技术特征摘要】

1.一种基于视频流输入的自适应关键帧提取和视频恢复方法，其特征在于，包括对视频流输入的帧信息，根据信道情况适应性的选择关键帧，忽略含有冗余信息的非关键帧，实现实时有效的关键帧提取和非关键帧插回，为深度学习理解视频语义减轻数据流负担，同时避免损失关键信息；其中涉及：视频帧恢复模拟模块，帧重要性计算器模块，自适应性帧选择模块，视频帧恢复模块；所述方法的具体步骤如下：

2.根据权利要求1所述的方法，其特征在于，所述视频帧恢复模拟模块，由光流估计网络和多层融合网络级联组成，输入为视频流数据，输出为模拟重建后的视频流；利用多层神经网络在发送端模拟接收端帧恢复流程，便于后续模块计算帧重要性并选取关键帧；

3.根据权利要求2所述的方法，其特征在于，所述帧重要性计算器模块中，通过比较重建视频和原始视频数据相似度来评估视频种每帧的重要性参数，其输入是经多层融合网络进行重建的视频帧和原始视...

【专利技术属性】
技术研发人员：李忠党，胡蝶，缪永怡，
申请(专利权)人：复旦大学，
类型：发明
国别省市：