【技术实现步骤摘要】
本专利技术涉及图像处理技术与视频压缩，具体涉及一种基于视觉转换器特征提取和可变transformer运动补偿端到端网络的针对电力系统视频业务的视频压缩方法。
技术介绍
1、随着互联网和视频设备的迅速发展，视频在电力系统中扮演着越来越重要的角色。视频监控、互联网视频和远程视频会议等相关业务不断涌现，但也带来了视频数据量过大的问题。如果不经过数据压缩处理，这些视频文件会占用大量的存储空间，并给网络传输带来负担。因此，如何通过新技术减少视频文件大小，同时又不影响电力业务的正常使用成为一个研究的热点和重点。其中，视频压缩是一种常用的方法。视频压缩是指通过去除视频数据中的冗余信息，以减小视频文件的大小，从而降低存储和传输带宽需求。
2、目前视频压缩方法主要可以分为基于传统编码标准的方法和基于深度学习的方法。传统编码采用基于块划分的混合编码框架，包括帧内预测、帧间预测、变换、量化、熵编码和环路滤波等技术，其经过长期的发展已逐渐成熟。而随着深度学习的快速发展，人们开始尝试利用神经网络来改进视频压缩效率，包括卷积神经网络(cnn)、递归神经网络(rnn)、生成对抗网络(gan)等方法。近年来，人们越来越专注于构建端到端的深度学习视频压缩方案，其中所有模块都是基于深度神经网络实现的，能够直接优化率失真目标函数，更容易实现全局最优解。
3、上述方法虽然在一定程度上能够有效地进行数据压缩，但依旧还存在一些问题。虽然传统编码标准方法成熟，但由于其各个模块一般基于人工设计的统计先验模型，难以适应复杂多变的实际视频内容，导致在某些场
4、因此，亟需针对电力系统中视频文件压缩的特点和需求，设计提供一种能够有效产生高质量的重构帧，且能够提高压缩性能的视频压缩框架。
技术实现思路
1、本专利技术的目的是提供一种能够有效产生高质量的重构帧，从而显著提高压缩性能和压缩效率的针对电力系统视频业务的视频压缩方法。
2、为达到上述目的，本专利技术采用的技术方案是：
3、一种针对电力系统视频业务的视频压缩方法，其包括以下步骤：
4、步骤一：将待压缩视频表示为x＝{x1,x2,x3,…,xt-1,xt,…}，其中xt是时间步长t处的原始视频帧，采用预训练的视觉转换器模型对时间步长t处的原始视频帧xt和时间步长t-1处的重构帧分别进行特征提取和编码，对应得到特征空间中的时间步长t的特征表示ft、时间步长t-1的特征表示
5、步骤二：基于所述时间步长t的特征表示ft、所述时间步长t-1的特征表示得到偏移映射qt，对所述偏移映射qt进行编码后得到编码表示mt，对所述编码表示mt进行量化后得到量化表示对所述量化表示进行解码后得到重构运动信息
6、步骤三：基于所述时间步长t-1的特征表示所述重构运动信息进行可变transformer运动补偿，得到预测特征
7、步骤四：基于所述时间步长t的特征表示ft、所述预测特征计算残差信息rt，对所述残差信息rt进行编码后得到编码表示yt，对所述编码表示yt进行量化后得到量化表示对所述量化表示进行解码后得到重构残差特征
8、步骤五：基于所述预测特征所述重构残差特征计算最初重构特征采用多帧融合模块将所述重构残差特征与时间步长t-1的特征表示时间步长t-2的特征表示时间步长t-3的特征表示融合而得到最终重构特征
9、步骤六：基于所述最终重构特征进行帧重构而得到时间步长t处的重构帧
10、获得量化表示的比特率量化表示的比特率并进行率失真优化计算，从而在率失真权衡基础上对所述视频压缩方法进行优化。
11、所述率失真优化计算为：
12、
13、其中，表示所述时间步长t处的原始视频帧xt与所述时间步长t处的重构帧之间的失真，h(·)表示量化表示的比特率，λ是决定比特率和失真之间权衡的拉格朗日乘子，是偏移映射和残差信息量化的比特数。
14、所述时间步长t处的原始视频帧xt与所述时间步长t处的重构帧之间的失真使用均方误差表示。
15、利用卷积神经网络估计所述量化表示所述量化表示的概率分布，进而得到所述量化表示所述量化表示对应的熵并将其作为比特率的度量。
16、所述步骤二中，通过加入均匀噪声的方式来对所述编码表示yt进行量化以得到所述量化表示所述步骤四中，通过加入均匀噪声的方式来对所述编码表示yt进行量化以得到所述量化表示
17、所述步骤二中，将所述时间步长t的特征表示ft、所述时间步长t-1的特征表示输入轻量级运动估计网络中产生所述偏移映射qt；采用运动编解码网络对所述偏移映射qt进行编码、对所述量化表示进行解码。
18、所述步骤三中，进行可变transformer运动补偿时，根据所述时间步长t-1的特征表示建立全局的网格参考点，再与所述重构运动信息中包含的偏移量相加，得到变形后的网格参考点，从而在所述变形后的网格参考点的位置进行特征采样。
19、所述步骤四中，采用残差编码器网络对所述残差信息rt进行编码，采用残差解码器网络对所述量化表示进行解码。
20、所述步骤五中，所述多帧融合模块将时间步长t-1的预测特征时间步长t-2的预测特征时间步长t-3的预测特征作为键值对，采用多层可变transformer网络进行自适应学习和融合，以进行信息补全，得到所述最终重构特征
21、由于上述技术方案运用，本专利技术与现有技术相比具有下列优点：本专利技术关注局部信息，能提高帧预测结果，能够更好地实现帧重构，产生高质量的重构帧，从而显著提高压缩性能和压缩效率，降低了视频传输所需的带宽和视频存储所需的空间。本专利技术还针对电力系统业务，更好地平衡了性能和压缩效率之间的关系。
本文档来自技高网...【技术保护点】
1.一种针对电力系统视频业务的视频压缩方法，其特征在于：所述针对电力系统视频业务的视频压缩方法包括以下步骤：
2.根据权利要求1所述的针对电力系统视频业务的视频压缩方法，其特征在于：获得量化表示的比特率量化表示的比特率并进行率失真优化计算，从而在率失真权衡基础上对所述视频压缩方法进行优化。
3.根据权利要求2所述的针对电力系统视频业务的视频压缩方法，其特征在于：所述率失真优化计算为：
4.根据权利要求3所述的针对电力系统视频业务的视频压缩方法，其特征在于：所述时间步长t处的原始视频帧Xt与所述时间步长t处的重构帧之间的失真使用均方误差表示。
5.根据权利要求3所述的针对电力系统视频业务的视频压缩方法，其特征在于：利用卷积神经网络估计所述量化表示所述量化表示的概率分布，进而得到所述量化表示所述量化表示对应的熵并将其作为比特率的度量。
6.根据权利要求1所述的针对电力系统视频业务的视频压缩方法，其特征在于：所述步骤二中，通过加入均匀噪声的方式来对所述编码表示yt进行量化以得到所述量化表示所述步骤四中，通过加入均匀噪声的方式来
7.根据权利要求1所述的针对电力系统视频业务的视频压缩方法，其特征在于：所述步骤二中，将所述时间步长t的特征表示Ft、所述时间步长t-1的特征表示输入轻量级运动估计网络中产生所述偏移映射Qt；采用运动编解码网络对所述偏移映射Qt进行编码、对所述量化表示进行解码。
8.根据权利要求1所述的针对电力系统视频业务的视频压缩方法，其特征在于：所述步骤三中，进行可变Transformer运动补偿时，根据所述时间步长t-1的特征表示建立全局的网格参考点，再与所述重构运动信息中包含的偏移量相加，得到变形后的网格参考点，从而在所述变形后的网格参考点的位置进行特征采样。
9.根据权利要求1所述的针对电力系统视频业务的视频压缩方法，其特征在于：所述步骤四中，采用残差编码器网络对所述残差信息rt进行编码，采用残差解码器网络对所述量化表示进行解码。
10.根据权利要求1所述的针对电力系统视频业务的视频压缩方法，其特征在于：所述步骤五中，所述多帧融合模块将时间步长t-1的预测特征时间步长t-2的预测特征时间步长t-3的预测特征作为键值对，采用多层可变Transformer网络进行自适应学习和融合，以进行信息补全，得到所述最终重构特征
...【技术特征摘要】
1.一种针对电力系统视频业务的视频压缩方法，其特征在于：所述针对电力系统视频业务的视频压缩方法包括以下步骤：
2.根据权利要求1所述的针对电力系统视频业务的视频压缩方法，其特征在于：获得量化表示的比特率量化表示的比特率并进行率失真优化计算，从而在率失真权衡基础上对所述视频压缩方法进行优化。
3.根据权利要求2所述的针对电力系统视频业务的视频压缩方法，其特征在于：所述率失真优化计算为：
4.根据权利要求3所述的针对电力系统视频业务的视频压缩方法，其特征在于：所述时间步长t处的原始视频帧xt与所述时间步长t处的重构帧之间的失真使用均方误差表示。
5.根据权利要求3所述的针对电力系统视频业务的视频压缩方法，其特征在于：利用卷积神经网络估计所述量化表示所述量化表示的概率分布，进而得到所述量化表示所述量化表示对应的熵并将其作为比特率的度量。
6.根据权利要求1所述的针对电力系统视频业务的视频压缩方法，其特征在于：所述步骤二中，通过加入均匀噪声的方式来对所述编码表示yt进行量化以得到所述量化表示所述步骤四中，通过加入均匀噪声的方式来对所述编码表示yt进行量化以得到所述量化表示
7....
【专利技术属性】
技术研发人员：李荷婷，李航，景栋盛，宋双成，武家胜，何平，蔡玥，
申请(专利权)人：国网江苏省电力有限公司苏州供电分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。