基于注意力机制和迁移学习的视频图像压缩方法技术

技术编号:42122415 阅读:30 留言:0更新日期:2024-07-25 00:40
本发明专利技术公开了一种基于注意力机制和迁移学习的视频图像压缩方法,属于视频图像编解码领域。本发明专利技术提供的方法在基础模型的残差数据编码器之后增加了一个通道注意力模块和一个空间注意力模块,用于实现码率控制。第一阶段的学习针对基础模型,获得若干组对应不同失真码率平衡因子值的网络参数集;在第二阶段,以迁移学习的方式,对基础模型的每一组参数集学习若干组仅包含通道注意力、空间注意力和残差数据解码器的各个网络层次的轻量级参数集。采用本发明专利技术提供的基于注意力机制和迁移学习的视频压缩方法能以较小的存储代价保存较多对应不同失真码率平衡因子值的模型参数集,从而为精细化的码率控制提供可能性。

【技术实现步骤摘要】

本专利技术涉及视频图像编解码领域,特别涉及一种基于注意力机制和迁移学习的视频图像压缩方法


技术介绍

1、对一个视频编码器而言,较小的失真通常意味着较大的码率;而较小的码率则需以较大的失真为代价。根据率失真理论,码率和失真的关系可由一条光滑的下凸单调曲线(即率失真理论曲线)刻画,该曲线同时也描述了在不考虑任何约束时编码系统所能达到的最佳性能。对于一个所使用的技术已经确定的特定编码器,可通过为所有可配置参数搜索具有最佳性能的参数值来获取最佳编码方案。

2、端到端学习的视频压缩系统,如dvc(an end-to-end learning framework forvideo compression,ieee trans.pattern anal.mach.intell.,vol.43,no.10,2021),由深度神经网络完成运动估计、运动向量编码和解码、残差数据编码和解码等功能,引入拉格朗日因子计算失真与码率的加权和作为代价函数,以监督训练的方式批量加载训练样本,以最小化所有样本的损失函数之和为目标,采用反向传播的方式更新调整模型中的参数,从而获本文档来自技高网...

【技术保护点】

1.一种基于注意力机制和迁移学习的视频图像压缩方法,其特征在于,该方法包括:

2.根据权利要求1所述的基于注意力机制和迁移学习的视频图像压缩方法,其特征在于,所述特征图t经通道注意力模块处理形成修正特征图的具体方法包括:

3.根据权利要求2所述的基于注意力机制和迁移学习的视频图像压缩方法,其特征在于,所述卷积层Conv_C1包含/16个1×1卷积核,卷积层Conv_C2包含个1×1/16卷积核,两个卷积层的卷积步长都为1。

4.根据权利要求1所述的基于注意力机制和迁移学习的视频图像压缩方法,其特征在于,所述特征图经空间注意力模块处理形成修正特征图的具体...

【技术特征摘要】

1.一种基于注意力机制和迁移学习的视频图像压缩方法,其特征在于,该方法包括:

2.根据权利要求1所述的基于注意力机制和迁移学习的视频图像压缩方法,其特征在于,所述特征图t经通道注意力模块处理形成修正特征图的具体方法包括:

3.根据权利要求2所述的基于注意力机制和迁移学习的视频图像压缩方法,其特征在于,所述卷积层conv_c1包含/16个1×1卷积核,卷积层conv_c2包含个1×1/16卷积核,两个卷积层的卷积步长都为1。

4.根据权利要求1所述的基于注意力机制和迁移学习的视频图像压缩方法,其特征在于,所述特征图经空间注意力模块处理形成修正特征图的具体方法包括:

5.根据权利要求4所述的基于注意力机制和迁移学习的视频图像压缩方法,其特征在于,所述卷积层conv_c3包含1个7×7×2卷积核...

【专利技术属性】
技术研发人员:陈卫刚郑赟
申请(专利权)人:浙江工商大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1