在用于图像的深度编码系统中微调有限的参数集技术方案

技术编号:44335877 阅读:18 留言:0更新日期:2025-02-18 20:45
用于图像的基于深度神经网络的编码系统确定用于对图像进行解码的深度神经网络模型的更新参数。这些参数由编码器确定,并提供给解码器以在对图像进行解码之前更新解码器的模型。这通过仅微调神经解码器的一些参数来提供结构稀疏性。更新要么针对预定参数集进行,使得结构稀疏性对于所有图像都相同,要么针对基于待编码图像来选择的参数集进行,使得结构稀疏性特定于图像。还提出了一种新的训练程序以及端到端可训练量化,允许在比特流中包含经训练的参数并更新解码器中的参数。

【技术实现步骤摘要】
【国外来华专利技术】

本实施例中的至少一个通常涉及基于神经网络的图像压缩,更具体地说,涉及对深度解码器的参数进行微调。


技术介绍

1、图像和视频压缩是图像处理中的基本任务,这在大流行病和视频流不断增加的时代变得至关重要。得益于社区数十年来的巨大努力,传统方法已达到目前最先进的速率失真性能,并主导了当前的工业编解码器解决方案。端到端可训练深度模型最近作为一种替代方案出现,其结果令人鼓舞。它们现在甚至在针对单个图像压缩的峰值信噪比方面也击败了最好的传统压缩方法(vvc,通用视频编码)。


技术实现思路

1、一种用于待编码图像的基于深度神经网络的新型编码系统提出确定用于解码编码图像的深度神经网络模型的更新参数。这些参数由编码器确定并提供给解码器以在对图像进行解码之前更新解码器的模型。这通过仅微调神经解码器的一些参数来提供结构稀疏性。

2、根据至少一个实施例的第一方面,用于对图像进行编码的方法包括:使用基于包括参数集的第一模型的深度神经网络来确定表示输入图像的嵌入;确定参数更新以微调基于第一模型的第二模型,其中微调基于输入图像和本文档来自技高网...

【技术保护点】

1.一种用于对输入图像进行编码的方法,所述方法包括:

2.根据权利要求1所述的方法,其中所述选定参数子集与所述输入图像无关。

3.根据权利要求1所述的方法,其中所述选定参数子集是基于所述输入图像来选择,并且其中所述编码数据还包括表示所述选择的信息。

4.根据前述权利要求中任一项所述的方法,还包括基于具有量化参数的经训练的量化来对所述参数更新进行量化,并且其中所述编码数据还包括表示所述量化参数的信息。

5.根据前述权利要求中任一项所述的方法,其中所述微调基于损失函数,以使所述输入图像与使用基于具有更新后参数的所述第二模型的深度神经网络来重构的...

【技术特征摘要】
【国外来华专利技术】

1.一种用于对输入图像进行编码的方法,所述方法包括:

2.根据权利要求1所述的方法,其中所述选定参数子集与所述输入图像无关。

3.根据权利要求1所述的方法,其中所述选定参数子集是基于所述输入图像来选择,并且其中所述编码数据还包括表示所述选择的信息。

4.根据前述权利要求中任一项所述的方法,还包括基于具有量化参数的经训练的量化来对所述参数更新进行量化,并且其中所述编码数据还包括表示所述量化参数的信息。

5.根据前述权利要求中任一项所述的方法,其中所述微调基于损失函数,以使所述输入图像与使用基于具有更新后参数的所述第二模型的深度神经网络来重构的图像之间的失真度量最小化。

6.根据前述权利要求中任一项所述的方法,其中所述选定参数子集选自包括偏置、权重、模型的非线性函数的参数、模型的层子集、模型的特定层、模型的特定层的偏置以及模型的神经元子集的集合。

7.一种用于对由编码数据表示的图像进行解码的方法,所述方法包括:

8.根据权利要求7所述的方法,其中所述选定参数子集包含在包括偏置、权重、模型的非线性函数的参数、模型的层子集、模型的特定层、模型的特定层的偏置以及模型的神经元子集的集合中。

9.一种装置,包括用于对图像进行编码的编码器,所述编码器配置成:

10.根据权利要求9所述的装置,其中所述选定参数子集与所述输入图像无关。

【专利技术属性】
技术研发人员:F·施尼茨勒M·巴西拉尔A·兰伯特O·朱拉里
申请(专利权)人:交互数字CE专利控股有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1