【技术实现步骤摘要】
本申请实施例涉及图像编解码，尤其涉及一种图像解码方法、装置、设备及存储介质。
技术介绍
1、随着深度学习技术的快速发展，深度学习技术在图像编解码领域得到应用。目前基于深度学习的图像编解码技术中，首先编码端将原图像通过合成变换网络，映射为隐变量，并对隐变量进行编码，得到码流。对应的，解码端解码码流，得到隐变量，并通过合成变换网络对隐变量进行处理，得到重建图像。
2、但是，目前的合成变换网络存在计算效率和处理效果不能兼顾的问题，使得图像编解码性能低。
技术实现思路
1、本申请提供一种图像编解码方法、装置、设备及存储介质，提高合成变换网络的性能，进而提升图像的编解码效果。
2、第一方面，本申请提供一种图像解码方法，包括：
3、对当前图像的码流进行解码，得到所述当前图像的残差值，并基于所述残差值，确定所述当前图像的变换值；
4、通过合成变换网络对所述当前图像的变换值进行处理，得到所述当前图像的重建图像，所述合成变换网络包括k种类型的轻量级注意力模块，所述k为正整数，所述k种类型的轻量级注意力模块的计算复杂度均小于预设值。
5、第二方面，本申请提供一种图像编码方法，包括：
6、通过分析变换网络对当前图像进行处理，得到所述当前图像的变换值，所述分析变换网络包括k种类型的轻量级注意力模块，所述k种类型的轻量级注意力模块的计算复杂度均小于预设值，所述k为正整数；
7、根据所述当前图像的变换值，对所述当前图像进行编码
8、第三方面，本申请提供了一种图像解码装置，包括：
9、解码单元，用于对当前图像的码流进行解码，得到所述当前图像的残差值，并基于所述残差值，确定所述当前图像的变换值；
10、重建单元，用于通过合成变换网络对所述当前图像的变换值进行处理，得到所述当前图像的重建图像，所述合成变换网络包括k种类型的轻量级注意力模块，所述k种类型的轻量级注意力模块的计算复杂度均小于预设值，所述k为正整数。
11、第四方面，本申请提供了一种图像编码装置，包括：
12、变换单元，用于通过分析变换网络对当前图像进行处理，得到所述当前图像的变换值，所述分析变换网络包括k种类型的轻量级注意力模块，所述k种类型的轻量级注意力模块的计算复杂度均小于预设值，所述k为正整数；
13、编码单元，用于根据所述当前图像的变换值，对所述当前图像进行编码，得到码流。
14、第五方面，提供了一种电子设备，包括处理器和存储器。所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行上述第一方面至第二方面或其各实现方式中的方法。
15、第六方面，提供了一种芯片，用于实现上述第一方面至第二方面中任一方面或其各实现方式中的方法。具体地，所述芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述第一方面至第二方面中任一方面或其各实现方式中的方法。
16、第七方面，提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行上述第一方面至第二方面中任一方面或其各实现方式中的方法。
17、第八方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令使得计算机执行上述第一方面至第二方面中任一方面或其各实现方式中的方法。
18、第九方面，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面至第二方面中任一方面或其各实现方式中的方法。
19、综上，本申请的解码端在对当前图像进行解码时，首先对当前图像的码流进行解码，得到当前图像的残差值，并基于残差值，确定当前图像的变换值；通过合成变换网络对当前图像的变换值进行处理，得到当前图像的重建图像，该合成变换网络包括k种类型的轻量级注意力模块，这k种类型的轻量级注意力模块的计算复杂度均小于预设值。也就是说，本申请实施例提出一种新的合成变换网络，该合成变换网络中包括k种类型的轻量级注意力模块，该k种类型的轻量级注意力模块的计算复杂度均小于预设值，这样使得该合成变换网络对当前图像的变换值进行处理，得到的当前图像的重建图像的效果较佳，且计算复杂度低，进而在提高图像处理效果的同时，有效控制图像解码复杂度，减少解码时间，提升图像解码性能。
本文档来自技高网...【技术保护点】
1.一种图像解码方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述合成变换网络包括N个卷积层，所述N个卷积层中的M个卷积层后分别连接所述K种类型的轻量级注意力模块中的至少一种类型的轻量级注意力模块，其中，所述N为正整数，所述M为小于或等于N的正整数；
3.根据权利要求2所述的方法，其特征在于，所述P种类型的轻量级注意力模块包括第一类型的轻量级注意力模块，所述第一类型的轻量级注意力模块包括简化的非局部残差块，所述通过与所述第i个卷积层连接的P种类型的轻量级注意力模块，对所述第i个特征信息进行处理，得到所述当前图像的第i+1个特征信息，包括：
4.根据权利要求3所述的方法，其特征在于，所述简化的非局部残差块包括第一残差单元和第二残差单元，所述得到第二特征信息，包括：
5.根据权利要求2所述的方法，其特征在于，所述P种类型的轻量级注意力模块包括第二类型的轻量级注意力模块，所述第二类型的轻量级注意力模块包括窗口注意力单元和网格注意力单元，所述通过与所述第i个卷积层连接的P种类型的轻量级注意力模块，对所述第i个特征信息进
6.根据权利要求2所述的方法，其特征在于，所述P种类型的轻量级注意力模块包括第三类型的轻量级注意力模块，所述第三类型的轻量级注意力模块包括多头部转置注意力子模块和门控前馈网络子模块中的至少一个，所述通过与所述第i个卷积层连接的P种类型的轻量级注意力模块，对所述第i个特征信息进行处理，得到所述当前图像的第i+1个特征信息，包括：
7.根据权利要求6所述的方法，其特征在于，所述第三类型的轻量级注意力模块包括所述多头部转置注意力子模块和所述门控前馈网络子模块，所述通过所述多头部转置注意力子模块和所述门控前馈网络子模块中的至少一个，对第四特征信息进行处理，得到第五特征信息，包括：
8.根据权利要求6所述的方法，其特征在于，所述第三类型的轻量级注意力模块包括所述多头部转置注意力子模块，所述得到第五特征信息，包括：
9.根据权利要求6所述的方法，其特征在于，所述第三类型的轻量级注意力模块包括所述门控前馈网络子模块，所述得到第五特征信息，包括：
10.根据权利要求6所述的方法，其特征在于，所述第三类型的轻量级注意力模块包括多头部转置注意力子模块、第一残差单元和第二残差单元，所述得到所述第五特征信息，包括：
11.根据权利要求6所述的方法，其特征在于，所述第三类型的轻量级注意力模块包括门控前馈网络子模块、第一残差单元和第二残差单元，所述得到所述第五特征信息，包括：
12.根据权利要求4、10或11所述的方法，其特征在于，所述第一残差单元和所述第二残差单元中的至少一个残差单元包括一个或多个简化残差块；或者，
13.根据权利要求4、10或11所述的方法，其特征在于，所述第一残差单元和所述第二残差单元中的至少一个包括：一个或多个卷积层，以及位于至少一个卷积层之前的多头部转置注意力子模块或门控前馈网络子模块；或者，
14.根据权利要求7、8、或10所述的方法，其特征在于，所述多头部转置注意力子模块包括第一特征处理单元、第二特征处理单元和第三特征处理单元，所述通过所述多头部转置注意力子模块对所述第四特征信息进行通道自注意力处理，得到第六特征信息，包括：
15.根据权利要求14所述的方法，其特征在于，所述根据所述查询信息、键值信息和值项信息，确定转置注意力信息，包括：
16.根据权利要求15所述的方法，其特征在于，所述将所述查询信息和所述键值信息相乘后输入激活函数进行处理，得到所述转置注意力图，包括：
17.根据权利要求14所述的方法，其特征在于，若所述多头部转置注意力子模块还包括第四卷积层，则所述根据所述转置注意力信息和所述第四特征信息，得到所述第六特征信息，包括：
18.根据权利要求14所述的方法，其特征在于，所述多头部转置注意力子模块不包括第四卷积层时，则所述根据所述转置注意力信息和所述第四特征信息，得到所述第六特征信息，包括：
19.根据权利要求9或11所述的方法，其特征在于，所述门控前馈网络子模块包括第四特征处理单元和第五特征处理单元，所述方法进一步包括：
20.根据权利要求19所述的方法，其特征在于，所述门控前馈网络子模块包括第六卷积层，所述根据所述第九特征信息和所述第六特征信息，得到第二目标特征信息，包括：
21.根据权利要求19所述的方法，其特征在于，所述门控前馈网络子模块不包括第六卷积层，所述根据所述第九特征信息和...
【技术特征摘要】
1.一种图像解码方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述合成变换网络包括n个卷积层，所述n个卷积层中的m个卷积层后分别连接所述k种类型的轻量级注意力模块中的至少一种类型的轻量级注意力模块，其中，所述n为正整数，所述m为小于或等于n的正整数；
3.根据权利要求2所述的方法，其特征在于，所述p种类型的轻量级注意力模块包括第一类型的轻量级注意力模块，所述第一类型的轻量级注意力模块包括简化的非局部残差块，所述通过与所述第i个卷积层连接的p种类型的轻量级注意力模块，对所述第i个特征信息进行处理，得到所述当前图像的第i+1个特征信息，包括：
4.根据权利要求3所述的方法，其特征在于，所述简化的非局部残差块包括第一残差单元和第二残差单元，所述得到第二特征信息，包括：
5.根据权利要求2所述的方法，其特征在于，所述p种类型的轻量级注意力模块包括第二类型的轻量级注意力模块，所述第二类型的轻量级注意力模块包括窗口注意力单元和网格注意力单元，所述通过与所述第i个卷积层连接的p种类型的轻量级注意力模块，对所述第i个特征信息进行处理，得到所述当前图像的第i+1个特征信息，包括：
6.根据权利要求2所述的方法，其特征在于，所述p种类型的轻量级注意力模块包括第三类型的轻量级注意力模块，所述第三类型的轻量级注意力模块包括多头部转置注意力子模块和门控前馈网络子模块中的至少一个，所述通过与所述第i个卷积层连接的p种类型的轻量级注意力模块，对所述第i个特征信息进行处理，得到所述当前图像的第i+1个特征信息，包括：
7.根据权利要求6所述的方法，其特征在于，所述第三类型的轻量级注意力模块包括所述多头部转置注意力子模块和所述门控前馈网络子模块，所述通过所述多头部转置注意力子模块和所述门控前馈网络子模块中的至少一个，对第四特征信息进行处理，得到第五特征信息，包括：
8.根据权利要求6所述的方法，其特征在于，所述第三类型的轻量级注意力模块包括所述多头部转置注意力子模块，所述得到第五特征信息，包括：
9.根据权利要求6所述的方法，其特征在于，所述第三类型的轻量级注意力模块包括所述门控前馈网络子模块，所述得到第五特征信息，包括：
10.根据权利要求6所述的方法，其特征在于，所述第三类型的轻量级注意力模块包括多头部转置注意力子模块、第一残差单元和第二残差单元，所述得到所述第五特征信息，包括：
11.根据权利要求6所述的方法，其特征在于，所述第三类型的轻量级注意力模块包括门控前馈网络子模块、第一残差单元和第二残差单元，所述得到所述第五特征信息，包括：
12.根据权利要求4、10或11所述的方...
【专利技术属性】
技术研发人员：潘翔，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。