System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像压缩系统、图像压缩方法、存储介质与芯片技术方案_技高网

图像压缩系统、图像压缩方法、存储介质与芯片技术方案

技术编号:41073108 阅读:19 留言:0更新日期:2024-04-24 11:29
本发明专利技术涉及通信技术领域,公开一种图像压缩系统、图像压缩方法、存储介质与芯片。图像压缩系统包括:非线性变换网络,所述非线性变换网络包括特征提取网络,特征提取网络包括:移位卷积层,用于提取目标图像的局部特征,以及注意力机制,用于根据局部特征提取潜在表示特征,注意力机制中的查询向量等于键向量;编码器,用于对潜在表示特征进行编码,以获取相应的码流;解码器,用于对码流进行解码,以获取与码流相对应的潜在表示特征;以及非线性反变换网络,用于对潜在表示特征进行解压缩,以获取与目标图像相对应的重构图像,其中非线性反变换网络与非线性变换网络为对称结构。本发明专利技术在保持相同的压缩性能的前提下,可极大地提升图像压缩速度。

【技术实现步骤摘要】

本专利技术涉及通信,具体地涉及一种图像压缩系统、图像压缩方法、存储介质与芯片


技术介绍

1、5g(第五代移动通信技术,5th generation mobile communication technology)将开启万物互联的新时代,同时,作为第四次工业革命的重要基石,工业物联网是5g最重要的应用场景。目前,5g+工业视觉已成为工业领域最为广泛的应用之一,广泛应用于电力巡检、电子制造、半导体、轨道交通、光伏及汽车制造等行业领域的安防监控、质量检测、自动分拣等场景。所以,高效的图像压缩对于物联网业务(图像、视频实时交互等)起着至关重要的作用。传统的图像编码标准(如 jpeg、jpeg2000 )等得到了广泛应用,但市场依然希望有一种更好的图像编码方法,既能更少地消耗带宽,又能达到更高的重建质量。

2、目前,性能优秀的基于深度学习的图像编码方法都是在变分自编码器框架下进行工作,而性能最优的端到端图像编码方法依然存在模型复杂度较高,解码时间长的特点,并不能最好满足在硬件上的应用。


技术实现思路

1、本专利技术的目的是提供一种图像压缩系统、图像压缩方法、存储介质与芯片,其与现有的最优性能的神经网络图像压缩算法相比,在保持相同的压缩性能的前提下,可极大地提升图像压缩速度(例如,速度可提升3-4倍)。并且,由于端到端图像压缩方法不需要手动设计相关参数,相比于传统图像编码方法,本专利技术具有更好的迭代能力和扩展性。

2、为了实现上述目的,本专利技术第一方面提供一种图像压缩系统,所述图像压缩系统包括:非线性变换网络,所述非线性变换网络包括特征提取网络,其中,所述特征提取网络包括:移位卷积层,用于提取目标图像的局部特征,以及注意力机制,用于根据所述局部特征提取所述目标图像的潜在表示特征,其中,所述注意力机制中的查询向量等于键向量;第一编码器,用于对所述目标图像的潜在表示特征进行编码,以获取相应的第一码流;第一解码器,用于对所述第一码流进行解码,以获取与所述第一码流相对应的第一潜在表示特征;以及非线性反变换网络,用于对所述第一潜在表示特征进行解压缩,以获取与所述目标图像相对应的重构图像,其中,所述非线性反变换网络与所述非线性变换网络为对称结构。

3、优选地,所述注意力机制包括:两个1×1卷积层;和/或两个批归一化层。

4、优选地,所述图像压缩系统还包括:超先验变换网络,用于对所述目标图像的潜在表示特征进行压缩,以获取所述目标图像的潜在表示特征的边信息;第二编码器,用于对所述边信息进行编码,以获取相应的第二码流;第二解码器,用于对所述第二码流进行解码,以获取与所述第二码流相对应的第二潜在表示特征;超先验反变换网络,用于对所述第二潜在表示特征进行解码,以获取所述目标图像的潜在表示特征的方差参数与第一均值参数;以及上下文模型,用于根据所述目标图像的潜在表示特征预测所述目标图像的潜在表示特征的第二均值参数,并根据所述第一均值参数、所述第二均值参数与所述方差参数重构所述目标图像的潜在表示特征的高斯分布模型,相应地,所述第一编码器用于对所述目标图像的潜在表示特征进行编码包括:根据所述高斯分布模型对所述目标图像的潜在表示特征进行编码,以及所述第一解码器用于对所述第一码流进行解码包括:根据所述高斯分布模型对所述第一码流进行解码。

5、优选地,所述超先验变换网络包括:多个卷积层与多个所述特征提取网络,所述超先验反变换网络与所述超先验变换网络为对称结构。

6、优选地,所述图像压缩系统还包括:第一量化器,位于所述超先验变换网络与所述第二编码器之间。

7、优选地,所述特征提取网络为多个特征提取网络,相应地,所述非线性变换网络还包括:多个卷积层,所述多个卷积层与所述多个特征提取网络交替分布。

8、优选地,所述移位卷积层包括:第一移位卷积层与第二移位卷积层,所述特征提取网络还包括:第一残差结构,用于连接所述第一移位卷积层的输入与所述第二移位卷积层的输出;和/或第二残差结构,用于连接所述注意力机制的输入与输出。

9、优选地,所述特征提取网络还包括:激活层,位于所述第一移位卷积层与所述第二移位卷积层之间。

10、优选地,所述图像压缩系统还包括:第二量化器,位于所述非线性变换网络与所述第一编码器之间。

11、通过上述技术方案,本专利技术创造性地设置非线性变换网络用于获取潜在表示特征,设置第一编码器用于对所述目标图像的潜在表示特征进行编码,以获取相应的第一码流,设置第一解码器用于对所述第一码流进行解码,以获取与所述第一码流相对应的第一潜在表示特征,设置非线性反变换网络用于对所述第一潜在表示特征进行解压缩,以获取与所述目标图像相对应的重构图像,并且在所述非线性变换网络中设置移位卷积层与注意力机制,其中,所述注意力机制中的查询向量等于键向量。与现有的最优性能的神经网络图像压缩算法相比,本专利技术在保持相同的压缩性能的前提下,可极大地提升图像压缩速度(例如,速度可提升3-4倍),并且由于端到端图像压缩方法不需要手动设计相关参数,相比于传统图像编码方法,本专利技术具有更好的迭代能力和扩展性。

12、本专利技术第二方面提供一种图像压缩方法,所述图像压缩方法包括:通过非线性变换网络执行以下操作:提取所述目标图像的局部特征,以及根据所述局部特征提取所述目标图像的潜在表示特征,其中,所述非线性变换网络包括特征提取网络,所述特征提取网络包括:移位卷积层以及注意力机制,其中,所述注意力机制中的查询向量等于键向量;通过第一编码器对所述目标图像的潜在表示特征进行编码,以获取相应的第一码流;通过第一解码器对所述第一码流进行解码,以获取与所述第一码流相对应的第一潜在表示特征;以及通过非线性反变换网络对所述第一潜在表示特征进行解压缩,以获取与所述目标图像相对应的重构图像,其中,所述非线性反变换网络与所述非线性变换网络为对称结构。

13、优选地,所述注意力机制包括:两个1×1卷积层;和/或两个批归一化层。

14、优选地,所述图像压缩方法还包括:通过超先验变换网络对所述目标图像的潜在表示特征进行压缩,以获取所述目标图像的潜在表示特征的边信息;通过第二编码器对所述边信息进行编码,以获取相应的第二码流;通过第二解码器对所述第二码流进行解码,以获取与所述第二码流相对应的第二潜在表示特征;通过超先验反变换网络对所述第二潜在表示特征进行解码,以获取所述目标图像的潜在表示特征的方差参数与第一均值参数;以及通过上下文模型根据所述目标图像的潜在表示特征预测所述目标图像的潜在表示特征的第二均值参数,并根据所述第一均值参数、所述第二均值参数与所述方差参数重构所述目标图像的潜在表示特征的高斯分布模型,相应地,所述通过第一编码器对所述目标图像的潜在表示特征进行编码包括:根据所述高斯分布模型对所述目标图像的潜在表示特征进行编码,以及所述通过第一解码器对所述第一码流进行解码包括:根据所述高斯分布模型对所述第一码流进行解码。

15、优选地,所述超先验变换网络包括:多个卷积层与多本文档来自技高网...

【技术保护点】

1.一种图像压缩系统,其特征在于,所述图像压缩系统包括:

2.根据权利要求1所述的图像压缩系统,其特征在于,所述注意力机制包括:两个1×1卷积层;和/或两个批归一化层。

3.根据权利要求1所述的图像压缩系统,其特征在于,所述图像压缩系统还包括:

4.根据权利要求3所述的图像压缩系统,其特征在于,所述超先验变换网络包括:多个卷积层与多个所述特征提取网络,

5.根据权利要求4所述的图像压缩系统,其特征在于,所述图像压缩系统还包括:第一量化器,位于所述超先验变换网络与所述第二编码器之间。

6.根据权利要求1所述的图像压缩系统,其特征在于,所述特征提取网络为多个特征提取网络,

7.根据权利要求1所述的图像压缩系统,其特征在于,所述移位卷积层包括:第一移位卷积层与第二移位卷积层,

8.根据权利要求7所述的图像压缩系统,其特征在于,所述特征提取网络还包括:激活层,位于所述第一移位卷积层与所述第二移位卷积层之间。

9.根据权利要求1所述的图像压缩系统,其特征在于,所述图像压缩系统还包括:第二量化器,位于所述非线性变换网络与所述第一编码器之间。

10.一种图像压缩方法,其特征在于,所述图像压缩方法包括:

11.根据权利要求10所述的图像压缩方法,其特征在于,所述注意力机制包括:两个1×1卷积层;和/或两个批归一化层。

12.根据权利要求10所述的图像压缩方法,其特征在于,所述图像压缩方法还包括:

13.根据权利要求12所述的图像压缩方法,其特征在于,所述超先验变换网络包括:多个卷积层与多个所述特征提取网络,

14.根据权利要求10所述的图像压缩方法,其特征在于,所述特征提取网络为多个特征提取网络,

15.根据权利要求10所述的图像压缩方法,其特征在于,所述移位卷积层包括:第一移位卷积层与第二移位卷积层,

16.根据权利要求15所述的图像压缩方法,其特征在于,所述特征提取网络还包括:激活层,位于所述第一移位卷积层与所述第二移位卷积层之间。

17.一种芯片,其特征在于,所述芯片包括根据权利要求1-9中任一项所述的图像压缩系统。

18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现权利要求10-16中任一项所述的图像压缩方法。

...

【技术特征摘要】

1.一种图像压缩系统,其特征在于,所述图像压缩系统包括:

2.根据权利要求1所述的图像压缩系统,其特征在于,所述注意力机制包括:两个1×1卷积层;和/或两个批归一化层。

3.根据权利要求1所述的图像压缩系统,其特征在于,所述图像压缩系统还包括:

4.根据权利要求3所述的图像压缩系统,其特征在于,所述超先验变换网络包括:多个卷积层与多个所述特征提取网络,

5.根据权利要求4所述的图像压缩系统,其特征在于,所述图像压缩系统还包括:第一量化器,位于所述超先验变换网络与所述第二编码器之间。

6.根据权利要求1所述的图像压缩系统,其特征在于,所述特征提取网络为多个特征提取网络,

7.根据权利要求1所述的图像压缩系统,其特征在于,所述移位卷积层包括:第一移位卷积层与第二移位卷积层,

8.根据权利要求7所述的图像压缩系统,其特征在于,所述特征提取网络还包括:激活层,位于所述第一移位卷积层与所述第二移位卷积层之间。

9.根据权利要求1所述的图像压缩系统,其特征在于,所述图像压缩系统还包括:第二量化器,位于所述非线性变换网络与所述第一编码器之间。

...

【专利技术属性】
技术研发人员:赵旭李晓雷甘杰李德建宋波刘素伊谢海燕
申请(专利权)人:北京智芯微电子科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1