基于深度学习的图像编码、解码系统及编码、解码方法技术方案

本发明专利技术公开了一种基于深度学习的图像编码、解码系统及编码、解码方法，编码系统包括：基于深度学习的正变换网络模块、基于深度学习的条件概率超先验分析模块及熵编码模块；其中，正变换网络模块用于得到特征系数；超先验分析模块用于得到超先验特征值；熵编码模块用于熵编码。解码系统包括：熵解码模块、基于深度学习的重构模块及基于深度学习的反变换网络模块；其中，熵解码模块用于熵解码；重构模块用于得到条件概率模型；反变换网络模块用于重构出图像像素值。通过本发明专利技术，采用无监督的方式，训练得到的编解码器性能超越了多种传统编码标准。

Image coding and decoding system and methods based on deep learning

【技术实现步骤摘要】
基于深度学习的图像编码、解码系统及编码、解码方法
本专利技术涉及图像编码
，特别涉及一种基于深度学习的图像编码、解码系统及编码、解码方法。
技术介绍
随着多媒体技术和网络通信技术的快速发展，图像多媒体应用已经覆盖了人类生活的各个方面。大量的图像应用产生了海量的数据，如果未经压缩，这些图像将很难应用于实际的存储和传输。图像压缩编码技术可以有效地去除数据中的冗余信息，实现图像数据在互联网中的快速传输和离线存储。因此，图像压缩编码技术是视频应用中的一项关键技术。在过去的几十年中，一系列的图像编码标准被广泛地应用。目前已有的图像压缩标准有很多种，包括联合图片专家组(JointPicturesExpertsGroup)制定的JPEG和JPEG2000,Unisys公司开发并由国际标准化组织(InternationalOrganizationforStandardization,ISO)/国际电工技术委员会(InternationalElectrotechnicalCommission,IEC)发布的PNG，谷歌发布的WebP，以及法布里斯·贝拉(FabriceBellard)于2014年创建。虽然传统编码标准有很多而且一直在不断推进，但是编码框架却没有发生大的变化。比如图像编码标准基本都遵循着变换编码(transformingcoding)的框架，传统编码标准的发展趋势是用更精细更复杂的算法换取更高的编码性能。图像编码标准迭代至今，想要进一步获取性能的增益无疑会变得越来越难。近年来，深度学习技术在多项图像处理和机器视觉任务中取得了重大的突破，受到了研究人员的广泛关注。深度学习技术可以从大量的数据中学习得到数据先验知识和自适应的变换操作，这同样适合于图像编码任务。将深度学习用于图像编码的研究始于2015年谷歌发表的一种基于递归神经网络的图像编码方法。最近，多项研究显示了基于深度学习的图像编码方法已经取得了超过很多传统图像编码技术的性能。虽然这类方法发展时间还不长，但是已经取得了和目前最好的传统编码技术相当的性能(BPG基于HEVC的帧内编码技术，是目前性能最好的图像编码技术)。这些结果都表明基于深度学习的图像编码技术拥有巨大的潜力，有可能取得全面超越传统方法的编码性能。此外，相比于传统方法非常依赖专家知识和特征工程，深度学习技术有很强的自适应性，在实际应用中可以根据特定数据进行训练以获得更高的编码效率。新一代传统视图像编码标准的制定和发布往往需要10年时间，所以通过对基于深度学习的图像编码的研究，期望取得编码性能的显著提升，有非常重要的学术探索和实际应用价值。但是上述提到的谷歌发表的一种基于递归神经网络的图像编码方法计算量太大，阻碍了实用。所以，急需提供一种计算效率高、编码性能优越的图像编码方法。
技术实现思路
本专利技术针对上述现有技术中存在的问题，提出一种基于深度学习的图像编码、解码系统及编码、解码方法，提供了一套使整个编码网络可以进行端到端优化的训练策略，且采用无监督的方式，训练得到的编码器性能超越了多种传统编码标准。为解决上述技术问题，本专利技术是通过如下技术方案实现的：本专利技术提供一种基于深度学习的图像编码系统，其包括：基于深度学习的正变换网络模块，该模块用于使图像经过正变换网络得到表征图像信息的特征系数；基于深度学习的条件概率超先验分析模块，该模块用于对所述特征系数进行分析，得到表征特征系数条件概率的超先验特征值；熵编码模块，该模块用于对经过量化后的所述特征系数进行熵编码，在所述超先验的条件概率的指导下，得到特征系数码流，还用于对经过量化后的所述超先验特征值，在训练集上统计的条件概率模型进行熵编码，得到超先验特征值码流。较佳地，所述熵编码模块还用于对图像元信息进行旁路熵编码，得到图像元信息码流；其中，所述图像元信息包括：图像的长和宽、图像所采用的模型序号。较佳地，所述正变换网络模块为基于深度卷积神经网络构建而成；所述正变换网络模块包括N层卷积层以及N-1层归一化层，所述正变换模块以所述卷积层开始，所述卷积层与所述归一化层交替分布。较佳地，所述超先验分析模块为基于深度卷积神经网络构建而成；所述超先验分析模块的分析网络包括六层；第一层为取绝对值操作层，第二层为卷积层，第三层为激活层，第四层为卷积层，第五层为激活层，第六层为卷积层。较佳地，所述熵编码模块中的量化为添加随机均匀噪声近似量化。本专利技术还提供一种基于深度学习的图像解码系统，其为与上述的图像编码系统相对应的图像解码系统，包括：熵解码模块，该模块用于对所述超先验特征值码流进行熵解码，得到重构的超先验特征值矩阵；基于深度学习的重构模块，该模块用于根据所述超先验特征值矩阵训练得到特征系数基于拉普拉斯分布超先验的条件概率模型；所述熵解码模块还用于根据所述条件概率模型对所述特征系数码流进行熵解码，得到重构的特征系数矩阵；基于深度学习的反变换网络模块，该模块用于使重构后的特征系数矩阵经过反变换网络重构出图像像素值。较佳地，所述熵解码模块还用于对图像元信息码流进行熵解码，得到图像元信息；其中，所述图像元信息包括：图像的长和宽、图像所采用的模型序号。较佳地，所述反变换网络模块为基于深度卷积神经网络构建而成；所述反变换网络模块与所述正变换网络模块呈对称结构；所述反变换网络模块包括N层反卷积层以及N-1层逆归一化层，所述反变换模块以所述反卷积层开始，所述反卷积层与所述逆归一化层交替分布。较佳地，所述超先验重构模块为基于深度卷积神经网络构建而成；所述超先验重构模块与所述超先验分析模块呈对称结构；所述超先验重构模块的重构网络也包括六层，第一层为反卷积层，第二层为激活层，第三层为反卷积层，第四层为激活层，第五层为反卷积层，第六层为对输入的每个特征值取指数函数输出层。本专利技术还提供一种基于深度学习的图像编码方法，其包括以下步骤：S101：对输入图像进行正变换，得到表征图像信息的特征系数矩阵；S102：将所述特征系数矩阵输入超先验分析模块，输出得到表征特征系数概率的超先验特征值矩阵；S103：对所述S102中的所述超先验特征值矩阵进行量化，对量化后的超先验特征值矩阵进行熵编码，得到超先验特征值码流；S104：根据所述S103中的量化后的超先验特征值矩阵训练得到特征系数基于拉普拉斯分布超先验的条件概率模型；S105：将所述S101中的特征系数矩阵进行量化，并使用所述S104中的条件概率模型对量化后的特征系数矩阵进行熵编码，得到特征系数码流；S106：打包输出图像的编码码流，包括：所述S103中的超先验特征值码流以及所述S105中的特征系数码流。较佳地，所述S105和S106之间还包括：S111：对图像元信息进行旁路熵编码，得到图像元信息码流，其中，所述图像元信息包括：图像的长和宽、图像所采用的模型序号；进一步地，所述S106中输本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像编码系统，其特征在于，包括：/n基于深度学习的正变换网络模块，该模块用于使图像经过正变换网络得到表征图像信息的特征系数；/n基于深度学习的条件概率超先验分析模块，该模块用于对所述特征系数进行分析，得到表征特征系数条件概率的超先验特征值；/n熵编码模块，该模块用于对经过量化后的所述特征系数进行熵编码，在所述超先验的条件概率的指导下，得到特征系数码流，还用于对经过量化后的所述超先验特征值，在训练集上统计的条件概率模型进行熵编码，得到超先验特征值码流。/n

【技术特征摘要】
1.一种基于深度学习的图像编码系统，其特征在于，包括：
基于深度学习的正变换网络模块，该模块用于使图像经过正变换网络得到表征图像信息的特征系数；
基于深度学习的条件概率超先验分析模块，该模块用于对所述特征系数进行分析，得到表征特征系数条件概率的超先验特征值；
熵编码模块，该模块用于对经过量化后的所述特征系数进行熵编码，在所述超先验的条件概率的指导下，得到特征系数码流，还用于对经过量化后的所述超先验特征值，在训练集上统计的条件概率模型进行熵编码，得到超先验特征值码流。


2.根据权利要求1所述的基于深度学习的图像编码系统，其特征在于，所述熵编码模块还用于对图像元信息进行旁路熵编码，得到图像元信息码流；
其中，所述图像元信息包括：图像的长和宽、图像所采用的模型序号。


3.根据权利要求1所述的基于深度学习的图像编码系统，其特征在于，所述正变换网络模块为基于深度卷积神经网络构建而成；
所述正变换网络模块包括N层卷积层以及N-1层归一化层，所述正变换模块以所述卷积层开始，所述卷积层与所述归一化层交替分布。


4.根据权利要求1所述的基于深度学习的图像编码系统，其特征在于，所述超先验分析模块为基于深度卷积神经网络构建而成；
所述超先验分析模块的分析网络包括六层；第一层为取绝对值操作层，第二层为卷积层，第三层为激活层，第四层为卷积层，第五层为激活层，第六层为卷积层。


5.根据权利要求1所述的基于深度学习的图像编码系统，其特征在于，所述熵编码模块中的量化为添加随机均匀噪声近似量化。


6.一种基于深度学习的图像解码系统，其特征在于，其为与所述权利要求1至5任一项所述的图像编码系统相对应的图像解码系统，包括：
熵解码模块，该模块用于对所述超先验特征值码流进行熵解码，得到重构的超先验特征值矩阵；
基于深度学习的重构模块，该模块用于根据所述超先验特征值矩阵训练得到特征系数基于拉普拉斯分布超先验的条件概率模型；所述熵解码模块还用于根据所述条件概率模型对所述特征系数码流进行熵解码，得到重构的特征系数矩阵；
基于深度学习的反变换网络模块，该模块用于使重构后的特征系数矩阵经过反变换网络重构出图像像素值。


7.根据权利要求6所述的基于深度学习的图像解码系统，其特征在于，所述熵解码模块还用于对图像元信息码流进行熵解码，得到图像元信息；
其中，所述图像元信息包括：图像的长和宽、图像所采用的模型序号。


8.根据权利要求6所述的基于深度学习的图像解码系统，其特征在于，所述反变换网络模块为基于深度卷积神经网络构建而成；
所述反变换网络模块与所述正变换网络模块呈对称结构；
所述反变换网络模块包括N层反卷积层以及N-1层逆归一化层，所述反变换模块以所述反卷积层开始，所述反卷积层与所述逆归一化层交替分布。


9.根据权利要求6所述的基于深度学习的图像解码系统，其特征在于，所述超先验重构模块为基于深度卷积神经网络构建而成；
所述超先验重构模块与所述超先验分析模块呈对称结构；
所述超先验重构模块的重构网络也包括六层，第一层为反卷积层，第二层为激活层，第三层为反卷积层，第四层为激活层，第五层为反卷积层，第六层为对输入的每个特征值取指数函数输出层。


10.一种基于深度学习的图像编码方法，其特征在于，包括：
S101：对输入图像进行正变换，得到表征图像信息的特征系数矩阵；...

【专利技术属性】
技术研发人员：王培，其他发明人请求不公开姓名，
申请(专利权)人：杭州皮克皮克科技有限公司，
类型：发明
国别省市：浙江;33