基于深度神经网络的图像降维和重建方法技术

本发明专利技术公开了一种基于深度神经网络的图像降维和重建方法，在编码端进行图像降维，减少图片压缩产生的比特流，节约带宽；在解码端进行图像重建。本发明专利技术将离散小波变换与深度学习结合，来提高图像降维和重建性能的潜力。本发明专利技术将变换、量化、熵编码这些模板联合到一起，使得各功能模块之间相互影响，联合优化变换、量化等编码步骤，使得编码器性能尽可能达到最优。本发明专利技术不仅使用神经网络来实现图像的降维和重建，还嵌套使用了离散小波变换。在优化率失真时，为了提供更加精确的码字分布，本发明专利技术结合使用了上下文网络与超先验网络，后者可以纠正前者的预测信息，共同生成更加准确的均值和标准差参数。

Image dimension reduction and reconstruction method based on depth neural network

【技术实现步骤摘要】
基于深度神经网络的图像降维和重建方法
本专利技术涉及图像重建领域，具体涉及一种基于深度神经网络的图像降维并重建的方法。
技术介绍
图像是对客观事物的一种相似性、生动的描述，是对客观对象的一种比较直观的表示方式，它包含了被描述对象的有关信息。随着信息时代的发展，图像信息日益增多，而我们的网络带宽有限。在这种情况下，通过将图像降维来实现减少传输图像所占用的带宽就显得尤其重要了。图像数据之所以能被降维，就是因为数据中存在着冗余。图像数据的冗余主要表现为：图像中相邻像素间的相关性引起的空间冗余；图像序列中不同帧之间存在相关性引起的时间冗余；不同频带相关性引起的频谱冗余。图像降维的目的就是通过去除这些数据冗余来减少表示图像所需的比特数。小波变换是研究图像降维和重建的一个热点方向，而本专利技术欲将离散小波变换与深度学习结合，来提高图像降维和重建性能的潜力。
技术实现思路
本专利技术的目的在于提供一种基于深度神经网络的图像降维和重建方法。为实现上述目的，本专利技术设计一种基于深度神经网络的图像降维和重建方法，构建图像降维和重建网络框架，该网络框架包括编码端和解码端；在编码端进行图像降维，减少图片压缩产生的比特流，节约带宽；在解码端进行图像重建；包括以下步骤：S1：在编码端，将待编码的图像输入包含离散小波变换DWT的卷积神经网络，得到保存有结构信息的低分辨率图y；S2：将低分辨率图y量化，得到码字并将所得码字通过熵编码器，得到熵编码后的码流文件；且通过混合高斯模型对量化后的码字进行概率建模，来控制码率；并引入上下文及超先验信息，让超先验网络基于上下文来学习概率分布的均值与标准差；S3：在解码端，将压缩解码后的图像输入包含整数小波变换IWT的卷积网络，得到原始图像重构后的图像；该整数小波变换为离散小波变换的逆变换。进一步的，步骤S1中，将输入图像[0,255]规范到[-1.0,+1.0]，然后将输入图像经过卷积-DWT-卷积变换之后，得到变换后的特征码字y。进一步的，步骤S1中，每一层卷积操作之后，使用的激活函数为GDN；GDN变换的正变换表达式为：其中，i和j为通道序号；wi(m,n)为第i个通道，平面位置在(m,n)处的特征码字；βi和γj为GDN变换中的参数，ui(m,n)为wi(m,n)码字经过GDN变换后的特征码字。进一步的，步骤S2中，结合了超先验网络以及上下文模型来学习得到概率分布的均值与标准差；超先验网络通过牺牲额外的码字来为变换码字的熵编码器提供参数信息，以进一步去除了码字之间的冗余信息；上下文模型通过对解码得到的码字来预测熵编码器的概率模型参数，从而实现码字节省；二者结合可以更加有效地为熵编解码器提供参数信息。进一步的，步骤S3中，将输入图像经过反卷积-IWT-反卷积变换之后，得到原始图像的解码图像，并将解码图像范围规范到[0,255]范围，得到最终的解码图像。进一步的，步骤S3中，每一层反卷积操作之后，使用的激活函数为IGDN；IGDN变换的表达式为：其中，i和j为通道序号；wi(m,n)为第i个通道，平面位置在(m,n)处的特征码字；βi和γj为IGDN变换中的参数，ui(m,n)为wi(m,n)码字经过IGDN变换后的特征码字。进一步的，本专利技术进行有效的率失真优化；图像降维与重建网络中的参数全部由网络训练学习得到；在网络训练中，为了有效的进行率失真优化，还需要对码字的码率进行估计，以方便在训练中对编码器的码率进行控制。因此训练中的损失函数设定为：L＝lamda*D+R其中lamda用来控制模型码率；D为原始图像x与重构图像之间的均方误差MSE；R为码率，具体计算如下：其中，的分布参数由超先验网络以及上下文网络结合得到，分别记其均值和标准差为：而对于超先验信息约束其分布为零均值，标准差可学的高斯分布，其标准差记为与现有技术相比，本专利技术具有如下优势和特点：传统的图像降维和重建算法，如JPEG、JPEG2000、BPG，它们使用固定的转换，即离散余弦变换和离散小波变换，结合量化和熵编码器，减少图像的空间冗余。这些传统的图像编码器，主要是对编码器内部的各个模块如变换、量化、熵编码进行分别优化。针对深度神经网络的端到端的方式，本专利技术将变换、量化、熵编码这些模板联合到一起，使得各功能模块之间相互影响，联合优化变换、量化等编码步骤，使得编码器性能尽可能达到最优。本专利技术不仅使用神经网络来实现图像的降维和重建，还嵌套使用了离散小波变换。在优化率失真时，为了提供更加精确的码字分布，本专利技术结合使用了上下文网络与超先验网络，后者可以纠正前者的预测信息，共同生成更加准确的均值和标准差参数。附图说明图1为本专利技术的流程图；图2为用于实现上下文网络的掩模卷积图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。参见图1，本专利技术构建了基于深度神经网络的图像降维和重建网络框架，该网络框架包括以下几个部分：编码器、解码器、量化、超先验编码器、超先验解码器、上下文网络、熵编码器参数估计网络、熵编码器、熵解码器。基于该网络框架，本专利技术提供一种图像降维和重建方法，包括以下几个步骤：S1：在编码端，将待编码的图像输入包含离散小波变换DWT的卷积神经网络，得到保存有结构信息的低分辨率图y；S2：将低分辨率图y量化，得到码字并将所得码字通过熵编码器，得到熵编码后的码流文件；且通过混合高斯模型对量化后的码字进行概率建模，来控制码率；并引入上下文及超先验信息，让超先验网络基于上下文来学习概率分布的均值与标准差；S3：在解码端，将压缩解码后的图像输入包含整数小波变换IWT的卷积网络，得到原始图像重构后的图像；该整数小波变换为离散小波变换的逆变换。具体步骤如下：1)将待编码的图像范围预处理规范到[-1,+1]区间，得到预处理后的图像x；2)将x送入编码器中，得到编码器的输出结果为y；具体步骤包括：2.1)x经过一层卷积核大小为5x5、通道数为128、步长为2的卷积操作；然后再将卷积后的结果送入到第一层的GDN变换；2.2)经过第一层GDN变换后再将其输出送入到DWT变换层中，并通过第二层的GDN变换；2.3)将上述输出结果输入到第二层卷积操作，其中卷积核大小为5x5，通道数为512，步长为2；然后同样的，将该层卷积输出经过第三层的GDN变换；2.4)然后将上述输出结果送入最后一层的卷积层，其卷积核大小为5x5，通道数为192，步长为2，然后得到未量化编码码字y；3)将y送入超先验网络中的编码器中，得到超先验的码字z；这一编码过程中包含三层卷积操作，每一层的卷积核大小为5x5，通道数为128，步本文档来自技高网...

【技术保护点】
1.基于深度神经网络的图像降维和重建方法，其特征在于，构建图像降维和重建网络框架，该网络框架包括编码端和解码端；在编码端进行图像降维，减少图片压缩产生的比特流，节约带宽；在解码端进行图像重建；包括以下步骤：/nS1：在编码端，将待编码的图像输入包含离散小波变换DWT的卷积神经网络，得到保存有结构信息的低分辨率图y；/nS2：将低分辨率图y量化，得到码字

【技术特征摘要】
1.基于深度神经网络的图像降维和重建方法，其特征在于，构建图像降维和重建网络框架，该网络框架包括编码端和解码端；在编码端进行图像降维，减少图片压缩产生的比特流，节约带宽；在解码端进行图像重建；包括以下步骤：
S1：在编码端，将待编码的图像输入包含离散小波变换DWT的卷积神经网络，得到保存有结构信息的低分辨率图y；
S2：将低分辨率图y量化，得到码字并将所得码字通过熵编码器，得到熵编码后的码流文件；
且通过混合高斯模型对量化后的码字进行概率建模，来控制码率；并引入上下文及超先验信息，让超先验网络基于上下文来学习概率分布的均值与标准差；
S3：在解码端，将压缩解码后的图像输入包含整数小波变换IWT的卷积网络，得到原始图像重构后的图像；该整数小波变换为离散小波变换的逆变换。


2.根据权利要求1所述的基于深度神经网络的图像降维和重建方法，其特征在于，步骤S1包括以下具体步骤：
1.1)将待编码图像的像素值范围规范至[-1.0,1.0]，得到预处理后的图像x；
1.2)对x进行一层卷积操作，提取相关特征信息，得到输出结果x1；
x1＝F(x＊w+b)，其中F为激活函数，以x为输入信息，w为权值，b为偏置，x1为输出结果；
1.3)对x1进行DWT变换，得到输出结果x2；
1.4)对x2进行n次卷积操作，得到x的低分辨率图y。


3.根据权利要求1所述的基于深度神经网络的图像降维和重建方法，其特征在于，步骤S2包括以下具体步骤：
2.1)将低分辨率图像y输入超先验网络，得到输出结果φ；
2.2)对y进行四舍五入的量化，得到

其中U(-0.5,0.5)为值域[-0.5,0.5]的均匀分布；
2.3)将输入上下文网络，得到输出结果θ；
该上下文网络在生成某点像素值得时候，将该像素右侧和下侧的像素值掩盖，只通过上侧和左侧的像素值来计算当前点的像素值；
2.4)将φ和θ同时输入熵编码器的参数估计网络，进行多层卷积操作，得到混合高斯分布的参数，即均值μ与标准差δ；
2.5)熵编码器根据μ、δ对进行编...

【专利技术属性】
技术研发人员：侯兴松，康越，
申请(专利权)人：苏州天必佑科技有限公司，
类型：发明
国别省市：江苏;32