一种基于超分辨率技术的图片压缩方法技术

本发明专利技术公开一种基于超分辨率技术的图片压缩方法，其包括以下步骤：步骤1：将移动互联网平台的用户待上传的照片按缩放比例

A picture compression method based on super resolution technology

The invention discloses a picture compression method based on super resolution technology, which comprises the following steps: Step 1: scaling the photos uploaded by a user of the mobile Internet platform to be uploaded;

【技术实现步骤摘要】
一种基于超分辨率技术的图片压缩方法
本专利技术涉及计算机图像处理领域，尤其涉及一种基于超分辨率技术的图片压缩方法。
技术介绍
近年来，随着各种移动互联网的快速发展，每天会有大量的图片在网络上传输，并在不同的终端被下载和查看，如何高效地存储并以低带宽成本传输这些图片成为一个亟待解决的问题。在移动设备发展初期，由于手机像素不高，拍照的相片分辨率较小，照片所占的内存和上传网络的数据流量很少。随着手机摄像头的分辨率不断提高，照片的质量有了大幅度提升。然而，这些高分辨率高质量的照片会带来几个问题：(1)首先，这些高质量的照片会占用大量的存储空间。例如，三星GALAXYJ7摄像头像素已经达到1300万，拍摄的照片能达到10M以上。如何以更小的空间来存储更多的高质量照片，是一个需要解决的问题。同时，对于微信、微博和今日头条等社交、媒体平台来说，用户每天上传海量图片到平台的服务器，也给平台带来了巨大的存储成本。(2)此外，如果将手机拍出来的照片没有经过一定的处理直接上传到网络，由于原始照片数据量很大，上传速度会很慢，同时用户在浏览图片的时候，由于照片数据量较大，需要更多的下载时间，给用户带来不好的上传和浏览照片的体验。(3)除了影响存储成本和图片传输速度，各个平台也要为传输海量图片付出巨大的带宽成本。例如，截至2016年12月，微信每个月活跃用户数达到8.89亿，用户平均好友数量达194人，每天通过微信平台下载和观看的照片数量有几百亿到几千亿张，平台传输这些海量照片需要支付巨大的带宽成本。因此，为了能够缩减海量图片带来的巨大存储成本和带宽成本，并提高照片的上传和访问速度，对图片进行高效地压缩是最有效途径。图片压缩的目的是对图片源数据按一定的规则进行变换，减少图片数据中的冗余信息，以尽量少的比特数来表示图片，从而能够更加高效地存储和传输图片。同时，被压缩的图片需要能够很好地被复原成原始图片的质量，使它达到特定应用场合的要求。目前主流的图片压缩算法有JPEG算法，JPEG2000算法，基于小波变换的图片压缩等。同时，各大公司也推出自己的图片压缩算法，例如微软的JPEGXR格式，Google的WebP格式，腾讯的TPG格式。这些算法在保持与JPEG相同清晰度的情况下，能够进一步有效压缩存储30％-40％，从而降低了存储成本和带宽成本。然而，由于各种终端(浏览器、手机等)对这些图片格式兼容性不好，目前主流的图片格式还是JPEG，这些高效的图片压缩算法只在各大公司内部使用。因此，为了提高压缩算法的通用性，需要研究在不改变图片格式的情况下，如何对图片进一步压缩具有更高的商业价值。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于超分辨率技术的图片压缩方法。巧妙地利用图片超分辨率技术，在不改变原有图片格式和编解码的前提下，达到高效压缩图片的目的。首先，通过在源端降低图片的分辨率，减小图片的尺寸，从而达到压缩图片的目的，其次，对降分辨率后的图片在互联网上进行传输或保存在源端，然后，在接收端利用基于最新的深度卷积神经网络的超分辨率技术在不同终端将压缩的图片还原成高分辨率图片，这样终端用户观看的仍然是原来的高质量图片。在三套公开数据集上测试，我们的重建效果已经达到世界领先水准。通过这样的图片处理和传输策略，不但能为各种社交平台省下大量存储成本和带宽成本，达到图片压缩的目的，同时，也能给用户节省流量，降低用户上传和加载图片的等待时间，提升用户体验。本专利技术采用的技术方案是：一种基于超分辨率技术的图片压缩方法，其包括如下步骤：步骤1：将移动互联网平台的用户待上传的照片按缩放比例s进行降采样后得到低清图片，降采样的算法采用双三次插值算法；再按原有的图片压缩编码方式如JPEG、WebP等将低清图片压缩并上传；这样用户上传的数据量比原有的压缩编码方式会进一步减少至少50％，上传所需流量减少，上传速度加快。步骤2：移动互联网平台对压缩的低清图片进行存储和分发；由于图片的数据量被进一步压缩至少50％，这样社交平台所需的存储成本和带宽成本也会进一步减少至少50％。步骤3：移动互联网平台用户通过不同接收终端下载压缩的低清图片，接收终端对下载压缩的低清图片进行相应的解码如JPEG、WebP等得到低清图片。步骤4：将解码后的低清图片使用深度卷积神经网络模型还原重建成高清图片供用户浏览；所述深度卷积神经网络模型包括以下几个模块阶段，分别是底层特征提取阶段、利用密集网络模块提取高层特征阶段、特征层融合阶段、特征层降维阶段、反卷积阶段和重建阶段，所述深度卷积神经网络模型具体包括以下子步骤：步骤4.1对网络模型输入的低分辨率子图像进行卷积运算和激活函数运算，得到包括边缘信息底层特征，其计算公式是：Fl(x)＝max(W1*X+B1,0)(1)其中W1和B1分别是第一层卷积模版参数和偏置参数，F1为所得到的底层特征；步骤4.2利用多个密集网络模块学习得到高层特征；进一步地，每一个密集网络模块包括8个卷积层和8个激活层，其中激活函数为规整化线性单元函数，所有卷积层的卷积核大小为3*3；每一层激活层得到的特征会以叠加的方式加入以后的层里面，并使用特征增加率k来控制每一层得到的特征图通道数；在密集网络模块内，第n层输出有k*n个特征图。特征增长率k取16，每个密集网络模块内有8层，每个密集网络模块输出的特征图通道数为128个。步骤4.3融合底层特征和高层特征，形成丰富的特征集合，从而能够为高分辨率图像的重建提供更多的信息。在步骤4.1中所得到的底层特征包含了图像的很多边缘和形状信息，而在步骤4.2中的密集网络模块所得到的高层特征表征图像更多的抽象和纹理信息。因此，结合步骤4.1所得到的底层特征和步骤4.2所得到的高层特征可以给还原高分辨率图像中的高频内容提供了更加丰富的信息。底层特征和高层特征都是通过跳跃式连接直接叠加得到最后的特征集合，具体可以表示为：Fn+1＝Hn+1([F1,F2,…,Fn])(2)其中Fn+1为融合的特征集合，F1为第1层得到的底层特征，F2到Fn为密集网络模块所得到的高层特征；H为不同特征的融合函数，n为卷积网络的层数。在特征融合阶段，由于所有特征层都有前向跳跃式连接到Fn+1，这样在反向传播的时候梯度信息可以直接从顶层传播到底层，解决了网络深度增加带来的梯度消失问题。步骤4.4降低特征层的通道数，提高卷积神经网络模型的运算速度。在完成步骤4.3的特征融合后，网络模型可以得到128*n个特征，当n较大时，特征的通道数就会很大，这样增加了网络模型训练阶段和测试阶段的计算复杂度，降低了网络模型的运算效率，并且模型参数也会相应增加。为了降低网络模型的计算复杂度，本专利技术中采用了1*1的卷积层进行特征层通道数降维，并同时也减少了模型的参数量。进一步地，经过1*1卷积层降维后，本专利技术所得到的特征层通道数为256。步骤4.5利用去卷积层学习上采样算子，得到高分辨率空间的特征。在步骤4.4中所得到的特征都是在低分辨率空间的，图像大小为d*d，所以必须要对这些特征进行上采样，得到高分辨率空间的特征，才能进行高分辨率图像的重建。在基于深度学习的超分辨率算法SRCNN[1]和VDSR[2]中，上采样算子直接采用bicubic插值，这样不仅使得深度学习模本文档来自技高网...

【技术保护点】
一种基于超分辨率技术的图片压缩方法，其特征在于：其包括以下步骤：步骤1：将移动互联网平台的用户待上传的照片按缩放比例s进行降采样后得到低清图片，再将低清图片压缩并上传；步骤2：移动互联网平台对压缩的低清图片进行存储和分发；步骤3：移动互联网平台用户通过不同接收终端下载压缩的低清图片，接收终端对下载压缩的低清图片进行相应的解码得到低清图片；步骤4：将解码后的低清图片使用深度卷积神经网络模型还原重建成高清图片供用户浏览；所述深度卷积神经网络模型包括以下几个模块阶段，分别是底层特征提取阶段、利用密集网络模块提取高层特征阶段、特征层融合阶段、特征层降维阶段、反卷积阶段和重建阶段，所述深度卷积神经网络模型具体包括以下子步骤：步骤4.1对网络模型输入的低分辨率子图像进行卷积运算和激活函数运算，得到包括边缘信息底层特征，其计算公式是：Fl(x)＝max(W1*X+B1,0)   (1)其中W1和B1分别是第一层卷积模版参数和偏置参数，F1为所得到的底层特征；步骤4.2利用多个密集网络模块学习得到高层特征；每一个密集网络模块包括多个卷积层和多个激活层，其中激活函数为规整化线性单元函数，所有卷积层的卷积核大小为3*3；每一层激活层得到的特征会以叠加的方式加入以后的层里面，并使用特征增加率k来控制每一层得到的特征图通道数；在密集网络模块内，第n层输出有k*n个特征图；步骤4.3融合底层特征和高层特征，形成丰富的特征集合：底层特征和高层特征都是通过跳跃式连接直接叠加得到最后的特征集合，具体表示为：Fn+1＝Hn+1([F1,F2,…,Fn])   (2)其中Fn+1为融合的特征集合，F1为第1层得到的底层特征，F2到Fn为密集网络模块所得到的高层特征；H为不同特征的融合函数，n为卷积网络的层数；步骤4.4降低特征层的通道数，提高卷积神经网络模型的运算速度；步骤4.5利用去卷积层学习上采样算子，得到高分辨率空间的特征；步骤4.6利用去卷积所得到高分辨率空间的特征，重建出高分辨率图像；将重建的图像与原始的高分辨率图像进行比较，计算模型的重建损失和梯度，并沿着网络模型的反向传播梯度到网络各层当中，更新网络中的参数，经过多次迭代后求解得到最终的网络模型参数W和B。...

【技术特征摘要】
1.一种基于超分辨率技术的图片压缩方法，其特征在于：其包括以下步骤：步骤1：将移动互联网平台的用户待上传的照片按缩放比例s进行降采样后得到低清图片，再将低清图片压缩并上传；步骤2：移动互联网平台对压缩的低清图片进行存储和分发；步骤3：移动互联网平台用户通过不同接收终端下载压缩的低清图片，接收终端对下载压缩的低清图片进行相应的解码得到低清图片；步骤4：将解码后的低清图片使用深度卷积神经网络模型还原重建成高清图片供用户浏览；所述深度卷积神经网络模型包括以下几个模块阶段，分别是底层特征提取阶段、利用密集网络模块提取高层特征阶段、特征层融合阶段、特征层降维阶段、反卷积阶段和重建阶段，所述深度卷积神经网络模型具体包括以下子步骤：步骤4.1对网络模型输入的低分辨率子图像进行卷积运算和激活函数运算，得到包括边缘信息底层特征，其计算公式是：Fl(x)＝max(W1*X+B1,0)(1)其中W1和B1分别是第一层卷积模版参数和偏置参数，F1为所得到的底层特征；步骤4.2利用多个密集网络模块学习得到高层特征；每一个密集网络模块包括多个卷积层和多个激活层，其中激活函数为规整化线性单元函数，所有卷积层的卷积核大小为3*3；每一层激活层得到的特征会以叠加的方式加入以后的层里面，并使用特征增加率k来控制每一层得到的特征图通道数；在密集网络模块内，第n层输出有k*n个特征图；步骤4.3融合底层特征和高层特征，形成丰富的特征集合：底层特征和高层特征都是通过跳跃式连接直接叠加得到最后的特征集合，具体表示为：Fn+1＝Hn+1([F1,F2,…,Fn])(2)其中Fn+1为融合的特征集合，F1为第1层得到的底层特征，F2到Fn为密集网络模块所得到的高层特征；H为不同特征的融合函数，n为卷积网络的层数；步骤4.4降低特征层的通道数，提高卷积神经...

【专利技术属性】
技术研发人员：童同，李根，高钦泉，
申请(专利权)人：福建帝视信息科技有限公司，
类型：发明
国别省市：福建,35