基于感知保持卷积网络的图像质量增强方法技术

技术编号:22566264 阅读:34 留言:0更新日期:2019-11-16 12:32
本发明专利技术公开了一种基于感知保持卷积网络的图像质量增强方法,解决了手机由于硬件限制造成的拍摄图像质量不如单反相机的问题。实现步骤为:收集训练使用的图像块对;使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络G

Image quality enhancement based on perceptual preserving convolution network

The invention discloses an image quality enhancement method based on the perception keeping convolution network, which solves the problem that the quality of the captured image of the mobile phone is inferior to that of the SLR camera due to the hardware limitation. The implementation steps are: collecting image block pairs for training; using two-dimensional, one-dimensional, void or one-dimensional void to build different image quality enhancement network G

【技术实现步骤摘要】
基于感知保持卷积网络的图像质量增强方法
本专利技术属于图像处理
,更进一步涉及手机拍摄图片的图像质量增强效果,具体是一种基于感知保持卷积网络的图像质量增强方法。可用于移动设备的图像质量增强服务。
技术介绍
近年来,随着移动设备的普及以及微型相机传感器和镜头质量的不断提高,智能手机摄影变得流行起来。与此同时,人们对图像质量的需求也越来越高。如何提升手机拍摄图像质量成为现今一大难题。受限于手机的体积大小,手机的镜头以及感光芯片的大小要比单反相机的小得多,导致了手机拍摄图像的质量不如单反相机拍摄的图像。为了在不改变硬件的前提下使手机拍摄图像能达到单反相机的效果,人们提出了图像质量增强算法。该算法可以通过数字计算生成高质量的图像。由于该方法通过软件实现,不需要改变手机的拍摄设备,能搞大大节约提高图像质量的成本。该技术获得国内外学术界与商业界的极大关注和深入研究,具有重要的理论意义和应用价值。AndreyIgnatov和NikolayKobyshev在文章“DSLR-QualityPhotosonMobileDeviceswithDeepConvolutionalNetworks”(IEEEInternationalConferenceonComputerVision(ICCV).2017)中提出了一种基于卷积神经网络和对抗生成网络的图像质量增强方法,该方法结合了颜色损失,纹理损失,内容损失和总变分损失来构建一个总的损失函数用于训练网络,并建立了一个由手机拍摄图片和对应由单反相机拍摄的相同内容图片的数据集,用于训练和测试用于图像质量增强的网络。该方法中的图像质量增强卷积神经网络使用了4个含有2个卷积层的残差模块,虽然图像质量增强效果显著,但是计算量过大,对一张由手机拍摄的图片进行质量增强所耗费的时间过长。
技术实现思路
本专利技术的目的在于针对上述已有技术的不足,提出一种图像质量增强质量更好,质量增强过程速度更快的基于感知保持卷积网络的图像质量增强方法,其特征在于,包括有如下步骤:步骤1)收集训练使用的图像块对:对同一场景下的手机拍摄图像和单反相机拍摄图像进行裁剪,得到训练卷积神经网络所要使用的手机拍摄图像的图像块和单反相机拍摄图像的图像块,将手机拍摄图像标签设为手机图像,将单反图像拍摄图像标签设为单反图像将手机拍摄图像块标签设为手机图像,将单反图像拍摄图像块标签设为单反图像,所有的带标签的图像块对作为训练集;步骤2)构建图像质量增强网络:使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络;(2a)构建层数较多的M图像质量增强教师网络GT:首先使用以非对称方式组合的两个一维卷积层、再使用由两个二维卷积层构成的残差模块和由两个空洞卷积层构成的残差模块,最后再使用两个二维卷积层,依次连接构建网络层数较多的M图像质量增强教师网络GT;(2b)构建层数较少的N图像质量增强学生网络GS:首先使用以非对称方式组合的两个一维卷积层、再使用以非对称方式组合的两个一维空洞卷积层构成的残差模块,最后再使用一个二维卷积层,依次连接构建网络层数较少的N图像质量增强教师网络GS;步骤3)构建图像质量判别器网络:用卷积层和全连接层构建图像质量判别器网络D;步骤4)训练图像质量增强教师网络GT,结合知识蒸馏训练图像质量增强学生网络GS:载入数据集训练图像质量增强网络和图像质量判别器网络,并采用先训练图像质量判别器D再训练图像质量增强网络的轮流迭代方式进行训练;(4a),训练判别器网络:训练判别器网络D时,将随机选取的标签为手机图像的手机拍摄图像的图像块和标签为单反图像的单反相机拍摄图像的图像块作为判别器网络D的输入,将对应的标签值作为训练目标;(4b),训练图像质量增强教师网络GT:训练图像质量增强网络GT时,将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GT的输入,将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GT的训练目标;(4c),训练图像质量增强学生网络GS:训练图像质量增强网络GS时,将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GS的输入,将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GS的训练目标;(4d),联合训练判别器网络和图像质量增强网络:采用轮流迭代的方式训练判别器网络D,图像质量增强网络GT,采用轮流迭代的方式训练判别器网络D和图像质量增强网络GS,并在训练图像质量增强网络GS时运用已训练好的图像质量增强网络GT,采用知识蒸馏联合训练;训练完毕,得到图像质量增强网络GS;步骤5)使用训练好的网络进行图像增强:输入待增强的图像,使用训练好的图像质量增强网络GT对输入图像进行增强,得到增强处理速度较慢但图像质量增强效果相对较好的图像,使用训练好的图像质量增强网络GS对输入图像进行增强,得到增强处理速度较快但图像质量增强效果相对较差的图像,分别计算图像质量增强效果。本专利技术节省了图像质量增强所需要的计算量,降低了图像质量增强算法的时间复杂度,提升了图像质量增强效果。与现有技术相比,本专利技术具有以下优点:第一,本专利技术提出了一种新的精简的单一图像质量增强网络,采用以非对称方式组合的一维卷积以及空洞卷积来扩展网络对图像的感受野,在限制网络参数量的同时提高了图像质量增强效果。第二,本专利技术使用了知识蒸馏,先训练一个复杂的教师图像质量增强网络,再用教师图像质量增强网络协助训练一个结构较为简单的学生图像质量增强网络,最终得到的学生图像质量增强网络既有接近复杂的教师图像质量增强网络的性能,又能大幅减小图像质量增强的时间。附图说明图1为本专利技术的图像质量增强网络实现流程图;图2为本专利技术图像质量增强网络中的教师网络GT的网络结构图;图3为本专利技术图像质量增强网络中的学生网络GS的网络结构图;图4为本专利技术图像质量判别器网络D的网络结构图;图5为本专利技术与现有图像质量增强方法在400个分别由iPhone3GS与Canon单反相机拍摄的图像对和4张分辨率为1280×720图片上的实验结果图;图6为DPED数据集中由iPhone3GS拍摄第7号图片;图7为对DPED数据集中由iPhone3GS拍摄第7号图片使用DPED图像质量增强方法增强后的图像;图8为对DPED数据集中由iPhone3GS拍摄第7号图片使用本专利技术中图像质量增强方法中图像质量增强教师网络增强后的图像;图9为对DPED数据集中由iPhone3GS拍摄第7号图片使用本专利技术中图像质量增强方法中图像质量增强学生网络增强后的图像。具体实施方案下面结合附图,对本专利技术的具体实现方法作详细描述:实施例1近年来,随着移动设备的普及以及微型相机传感器和镜头质量的不断提高,使用智能手机摄影可以随时随地拍摄的特点使其变得流行起来。当人们拍摄到令人满意的图像内容时,图像质量却可能不尽人意,而单反相机也远不如智本文档来自技高网
...

【技术保护点】
1.一种基于感知保持卷积网络的图像质量增强方法,其特征在于,包括有如下步骤:/n步骤1)收集训练使用的图像块对:对同一场景下的手机拍摄图像和单反相机拍摄图像进行裁剪,得到训练卷积神经网络所要使用的手机拍摄图像的图像块和单反相机拍摄图像的图像块,共同组成图像块对作为训练集;/n步骤2)构建图像质量增强网络:使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络;/n(2a)构建层数较多的M图像质量增强教师网络G

【技术特征摘要】
20190125 CN 20191007158781.一种基于感知保持卷积网络的图像质量增强方法,其特征在于,包括有如下步骤:
步骤1)收集训练使用的图像块对:对同一场景下的手机拍摄图像和单反相机拍摄图像进行裁剪,得到训练卷积神经网络所要使用的手机拍摄图像的图像块和单反相机拍摄图像的图像块,共同组成图像块对作为训练集;
步骤2)构建图像质量增强网络:使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络;
(2a)构建层数较多的M图像质量增强教师网络GT:首先使用以非对称方式组合的两个一维卷积层、再使用由两个二维卷积层构成的残差模块和由两个空洞卷积层构成的残差模块,最后再使用两个二维卷积层,依次连接构建网络层数较多的M图像质量增强教师网络GT;
(2b)构建层数较少的N图像质量增强学生网络GS:首先使用以非对称方式组合的两个一维卷积层、再使用以非对称方式组合的两个一维空洞卷积层构成的残差模块,最后再使用一个二维卷积层,依次连接构建网络层数较少的N图像质量增强教师网络GS;
步骤3)构建图像质量判别器网络:用卷积层和全连接层构建图像质量判别器网络D;
步骤4)训练图像质量增强教师网络GT,结合知识蒸馏训练图像质量增强学生网络GS:载入训练集训练图像质量增强网络和图像质量判别器网络,并采用先训练图像质量判别器D再训练图像质量增强网络的轮流迭代方式进行训练;
(4a),训练判别器网络:训练判别器网络D时,将随机选取的标签为手机图像的手机拍摄图像的图像块和标签为单反图像的单反相机拍摄图像的图像块作为判别器网络D的输入,将对应的标签值作为训练目标;
(4b),训练图像质量增强教师网络GT:训练图像质量增强网络GT时,将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GT的输入,将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GT的训练目标;
(4c),训练图像质量增强学生网络GS:训练图像质量增强网络GS时,将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GS的输入,将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GS的训练目标;
(4d),联合训练判别器网络和图像质量增强网络:采用轮流迭代的方式先训练判别器网络D和图像质量增强网络GT,仍然采用轮流迭代的方式再训练判别器网络D和图像质量增强网络GS,并在训练图像质量增强网络GS时运用已训练好的图像质量增强网络GT,采用知识蒸馏联合训练;得到图像质量增强网络GS;训练完毕,得到训练完成的图像质量增强网络GT和训练图像质量增强网络GS;
步骤5)使用训练好的网络进行图像增强:输入待增强的图像,使用训练好的教师图像质量增强网络GT对输入图像进行增强,得到增强处理速度较慢但图像质量增强效果相对较好的图像,使用训练好的学生图像质量增强网络GS对输入图像进行增强,得到增强处理速度较快但图像质量增强效果相对较差的图像。


2.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法,其特征在于,步骤(2a)中所述的构建层数较多的M图像质量增强教师网络GT,具体包括:
(2a1)图像质量增强教师网络GT为一个包含8个卷积层的卷积神经网络,该网络中使用的卷积层步长均为1,该网络的第一层使用卷积核大小为1×7,卷积核个数为16,激活函数为leakyReLU的一维卷积层,该网络的第二层使用卷积核大小为7×1,卷积核个数为16,激活函数为leakyReLU的一维卷积层,第一个卷积层和第二个卷积层相连后对手机拍摄图像进行特征提取,得到一组特征图At;
(2a2)该网络的第三层和第四层为二维卷积层,第三层的卷积核大小为3×3,卷积核个数为32,对第三层的输出运用实例规范化,再使用leakyReLU激活函数,第四层的卷积核大小为3×3,卷积核个数为16,对第四层的输出运用实例规范化,第三层与第四层两个二维卷积层构成一个残差模块,特征图At经过第三层和第四层两个卷积层输出得到一组特征图与特征图At相加得到特征图Bt;
(2a3)该网络的第五层和第六层为空洞卷积层,第五层空洞卷积层的卷积核大小为3×3,卷积核个数为32,对第五层的输出运用实例规范化,再使用leakyReLU激活函数,第六层空洞卷积层的卷积核大小为3×3,卷积核个数为16,对第六层的输出运用实例规范化,第五层与第六层两个空洞卷积层构成一个残差模块,将特征图Bt经过二个空洞卷积层的输出特征图与特征图Bt相加,得到特征图Ct;
(2a4)将该网络的两个不同的残差模块分别输出的特征图Bt与特征图Ct集合,得到32张特征图,记为特征图Dt;
(2a5)该网络的第七个卷积层使用卷积核大小为1×1,卷积核个数为16,激活函数为leakyReLU的二维卷积层对特征图Dt进行卷积,得到特征图Et;
(2a6)该网络的第八个卷积层使用卷积核大小为3×3,卷积核个数为3,激活函数为Tanh的二维卷积层对特征图Et进行重构,得到增强后的图像。


3.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法,其特征在于,步骤(2b)中所述的构建层数较少的N图像质量增强学生网络GS,具体包括:
(2b1)图像质量增强学生网络GS为一个包含5个卷积层的卷积神经网络,该网络中使用的卷积层步长均为1,该网络的第一层使用卷积核大小为1×7,卷积核个数为8,激活函数为leakyReLU的一维卷积层,网络第二层使用卷积核大小为7×1,卷积核个数为8,激活函数为leakyReLU的一维卷积层,第一层卷积层与第二层卷积层相连后对手机拍摄图像进行特征提取,得到一组特征图As;
(2b2)该网络的第三层使用卷积核大小为1×7,卷积核个数为16的一维空洞卷积层,对第三层的输出运用实例规范化,再使用leakyReLU激活函数,该网络的第四层使用卷积核大小为7×1,卷积核个数为8的一维空洞卷积层,对第四层的输出运用实例规范化,再使用leakyReLU激活函数。特征图As经过二个一维空洞卷积层的输出特征图与特征图As相加得到特征图Bs;
(2b3)该网络的第五层使用卷积核大小为3×3,卷积核个数为3,激活函数为Tanh的二维卷积层对特征图Bs进行重构,得到增强后的图像。


4.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法,其特征在于,步骤3)中所述的图像质量判别器网络D,具体包括:
(3a)判别器网络D为一个由6个卷积层,两个全连接层构成的...

【专利技术属性】
技术研发人员:王秀美惠政杨云初高新波田春娜王颖邓成韩冰
申请(专利权)人:西安电子科技大学
类型:发明
国别省市:陕西;61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1