The invention discloses an image quality enhancement method based on the perception keeping convolution network, which solves the problem that the quality of the captured image of the mobile phone is inferior to that of the SLR camera due to the hardware limitation. The implementation steps are: collecting image block pairs for training; using two-dimensional, one-dimensional, void or one-dimensional void to build different image quality enhancement network G
【技术实现步骤摘要】
基于感知保持卷积网络的图像质量增强方法
本专利技术属于图像处理
,更进一步涉及手机拍摄图片的图像质量增强效果,具体是一种基于感知保持卷积网络的图像质量增强方法。可用于移动设备的图像质量增强服务。
技术介绍
近年来,随着移动设备的普及以及微型相机传感器和镜头质量的不断提高,智能手机摄影变得流行起来。与此同时,人们对图像质量的需求也越来越高。如何提升手机拍摄图像质量成为现今一大难题。受限于手机的体积大小,手机的镜头以及感光芯片的大小要比单反相机的小得多,导致了手机拍摄图像的质量不如单反相机拍摄的图像。为了在不改变硬件的前提下使手机拍摄图像能达到单反相机的效果,人们提出了图像质量增强算法。该算法可以通过数字计算生成高质量的图像。由于该方法通过软件实现,不需要改变手机的拍摄设备,能搞大大节约提高图像质量的成本。该技术获得国内外学术界与商业界的极大关注和深入研究,具有重要的理论意义和应用价值。AndreyIgnatov和NikolayKobyshev在文章“DSLR-QualityPhotosonMobileDeviceswithDeepConvolutionalNetworks”(IEEEInternationalConferenceonComputerVision(ICCV).2017)中提出了一种基于卷积神经网络和对抗生成网络的图像质量增强方法,该方法结合了颜色损失,纹理损失,内容损失和总变分损失来构建一个总的损失函数用于训练网络,并建立了一个由手机拍摄图片和对应由单反相机拍摄的相同内容图片的数据集,用于训 ...
【技术保护点】
1.一种基于感知保持卷积网络的图像质量增强方法,其特征在于,包括有如下步骤:/n步骤1)收集训练使用的图像块对:对同一场景下的手机拍摄图像和单反相机拍摄图像进行裁剪,得到训练卷积神经网络所要使用的手机拍摄图像的图像块和单反相机拍摄图像的图像块,共同组成图像块对作为训练集;/n步骤2)构建图像质量增强网络:使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络;/n(2a)构建层数较多的M图像质量增强教师网络G
【技术特征摘要】
20190125 CN 20191007158781.一种基于感知保持卷积网络的图像质量增强方法,其特征在于,包括有如下步骤:
步骤1)收集训练使用的图像块对:对同一场景下的手机拍摄图像和单反相机拍摄图像进行裁剪,得到训练卷积神经网络所要使用的手机拍摄图像的图像块和单反相机拍摄图像的图像块,共同组成图像块对作为训练集;
步骤2)构建图像质量增强网络:使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络;
(2a)构建层数较多的M图像质量增强教师网络GT:首先使用以非对称方式组合的两个一维卷积层、再使用由两个二维卷积层构成的残差模块和由两个空洞卷积层构成的残差模块,最后再使用两个二维卷积层,依次连接构建网络层数较多的M图像质量增强教师网络GT;
(2b)构建层数较少的N图像质量增强学生网络GS:首先使用以非对称方式组合的两个一维卷积层、再使用以非对称方式组合的两个一维空洞卷积层构成的残差模块,最后再使用一个二维卷积层,依次连接构建网络层数较少的N图像质量增强教师网络GS;
步骤3)构建图像质量判别器网络:用卷积层和全连接层构建图像质量判别器网络D;
步骤4)训练图像质量增强教师网络GT,结合知识蒸馏训练图像质量增强学生网络GS:载入训练集训练图像质量增强网络和图像质量判别器网络,并采用先训练图像质量判别器D再训练图像质量增强网络的轮流迭代方式进行训练;
(4a),训练判别器网络:训练判别器网络D时,将随机选取的标签为手机图像的手机拍摄图像的图像块和标签为单反图像的单反相机拍摄图像的图像块作为判别器网络D的输入,将对应的标签值作为训练目标;
(4b),训练图像质量增强教师网络GT:训练图像质量增强网络GT时,将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GT的输入,将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GT的训练目标;
(4c),训练图像质量增强学生网络GS:训练图像质量增强网络GS时,将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GS的输入,将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GS的训练目标;
(4d),联合训练判别器网络和图像质量增强网络:采用轮流迭代的方式先训练判别器网络D和图像质量增强网络GT,仍然采用轮流迭代的方式再训练判别器网络D和图像质量增强网络GS,并在训练图像质量增强网络GS时运用已训练好的图像质量增强网络GT,采用知识蒸馏联合训练;得到图像质量增强网络GS;训练完毕,得到训练完成的图像质量增强网络GT和训练图像质量增强网络GS;
步骤5)使用训练好的网络进行图像增强:输入待增强的图像,使用训练好的教师图像质量增强网络GT对输入图像进行增强,得到增强处理速度较慢但图像质量增强效果相对较好的图像,使用训练好的学生图像质量增强网络GS对输入图像进行增强,得到增强处理速度较快但图像质量增强效果相对较差的图像。
2.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法,其特征在于,步骤(2a)中所述的构建层数较多的M图像质量增强教师网络GT,具体包括:
(2a1)图像质量增强教师网络GT为一个包含8个卷积层的卷积神经网络,该网络中使用的卷积层步长均为1,该网络的第一层使用卷积核大小为1×7,卷积核个数为16,激活函数为leakyReLU的一维卷积层,该网络的第二层使用卷积核大小为7×1,卷积核个数为16,激活函数为leakyReLU的一维卷积层,第一个卷积层和第二个卷积层相连后对手机拍摄图像进行特征提取,得到一组特征图At;
(2a2)该网络的第三层和第四层为二维卷积层,第三层的卷积核大小为3×3,卷积核个数为32,对第三层的输出运用实例规范化,再使用leakyReLU激活函数,第四层的卷积核大小为3×3,卷积核个数为16,对第四层的输出运用实例规范化,第三层与第四层两个二维卷积层构成一个残差模块,特征图At经过第三层和第四层两个卷积层输出得到一组特征图与特征图At相加得到特征图Bt;
(2a3)该网络的第五层和第六层为空洞卷积层,第五层空洞卷积层的卷积核大小为3×3,卷积核个数为32,对第五层的输出运用实例规范化,再使用leakyReLU激活函数,第六层空洞卷积层的卷积核大小为3×3,卷积核个数为16,对第六层的输出运用实例规范化,第五层与第六层两个空洞卷积层构成一个残差模块,将特征图Bt经过二个空洞卷积层的输出特征图与特征图Bt相加,得到特征图Ct;
(2a4)将该网络的两个不同的残差模块分别输出的特征图Bt与特征图Ct集合,得到32张特征图,记为特征图Dt;
(2a5)该网络的第七个卷积层使用卷积核大小为1×1,卷积核个数为16,激活函数为leakyReLU的二维卷积层对特征图Dt进行卷积,得到特征图Et;
(2a6)该网络的第八个卷积层使用卷积核大小为3×3,卷积核个数为3,激活函数为Tanh的二维卷积层对特征图Et进行重构,得到增强后的图像。
3.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法,其特征在于,步骤(2b)中所述的构建层数较少的N图像质量增强学生网络GS,具体包括:
(2b1)图像质量增强学生网络GS为一个包含5个卷积层的卷积神经网络,该网络中使用的卷积层步长均为1,该网络的第一层使用卷积核大小为1×7,卷积核个数为8,激活函数为leakyReLU的一维卷积层,网络第二层使用卷积核大小为7×1,卷积核个数为8,激活函数为leakyReLU的一维卷积层,第一层卷积层与第二层卷积层相连后对手机拍摄图像进行特征提取,得到一组特征图As;
(2b2)该网络的第三层使用卷积核大小为1×7,卷积核个数为16的一维空洞卷积层,对第三层的输出运用实例规范化,再使用leakyReLU激活函数,该网络的第四层使用卷积核大小为7×1,卷积核个数为8的一维空洞卷积层,对第四层的输出运用实例规范化,再使用leakyReLU激活函数。特征图As经过二个一维空洞卷积层的输出特征图与特征图As相加得到特征图Bs;
(2b3)该网络的第五层使用卷积核大小为3×3,卷积核个数为3,激活函数为Tanh的二维卷积层对特征图Bs进行重构,得到增强后的图像。
4.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法,其特征在于,步骤3)中所述的图像质量判别器网络D,具体包括:
(3a)判别器网络D为一个由6个卷积层,两个全连接层构成的...
【专利技术属性】
技术研发人员:王秀美,惠政,杨云初,高新波,田春娜,王颖,邓成,韩冰,
申请(专利权)人:西安电子科技大学,
类型:发明
国别省市:陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。