图像超分辨率方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种图像超分辨率方法，通过获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；然后发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；之后对所述第二待处理图像进行还原处理，生成还原图像并输出。本发明专利技术还公开了一种图像超分辨率装置及计算机可读存储介质。本发明专利技术增加了不同放大倍率预处理，将依赖放大倍率的模块部分与主网络分开，使大部分不依赖放大倍率的参数可以在不同放大倍率下共享网络训练结果，增加模型通用性至可适用于8K电视的超分辨率应用需求。

Image super-resolution method, device and computer readable storage medium

The present invention discloses an image super-resolution method, which amplifies the pending image by obtaining an image to be processed, extracts the scale feature, and obtains the first pending image after the scale scaling feature, and then sends the first pending image to the residual network for the residual net. The output of the second processed image is corrected after the output is corrected, and then the restored image of the second processed image is processed to generate the restored image and output. The invention also discloses an image super resolution device and a computer readable storage medium. The invention adds different magnification preprocessing, separates the modules that depend on the magnification ratio and the main network, so that most of the parameters that do not depend on magnification can share the network training results at different magnification rates, and increase the generality of the model to the super-resolution application requirements that can be applied to 8K TV.

【技术实现步骤摘要】
图像超分辨率方法、装置及计算机可读存储介质
本专利技术涉及图像处理
，尤其涉及一种图像超分辨率方法、装置及计算机可读存储介质。
技术介绍
如今，高分辨率显示屏幕正在家庭影音设备和移动设备上普及，因此人们对于高质量的图像或视频的需求日益加大。高质量的图像或视频有助于人们获取更加丰富和准确的信息，其中，分辨率是一项重要的标准。然而很多情况下，由于外界机器设备性能的限制以及拍摄条件的影响，会使得采集到图像分辨率较低，进而造成图像比较模糊，导致采集到的图像不能达到实际应用的需求。因此，提高图像分辨率势在必行。虽然提高图像分辨率最直接的方法是提高硬件的配置，但是往往受制于成本和设备物理条件的限制，所以通常采用软件的方法对图像分辨率进行提高，也就是超分辨率技术。图像超分辨率重建技术是利用一组低质量、低分辨率图像或运动序列来产生高质量、高分辨率图像。随着人工智能的发展，目前技术人员已经能够基于深度卷积神经网络实现单帧图像的超分辨率，使得单帧图像超分辨率技术有了巨大进步。目前，超分辨率技术在现实生活中有着十分广泛的用途，包括高清电视，医学影像，卫星图像，安全检测，显微成像，虚拟现实等领域。其中，在数字电视领域，利用超分辨率重建技术将数字电视信号转换为高清晰度电视信号是极为重要的应用，能够有效提高视频清晰度。超分辨率技术遵循“网络更深、效果越好”的原则，但采用SRResNet网络结构的超分辨率技术由于网络的加深，会产生参数过多、梯度收敛过慢、训练困难、实时率下降等问题。经典ResNet模型采用批归一化(BatchNormalization)方法收敛梯度加快训练过程，但批归一化随着网络深度加深会使得计算开销过大，并且其原理会使得特征被标准化，并不适用于超分辨率应用，因此需要提出不同于批归一化的处理方法，达到减少计算开销、加快计算收敛速度的目的。同时，经典ResNet模型并未提及不同放大倍率的超分辨率技术如何实现。但是由于电视应用的分辨率放大倍率较为固定，因此不能很好的适应于电视应用。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种图像超分辨率方法、装置及计算机可读存储介质，旨在解决不同放大倍率下的视频图像不能共享卷积神经网络训练结果的技术问题。为实现上述目的，本专利技术提供一种图像超分辨率方法，所述图像超分辨率方法包括以下步骤：获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；对所述第二待处理图像进行还原处理，生成还原图像并输出。优选地，所述获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像的步骤包括：获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。优选地，所述预置的放大尺度包括2倍、3倍或4倍。优选地，所述发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像的步骤包括：发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；将所述第二待处理图像发送至尺度还原模块。优选地，所述残差网络包括若干个瓶颈残差单元和一个卷积层，各瓶颈残差单元连接有一个权重归一化模块。优选地，所述瓶颈残差单元包括三个卷积层，在每两个卷积层之间，含有一个激活函数层，所述激活函数为PReLu函数。优选地，所述激活函数包含一个变量，所述变量的值通过对上一层网络学习得到。优选地，所述对所述第二待处理图像进行还原处理，生成还原图像并输出的步骤包括：在尺度还原模块接收到第二待处理图像时，基于尺度放大模块中的尺度进行相应的尺度缩小处理，生成还原图像；输出所述还原图像。此外，为实现上述目的，本专利技术还提供一种图像超分辨率装置，其特征在于，所述图像超分辨率装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像超分辨率程序，所述图像超分辨率程序被所述处理器执行时实现如上述任一项图像超分辨率方法的步骤。此外，为实现上述目的，一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像超分辨率程序，所述图像超分辨率程序被处理器执行时实现如上述任一项所述的图像超分辨率方法的步骤。本专利技术方案，通过获取待处理图像，在尺度放大模块对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；然后发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像至尺度还原模块；之后在尺度还原模块接收到所述第二待处理图像时，对所述第二待处理图像进行还原处理，生成还原图像并输出。本专利技术增加了不同放大倍率预处理，将依赖放大倍率的模块部分与主网络分开，使大部分不依赖放大倍率的参数可以在不同放大倍率下共享网络训练结果，增加模型通用性至可适用于8K(视频像素的总列数为4320)电视的超分辨率应用需求。附图说明图1是本专利技术实施例方案涉及的硬件运行环境中图像超分辨率装置所属终端的结构示意图；图2为本专利技术图像超分辨率方法第一实施例的流程示意图；图3为本专利技术图像超分辨率方法第一实施例中的主流程图；图4为本专利技术图像超分辨率方法第一实施例中的瓶颈残差单元结构示意图；图5为本专利技术图像超分辨率方法第二实施例中获取待处理图像，在尺度放大模块对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像的步骤的细化流程示意图；图6为本专利技术图像超分辨率方法第三实施例中发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像至尺度还原模块的步骤的细化流程示意图；图7为本专利技术图像超分辨率方法第四实施例中在尺度还原模块接收到所述第二待处理图像时，对所述第二待处理图像进行还原处理，生成还原图像并输出的步骤的细化流程示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，图1是本专利技术实施例方案涉及的硬件运行环境的装置所属终端结构示意图。本专利技术实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(MovingPictureExpertsGroupAudioLayerIII，动态影像专家压缩标准音频层面3)播放器、MP4(MovingPictureExpertsGroupAudioLayerIV，动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可移动式终端设备。如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无本文档来自技高网...

【技术保护点】
1.一种图像超分辨率方法，其特征在于，所述图像超分辨率方法包括以下步骤：获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；对所述第二待处理图像进行还原处理，生成还原图像并输出。

【技术特征摘要】
1.一种图像超分辨率方法，其特征在于，所述图像超分辨率方法包括以下步骤：获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；对所述第二待处理图像进行还原处理，生成还原图像并输出。2.如权利要求1所述的图像超分辨率方法，其特征在于，所述获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像的步骤包括：获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。3.如权利要求2所述的图像超分辨率方法，其特征在于，所述预置的放大尺度包括2倍、3倍或4倍。4.如权利要求1所述的图像超分辨率方法，其特征在于，所述发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像的步骤包括：发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；将所述第二待处理图像发送至尺度还原...

【专利技术属性】
技术研发人员：黄哲，肖志林，
申请(专利权)人：深圳创维RGB电子有限公司，
类型：发明
国别省市：广东,44