一种超分辨率图像重建方法及装置制造方法及图纸

本发明专利技术提供了一种超分辨率图像重建方法及装置，包括：将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像；将第一尺寸待检测图像输入至第一层深度学习模型，输出第一尺寸的三像素矩阵；将三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，第二尺寸大于第一尺寸；将第二尺寸的三像素矩阵整合，获取超分辨率图像。本发明专利技术对低分辨率图像转化为高分辨率图像的处理速度快，无需担心物体运动，重建程度高，且设计简易，处理速度快。

【技术实现步骤摘要】
一种超分辨率图像重建方法及装置
本专利技术涉及图像处理和机器学习
，尤其涉及一种超分辨率图像重建方法及装置。
技术介绍
随着人们对图片像素的要求越来越高，人们对于高像素的相机越来越推崇，但是，即使高像素的相机的分辨率也有限，需要将低分辨率的图片转换为高分辨率的图片。目前，超分辨率图像重建技术主要是基于频率或空域的方法，但是基于频域的方法只适用于图像中不存在局部运动、仅仅有物体整体运动的情况，只有在空域的噪声不变的情况下适用；而基于空域的方法设计复杂、计算步骤多、速度慢。因此，目前的超分辨率图像重建技术存在仅适用于物体整体运动，而不存在局部运动或设计复杂、计算步骤多和速度慢的问题。
技术实现思路
为了解决目前超分辨率图像重建技术存在仅适用于物体整体运动，而不存在局部运动或设计复杂、计算步骤多和速度慢的问题，一方面，本专利技术提供了一种超分辨率图像重建方法，包括：将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像；将第一尺寸待检测图像输入至第一层深度学习模型，输出第一尺寸的三像素矩阵；将三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，第二尺寸大于第一尺寸；将第二尺寸的三像素矩阵整合，获取超分辨率图像。优选地，将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像，包括：将待检测图像进行灰度化处理，使待检测图像由RGB三通道变为R通道、G通道和B通道，获取灰度化处理之后的待检测图像；利用双线性插值法将灰度化处理之后的待检测图像的尺寸扩大或缩小至第一尺寸。优选地，三像素矩阵包括R通道像素矩阵、G通道像素矩阵和B通道像素矩阵。优选地，第一层深度学习模型包括并列的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，第一卷积神经网络、第二卷积神经网络和第三卷积神经网络均分别为3层卷积神经网络；第一卷积神经网络输出第一尺寸的R通道像素矩阵，第二卷积神经网络输出第一尺寸的G通道像素矩阵，第三卷积神经网络输出第一尺寸的B通道像素矩阵。优选地，3层卷积神经网络包括依次进行的第一层卷积层、第二层卷积层和第三层卷积层；第一层卷积层的卷积核的尺寸为5*5，第二层卷积层的卷积核的尺寸为4*4，第三层卷积层的卷积核的尺寸为3*3，第一层卷积层、第二层卷积层和第三层卷积层的卷积核的数量均为64个。优选地，第二层深度学习网络包括并列的第四卷积神经网络、第五卷积神经网络和第六卷积神经网络；第四卷积神经网络、第五卷积神经网络和第六卷积神经网络均分别为18层卷积神经网络；第四卷积神经网络输出第二尺寸的R通道像素矩阵，第五卷积神经网络输出第二尺寸的G通道像素矩阵，第六卷积神经网络输出第二尺寸的B通道像素矩阵。优选地，18层卷积神经网络的每一层卷积层的卷积核的尺寸均为3*3，卷积核的数量均为32个；18层卷积神经网络为含残差结构的卷积神经网络，含残差结构的卷积神经网络的残差连接从18层卷积神经网络的输入直至输出。另一方面，本专利技术还提供了一种超分辨率图像重建装置，包括：获取模块，用于获取待检测图像；第一处理模块，用于将待检测图像进行灰度化处理之后，设为第一尺寸，将第一尺寸待检测图像输入至第一层深度学习模型，输出第一尺寸的三像素矩阵；第二处理模块，将三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，第二尺寸大于第一尺寸；整合模块，将第二尺寸的三像素矩阵整合，获取超分辨率图像。又一方面，一种用于超分辨率图像重建的电子设备，包括：存储器和处理器，处理器和存储器通过总线完成相互间的通信；存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行上述的方法方法。再一方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。本专利技术提供了一种超分辨率图像重建方法及装置，通过第一层深度学习模型将灰度化处理之后且设为第一尺寸的待检测图像，处理为保持第一尺寸的三像素矩阵；再通过第二层深度模型将第一尺寸的三像素矩阵，处理为第二尺寸的三像素矩阵，使得三像素矩阵更清晰，最后将第二尺寸的三像素矩阵整合，获取超分辨率图像。本专利技术对低分辨率图像转化为高分辨率图像的处理速度快，无需担心物体运动，重建程度高，且设计简易，处理速度快。附图说明图1为根据本专利技术的一个优选实施例的一种超分辨率图像重建方法的流程示意图；图2为根据本专利技术的一个优选实施例的一种超分辨率图像重建装置的结构示意图；图3为根据本专利技术的一个优选实施例的一种用于超分辨率图像重建的电子设备的结构示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。图1为根据本专利技术的一个优选实施例的一种超分辨率图像重建方法的流程示意图，如图1所示，本专利技术实施例提供了一种超分辨率图像重建方法，包括：步骤S101、将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像；步骤S102、将第一尺寸待检测图像输入至第一层深度学习模型，输出三像素矩阵，三像素矩阵的尺寸保持第一尺寸；步骤S103、将三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，第二尺寸大于第一尺寸；步骤S104、将第二尺寸的三像素矩阵整合，获取超分辨率图像。具体地，首先需要获取待检测图像，待检测图像通常由照相机或摄像机拍摄的分辨率较低的图像，若需要看清待检测图像的细节，需要对其进行超分辨率图像重建。进一步地，为了使待检测图像能方便处理，先将待检测图像进行灰度化处理，由三通道变成单通道，且将经灰度化处理的图像的尺寸统一设为第一尺寸待检测图像，获取第一尺寸待检测图像；然后将第一尺寸待检测图像输入至第一层深度学习模型，输出三个不同的像素矩阵，即三像素矩阵，且三像素矩阵的尺寸仍然保持第一尺寸；接下来，再将三像素矩阵输入至第二层深度学习模型，使三像素矩阵的尺寸由第一尺寸变为第二尺寸，大幅提高三像素矩阵的尺寸，最后将第二尺寸的三像素矩阵整合，获取超分辨率图像。其中，第一尺寸小于1920*1080，第二尺寸不小于1920*1080；例如，第一尺寸为640*480，第二尺寸为1080*1920。需要说明的是，三像素矩阵包括R通道像素矩阵、G通道像素矩阵和B通道像素矩阵。基于上述实施例，第一层深度学习模型包括并列的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，第一卷积神经网络、第二卷积神经网络和第三卷积神经网络均分别为3层卷积神经网络；第一卷积神经网络输出第一尺寸的R通道像素矩阵，第二卷积神经网络输出第一尺寸的G通道像素矩阵，第三卷积神经网络输出第一尺寸的B通道像素矩阵。进一步地，3层卷积神经网络包括依次进行的第一层卷积层、第二层卷积层和第三层卷积层；第一层卷积层的卷积核的尺寸为5*5，第二层卷积层的卷积核的尺寸为4*4，第三层卷积层的卷积核的尺寸为3*3，第一层卷积层、第二层卷积层和第三层卷积层的卷积核的数量均为64个。基于上述实施例，第二层深度学习网络包括并列的第四卷积神经网络、第五卷积神经网络和第六卷积神经网络；第四卷积神经网络、第五卷积神经网络和第六卷积神经网络均分别为18层卷积神经网络；第四卷积神经网络输出第二尺寸的R通道像素矩阵，第五卷积神经网本文档来自技高网...

【技术保护点】
1.一种超分辨率图像重建方法，其特征在于，包括：将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像；将所述第一尺寸待检测图像输入至第一层深度学习模型，输出第一尺寸的三像素矩阵；将所述三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，所述第二尺寸大于所述第一尺寸；将所述第二尺寸的三像素矩阵整合，获取超分辨率图像。

【技术特征摘要】
1.一种超分辨率图像重建方法，其特征在于，包括：将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像；将所述第一尺寸待检测图像输入至第一层深度学习模型，输出第一尺寸的三像素矩阵；将所述三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，所述第二尺寸大于所述第一尺寸；将所述第二尺寸的三像素矩阵整合，获取超分辨率图像。2.根据权利要求1所述的一种超分辨率图像重建方法，其特征在于，所述将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像，包括：将所述待检测图像进行灰度化处理，使所述待检测图像由RGB三通道变为R通道、G通道和B通道，获取所述灰度化处理之后的待检测图像；利用双线性插值法将所述灰度化处理之后的待检测图像的尺寸扩大或缩小至所述第一尺寸。3.根据权利要求2所述的一种超分辨率图像重建方法，其特征在于，所述三像素矩阵包括R通道像素矩阵、G通道像素矩阵和B通道像素矩阵。4.根据权利要求3所述的一种超分辨率图像重建方法，其特征在于，所述第一层深度学习模型包括并列的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，所述第一卷积神经网络、第二卷积神经网络和第三卷积神经网络均分别为3层卷积神经网络；所述第一卷积神经网络输出第一尺寸的R通道像素矩阵，所述第二卷积神经网络输出第一尺寸的G通道像素矩阵，所述第三卷积神经网络输出第一尺寸的B通道像素矩阵。5.根据权利要求4所述的一种超分辨率图像重建方法，其特征在于，所述3层卷积神经网络包括依次进行的第一层卷积层、第二层卷积层和第三层卷积层；所述第一层卷积层的卷积核的尺寸为5*5，所述第二层卷积层的卷积核的尺寸为4*4，所述第三层卷积层的卷积核的尺寸为3*3，所述第...

【专利技术属性】
技术研发人员：朱泽洲，董远，白洪亮，熊风烨，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11