图像超分辨率重建方法、装置、存储介质和计算机设备制造方法及图纸

本申请涉及一种图像超分辨率重建方法、装置、存储介质和计算机设备，包括：对高分辨率图像样本进行降采样处理，得到低分辨率图像样本，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征；第二卷积模块对低分辨图像特征进行多次非线性映射，得到高分辨率图像特征；根据高分辨率图像特征构建高分辨率参考图像；计算高分辨率参考图像和高分辨率图像样本间的损失值；将损失值在机器学习模型中进行反向传播，以根据损失值调整机器学习模型的模型参数；获取低分辨率图像，利用训练后所得的机器学习模型将低分辨率图像重建为高分辨率图像，可以避免因人脸图像的分辨率低而导致识别效果差的问题。

Image super-resolution reconstruction method, device, storage medium and computer equipment

【技术实现步骤摘要】
图像超分辨率重建方法、装置、存储介质和计算机设备
本申请涉及图像处理
，特别是涉及一种图像超分辨率重建方法、装置、计算机可读存储介质和计算机设备。
技术介绍
随着图像处理技术的发展，人脸图像的应用场景越来越多，例如医学图像分析、计算机视觉、遥感等。人们对人脸图像的分辨率需求越来越高，对采集的人脸图像的细节处理和高频信息处理得要求越来越严格。传统方法中，在人脸图像采集和处理领域过程中，因为便携式设备、拍摄技术或光线环境等原因，采集的人脸图像细节分辨率有时较低，导致采集的人脸图像识别效果较差。
技术实现思路
基于此，有必要针对因人脸图像的分辨率低而导致识别效果较差的技术问题，提供一种图像超分辨率重建方法、装置、计算机可读存储介质和计算机设备。一种图像超分辨率重建方法，包括：获取高分辨率图像样本，并对所述高分辨率图像样本进行降采样处理，得到低分辨率图像样本；将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型，通过所述机器学习模型的第一卷积模块对所述低分辨率图像样本提取低分辨率图像特征；通过所述机器学习模型的第二卷积模块对所述低分辨图像特征进行非线性映射，得到高分辨率图像特征；根据所述高分辨率图像特征构建高分辨率参考图像；利用损失函数计算所述高分辨率参考图像和所述高分辨率图像样本间的损失值；将所述损失值在所述机器学习模型中进行反向传播，以根据所述损失值调整所述机器学习模型的模型参数，直至所述损失值达到预设值时停止训练；获取低分辨率图像，利用训练后所得的机器学习模型将所述低分辨率图像重建为高分辨率图像。一种图像超分辨率重建装置，所述装置包括：获取模块，用于获取高分辨率图像样本，并对所述高分辨率图像样本进行降采样处理，得到低分辨率图像样本；第一卷积模块，用于将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型，通过所述机器学习模型的第一卷积模块对所述低分辨率图像样本提取低分辨率图像特征；第二卷积模块，用于通过所述机器学习模型的第二卷积模块对所述低分辨图像特征进行非线性映射，得到高分辨率图像特征；构建模块，用于根据所述高分辨率图像特征构建高分辨率参考图像；损失值模块，用于利用损失函数计算所述高分辨率参考图像和所述高分辨率图像样本间的损失值；反向传播模块，用于将所述损失值在所述机器学习模型中进行反向传播，以根据所述损失值调整所述机器学习模型的模型参数，直至所述损失值达到预设值时停止训练；重建模块，用于获取低分辨率图像，利用训练后所得的机器学习模型将所述低分辨率图像重建为高分辨率图像。一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行图像超分辨率重建方法的步骤。一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行图像超分辨率重建方法的步骤。上述图像超分辨率重建方法、装置、计算机可读存储介质和计算机设备，通过对高分辨率图像样本进行降采样处理，得到低分辨率图像样本，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征；通过机器学习模型的第二卷积模块对低分辨图像特征进行多次非线性映射，得到高分辨率图像特征，实现了更好的图像效果和更优的数据指标；根据高分辨率图像特征构建高分辨率参考图像；利用损失函数计算高分辨率参考图像和高分辨率图像样本间的损失值；将损失值在机器学习模型中进行反向传播，调整模型参数，通过训练后的机器学习模型将低分辨率图像重建为高分辨率图像，有利于提高图像识别效果。附图说明图1为一个实施例中图像超分辨率重建方法的应用环境图；图2为一个实施例中图像超分辨率重建方法的流程示意图；图3为一个实施例中图像超分辨率重建方法的流程示意图；图4为一个实施例中图像超分辨率重建方法的流程示意图；图5为一个实施例中图像超分辨率重建方法的流程示意图；图6为一个实施例中图像超分辨率重建方法的流程示意图；图7为一个实施例中图像超分辨率重建方法的流程示意图；图8(a)为一个实施例中图像超分辨率重建方法的界面示意图；图8(b)为另一个实施例中图像超分辨率重建方法的界面示意图；图8(c)为另一个实施例中图像超分辨率重建方法的界面示意图；图9为一个实施例中图像超分辨率重建装置的结构框图；图10为另一个实施例中图像超分辨率重建装置的结构框图；图11为一个实施例中计算机设备的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。图1为一个实施例中图像超分辨率重建方法的应用环境图。参照图1，该图像超分辨率重建方法应用于图像超分辨率重建系统。该图像超分辨率重建系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器120获取存储于终端的高分辨率图像样本，并对高分辨率图像样本进行降采样处理，得到低分辨率图像样本；将低分辨率图像样本和高分辨率图像样本输入机器学习模型，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征；通过机器学习模型的第二卷积模块对低分辨图像特征进行非线性映射，得到高分辨率图像特征；根据高分辨率图像特征构建高分辨率参考图像；利用损失函数计算高分辨率参考图像和高分辨率图像样本间的损失值；将损失值在机器学习模型中进行反向传播，以根据损失值调整机器学习模型的模型参数，直至损失值达到预设值时停止训练；获取低分辨率图像，利用训练后所得的机器学习模型将低分辨率图像重建为高分辨率图像。服务器120将高分辨率图像发送给终端110。如图2所示，在一个实施例中，提供了一种图像超分辨率重建方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该图像超分辨率重建方法具体包括如下步骤：S202，获取高分辨率图像样本，并对高分辨率图像样本进行降采样处理，得到低分辨率图像样本。在一个实施例中，服务器获取用于输入机器学习模型的训练图像集如CelebA数据集，获取训练图像集中多张图像作为高分辨率图像样本，例如将Celeb数据集中的任意200张人脸图像作为高分辨率图像样本。通过对尺寸为M×N的高分辨率图像样本进行降采样处理，得到尺寸为(M÷S)×(N÷S)的低分辨率图像样本，其中，S为M、N的公约数，且S为大于1的整数或有理数。其中，机器学习模型可以是卷积神经网络模型、循环神经网络模型、递归神经网络模型，本专利技术实施例以卷积神经网络模型为例进行阐述。S204，将低分辨率图像样本和本文档来自技高网...

【技术保护点】
1.一种图像超分辨率重建方法，包括：/n获取高分辨率图像样本，并对所述高分辨率图像样本进行降采样处理，得到低分辨率图像样本；/n将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型，通过所述机器学习模型的第一卷积模块对所述低分辨率图像样本提取低分辨率图像特征；/n通过所述机器学习模型的第二卷积模块对所述低分辨图像特征进行非线性映射，得到高分辨率图像特征；/n根据所述高分辨率图像特征构建高分辨率参考图像；/n利用损失函数计算所述高分辨率参考图像和所述高分辨率图像样本间的损失值；/n将所述损失值在所述机器学习模型中进行反向传播，以根据所述损失值调整所述机器学习模型的模型参数，直至所述损失值达到预设值时停止训练；/n获取低分辨率图像，利用训练后所得的机器学习模型将所述低分辨率图像重建为高分辨率图像。/n

【技术特征摘要】
1.一种图像超分辨率重建方法，包括：
获取高分辨率图像样本，并对所述高分辨率图像样本进行降采样处理，得到低分辨率图像样本；
将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型，通过所述机器学习模型的第一卷积模块对所述低分辨率图像样本提取低分辨率图像特征；
通过所述机器学习模型的第二卷积模块对所述低分辨图像特征进行非线性映射，得到高分辨率图像特征；
根据所述高分辨率图像特征构建高分辨率参考图像；
利用损失函数计算所述高分辨率参考图像和所述高分辨率图像样本间的损失值；
将所述损失值在所述机器学习模型中进行反向传播，以根据所述损失值调整所述机器学习模型的模型参数，直至所述损失值达到预设值时停止训练；
获取低分辨率图像，利用训练后所得的机器学习模型将所述低分辨率图像重建为高分辨率图像。


2.根据权利要求1所述的方法，其特征在于，所述将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型之前，所述方法还包括：
确定图像块尺寸以及划分图像块时所对应的移动步长；所述移动步长小于或等于所述图像块尺寸；
在所述低分辨率图像样本中，按照所述移动步长逐步确定划分起点，并依照所述划分起点逐步划分出所述图像块尺寸的多个低分辨率图像块；
在所述高分辨率图像样本中，按照所述移动步长逐步确定划分起点，并依照所述划分起点逐步划分出所述图像块尺寸的多个高分辨率图像块；
所述将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型，包括：
将所述低分辨率图像块和所述高分辨率图像块输入机器学习模型。


3.根据权利要求2所述的方法，其特征在于，所述通过所述机器学习模型的第一卷积模块对所述低分辨率图像样本提取低分辨率图像特征，包括：
利用所述第一卷积模块中的卷积核对所述低分辨率图像块进行卷积处理，得到每个所述低分辨率图像块对应的多个图像特征，所述卷积核的数量与每个所述低分辨率图像块对应的图像特征的数量一致；
将属于相同的低分辨率图像块对应的多个图像特征进行组合，得到各低分辨率图像块对应的低分辨率图像特征。


4.根据权利要求1至3任一项所述的方法，其特征在于，所述通过所述机器学习模型的第二卷积模块对所述低分辨图像特征进行非线性映射，得到高分辨率图像特征，包括：
通过所述机器学习模型的第二卷积模块中的卷积层对所述低分辨率图像特征进行卷积处理，得到中间图像特征；
利用所述第二卷积模块中的非线性层对中间图像特征进行映射，得到高分辨率图像特征。


5.根据权利要求1所述的方法，其特征在于，所述利用损失函数计算所述高分辨率参考图像和所述高分辨率图像样本间的损失值，包括：
计算所述高分辨率参考图像与所述高分辨率图像样本间的第一均方误差；
将所述高分辨率参考图像与所述高分辨率图像样本分别输入第一网络，分别得到第一输出结果和第二输出结果，计算所述第一输出结果和所述第二输出结果的第二均方误差；
将所述高分...

【专利技术属性】
技术研发人员：陈子涵，李喆，皮昊书，时亨通，宋伟新，马楠，吴中，彭毅，齐翰博，宋书生，周伟文，夏金凯，黄轶群，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：广东;44