图像生成方法及终端设备技术

本发明专利技术涉及图像处理技术领域，提供了一种图像生成方法及终端设备。该方法包括：构建神经网络模型；根据结构相似性理论中两幅图像之间亮度、对比度和结构的相似关系，建立损失函数；获取样本图像，并根据所述样本图像和所述损失函数对所述神经网络模型进行训练；将待处理图像输入训练后的神经网络模型，生成所述待处理图像的超分辨图像。本发明专利技术将结构相似性理论的思想融入到构造损失函数的过程中，通过改善损失函数来改善超分辨技术，能够帮助提高图像质量，得到更加符合人眼视觉的超分辨图像，使生成的超分辨图像的质量稳定性得到提升。

Image generation method and terminal equipment

The invention relates to the technical field of image processing, and provides an image generation method and a terminal device. The method includes: constructing neural network model; establishing loss function according to the similarity relationship of brightness, contrast and structure between two images in the theory of structural similarity; acquiring sample image, and training the neural network model according to the sample image and the loss function; inputting the image to be processed into the trained neural network model, and generating the image to be processed A super-resolution image of an image. The invention integrates the idea of structural similarity theory into the process of constructing the loss function, improves the super-resolution technology by improving the loss function, can help improve the image quality, get the super-resolution image more in line with the human vision, and improve the quality stability of the generated super-resolution image.

【技术实现步骤摘要】
图像生成方法及终端设备
本专利技术涉及图像处理
，尤其涉及一种图像生成方法及终端设备。
技术介绍
目前超分辨图像处理技术有着非常广阔的应用，例如在图像传输方面，可以把图像在输入端进行降维处理，之后在输出端通过超分辨技术进行升维度处理，这样传输的数据量就能得到很大程度的降低，有利于提高传输速度和缓解网络传输压力；在图像存储方面，可以把图向进行降维处理之后储存，这样图片的大小将会降低，从而缓解储存的压力，待查看和应用这些图像的时候，再通过超分辨技术将这些图像进行升维处理，补充图片细节，得到高维度的图片。超分辨方法的核心是低分辨率图像到高分辨率图像的拟合。随着深度学习技术的不断发展，一些超分辨方法把神经网络应用于求解拟合函数中，使超分辨的效果得到了很大程度的提高。通过在训练过程中最小化生成的超分辨率图和原高分辨率图之间的差别，神经网络中的参数得以被训练，通过训练后的神经网络能够生成高质量的超分辨图像。如何衡量两图之间的差别是非常重要的，决定了生成的超分辨率图像的质量。现有的超分辨方法在衡量超分辨率图和原高分辨率图之间差别的时候，大都是在像素级别进行比较。例如，原高分辨率图为A，降维以后的低分辨图为B，通过超分辨技术生成的超分辨率图为C。在训练神经网络的过程中，损失函数定义为均方差(MSE，MeanSquareError)的形式，计算公式如下：其中，a和b为图像的高度和宽度。(x,y)为图像的位置坐标。以MSE来定义损失函数，有利于在评估算法的时候得到很好的PSNR(PeakSignaltoNoiseRatio，峰值信噪比)值。但是也存在着如下问题：在像素级别对图像进行比较不完全符合人眼的视觉规律。相同MSE的图像，给人眼视觉系统的感知可能完全不同。例如，均方差较小者可能给人更好的视觉感受。如图1所示，图1(a)为原始图像，图1(b)至图1(f)为被不同失真类型处理过的失真图像，图1(b)至图1(f)的MSE依次为144、144、144、144、142。可以看出，这些失真图像的MSE值基本相同，但是这些图像给人的视觉感受是明显不同的。由于在MSE的计算过程中，没有考虑到图片的空间连续性，也没有考虑到各个位置的重要程度的差别，而是统一处理。如果以MSE作为损失函数训练神经网络，超分辨方法生成的超分辨图的质量就无法得到保证。
技术实现思路
有鉴于此，本专利技术实施例提供了图像生成方法及终端设备，以解决目前超分辨方法无法保证生成的超分辨图像质量的问题。本专利技术实施例的第一方面提供了图像生成方法，包括：构建神经网络模型；根据结构相似性理论中两幅图像之间亮度、对比度和结构的相似关系，建立损失函数；获取样本图像，并根据所述样本图像和所述损失函数对所述神经网络模型进行训练；将待处理图像输入训练后的神经网络模型，生成所述待处理图像的超分辨图像。本专利技术实施例的第二方面提供了超分辨图像生成装置，包括：构建模块，用于构建神经网络模型；处理模块，用于根据结构相似性理论中两幅图像之间亮度、对比度和结构的相似关系，建立损失函数；训练模块，用于获取样本图像，并根据所述样本图像和所述损失函数对所述神经网络模型进行训练；生成模块，用于将待处理图像输入训练后的神经网络模型，生成所述待处理图像的超分辨图像。本专利技术实施例的第三方面提供了终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中的超分辨图像生成方法。本专利技术实施例的第四方面提供了计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中的超分辨图像生成方法。本专利技术实施例与现有技术相比存在的有益效果是：根据结构相似性理论中两幅图像之间亮度、对比度和结构的相似关系，建立损失函数，根据样本图像和损失函数对神经网络模型进行训练，将待处理图像输入训练后的神经网络模型，生成待处理图像的超分辨图像，能够实现对待处理图像的超分辨处理。本专利技术实施例将结构相似性理论的思想融入到构造损失函数的过程中，通过改善损失函数来改善超分辨技术，能够帮助提高图像质量，得到更加符合人眼视觉的超分辨图像，使生成的超分辨图像的质量稳定性得到提升。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的同一原始图像的若干个不同失真图像的示意图；图2是本专利技术实施例提供的图像生成方法的实现流程图；图3是本专利技术实施例提供的图像生成方法中对神经网络模型进行训练的实现流程图；图4是本专利技术实施例提供的图像生成方法中对比第二数值与预设阈值的实现流程图；图5是本专利技术实施例提供的图像生成装置的示意图；图6是本专利技术实施例提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。图2为本专利技术实施例提供的图像生成方法的实现流程图，详述如下：在S201中，构建神经网络模型。在本实施例中，利用神经网络模型对图像进行超分辨处理，首先构建出神经网络模型。神经网络模型的类型可以根据需要处理的图像的像素特性进行选择，例如，神经网络模型可以为卷积神经网络模型(例如基于ResNet，FSRCNN，GoogleNet或其他类似模型)、RNN或者LSTM神经网络等，在此不作限定。在S202中，根据结构相似性理论中两幅图像之间亮度、对比度和结构的相似关系，建立损失函数。在本实施例中，结构相似性理论(StructuralSimilarityIndex，SSIM)是一种衡量两幅图像相似度的方法，提出了一种全参考的图像质量评价指标，可以从亮度、对比度、结构三方面度量图像相似性。损失函数(lossfunction)是用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数，损失函数越小，模型的准确度越高。在S203中，获取样本图像，并根据所述样本图像和所述损失函数对所述神经网络模型进行训练。在本实施例中，样本图像为选取的用于训练神经网络模型的图像。根据样本图像和损失函数可以对神经网络模型进行训练，从而对神经网络模型的网络参数进行矫正，提高神经网络模型生成的超分辨图像质量。作为本专利技术的一个实施例，所述样本图像包括原始图像和所述原始图像对应的本文档来自技高网...

【技术保护点】
1.一种图像生成方法，其特征在于，包括：/n构建神经网络模型；/n根据结构相似性理论中两幅图像之间亮度、对比度和结构的相似关系，建立损失函数；/n获取样本图像，并根据所述样本图像和所述损失函数对所述神经网络模型进行训练；/n将待处理图像输入训练后的神经网络模型，生成所述待处理图像的超分辨图像。/n

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：
构建神经网络模型；
根据结构相似性理论中两幅图像之间亮度、对比度和结构的相似关系，建立损失函数；
获取样本图像，并根据所述样本图像和所述损失函数对所述神经网络模型进行训练；
将待处理图像输入训练后的神经网络模型，生成所述待处理图像的超分辨图像。


2.如权利要求1所述的图像生成方法，其特征在于，所述样本图像包括原始图像和所述原始图像对应的低分辨率图像；所述低分辨率图像为将所述原始图像的分辨率降低后得到的图像；所述损失函数为：
Lossnew(A,C)＝-l(A,C)-c(A,C)-s(A,C)
其中，A表示第一图像，C表示第二图像，l(A,C)为第一图像和第二图像之间的亮度对比函数；c(A,C)为第一图像和第二图像之间的对比度对比函数；s(A,C)为第一图像和第二图像之间的结构对比函数；其中第一图像为所述原始图像；第二图像为在训练过程中将所述原始图像对应的低分辨率图像输入所述神经网络模型后，所述神经网络模型输出的图像。


3.如权利要求2所述的图像生成方法，其特征在于，所述亮度对比函数为所述对比度对比函数为所述结构对比函数为
其中，μA为第一图像的像素平均值，μC为第二图像的像素平均值，σA为第一图像的像素标准差，σC为第二图像的像素标准差，σAσC为第一图像和第二图像的像素协方差；K1，K2和K3均为常量。


4.如权利要求2或3任一项所述的图像生成方法，其特征在于，所述根据所述样本图像和所述损失函数对所述神经网络模型进行训练包括：
将所述低分辨率图像输入所述神经网络模型，获取所述神经网络模型输出的第三图像；
根据所述原始图像的图像信息、所述第三图像的图像信息和所述损失函数计算第一数值，所述第一数值为当前神经网络模型对应的损失函数数值；
根据所述第一数值对所述神经网络模型的参数进行调整。


5.如权利要求4所述的图像生成方法，其特征在于，在所述根据所述第一数值对所述神经网络模型的参数进行调整之后，还包括：
将所述低分辨率图像输入调整后的神经网络模型，获取所述神经网络模型输出的第四图像；
根据所述原始图像的图像信息、所述第四图像的图像信息和所述损失函数计算第二数值，所述第二数值为调整后的神经网络模...

【专利技术属性】
技术研发人员：关婧玮，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东;44