一种风格迁移图像质量评价方法技术

本发明专利技术公开了一种风格迁移图像质量评价方法，其将内容和结果图像输入到内容保持质量预测网络中进行训练，输出内容保持质量分数和内容保持权重向量，得到内容保持质量预测网络训练模型；将风格和结果图像输入到风格相似质量预测网络中进行训练，输出风格相似质量分数和风格相似权重向量，得到风格相似质量预测网络训练模型；将内容保持质量分数和权重向量、风格相似质量分数和权重向量同时输入到整体视觉质量预测网络中进行训练，输出整体视觉质量分数，得到整体视觉质量预测网络训练模型；测试时利用三个训练模型获得结果图像的内容保持质量分数、风格相似质量分数和整体视觉质量分数；优点是提高了客观评价结果与人类主观感知结果的一致性。感知结果的一致性。感知结果的一致性。

【技术实现步骤摘要】
一种风格迁移图像质量评价方法


[0001]本专利技术涉及一种图像质量评价技术，尤其是涉及一种风格迁移图像质量评价方法。

技术介绍

[0002]图像任意风格迁移是文艺产业与计算机视觉交叉领域的一个有趣而实用的研究内容，它致力于在输入的内容图像上应用任意类型的艺术风格信息来创造一幅新颖的艺术绘画。作为一种独特的艺术绘画创作技术，图像任意风格迁移技术在许多计算机视觉和图像处理任务中越来越流行，如图像超分辨率、时尚图像处理和生成式对抗性学习。
[0003]在过去的几年里，得益于深度学习技术的进步，图像任意风格迁移领域取得了显著的进展。然而，由于评价规则的复杂性和主观偏好的多样性，因此有关如何准确、客观地评价不同风格迁移算法生成的结果图像质量的研究仍然缺乏。据调查了解，除了少数定量指标外，几乎所有的研究都集中在通过大规模用户研究来评估任意风格迁移图像的质量，但是，这些大规模的用户研究是不切实际的，因为它们的成本很昂贵，需要大量的人力和时间。此外，一些研究人员致力于测量某些特定的属性以进行定量比较，如运行速度、内存占用和操作控制等，然而，这些特定的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风格迁移图像质量评价方法，其特征在于包括以下步骤：步骤1：构建三个深度神经网络：第1个深度神经网络是内容保持质量预测网络，其提取内容图像和结果图像各自的特征，然后对内容图像的特征和结果图像的特征进行特征融合，再根据融合特征获得用于衡量内容图像与结果图像之间的结构内容相似性的内容保持质量分数和用于平衡内容保持度在整体视觉中的重要性的内容保持权重向量；第2个深度神经网络是风格相似质量预测网络，其提取风格图像和结果图像各自的特征，然后对风格图像的特征和结果图像的特征进行特征融合，再根据融合特征获得用于衡量风格图像与结果图像之间的风格样式相似性的风格相似质量分数和用于平衡风格相似度在整体视觉中的重要性的风格相似权重向量；第3个深度神经网络是整体视觉质量预测网络，其操纵内容保持权重向量生成内容保持自适应权重值，并操作风格相似权重向量生成风格相似自适应权重值，然后根据内容保持自适应权重值和风格相似自适应权重值将内容保持质量分数和风格相似质量分数融合成结果图像的整体视觉质量分数；步骤2：选取不同的N1对风格图像和内容图像；然后利用N2种风格迁移算法对每对风格图像和内容图像进行处理，生成N2幅不同的结果图像；再将每对风格图像和内容图像与对应的一幅结果图像组成一个图像组，每对风格图像和内容图像对应有N2个图像组，N1对风格图像和内容图像对应有共N1×
N2个图像组；接着采用图像裁剪技术对每个图像组中的风格图像、内容图像和结果图像进行取子块处理，每幅图像中随机取25个子块且每个子块的尺寸为224
×
224，任一个图像组中的风格图像、内容图像和结果图像中的子块的位置一一对应；之后采用具有一定发生概率的图像翻转技术对每个图像组中的风格图像、内容图像和结果图像各自中的每个子块进行处理，将风格图像中的每个子块经图像翻转技术操作后得到的结果作为一幅224
×
224风格图像，将内容图像中的每个子块经图像翻转技术操作后得到的结果作为一幅224
×
224内容图像，将结果图像中的每个子块经图像翻转技术操作后得到的结果作为一幅224
×
224结果图像；最后将N1×
N2×
25对224
×
224风格图像、224
×
224内容图像、224
×
224结果图像构成训练数据集，并使训练数据集中的每幅224
×
224风格图像被赋予其所在的原始的风格图像相同的主观分数、每幅224
×
224内容图像被赋予其所在的原始的内容图像相同的主观分数、每幅224
×
224结果图像被赋予其所在的原始的结果图像相同的主观分数；其中，N1≥1，N2≥1；步骤3：将训练数据集中的每对224
×
224风格图像、224
×
224内容图像、224
×
224结果图像中的224
×
224内容图像和224
×
224结果图像分别作为第一RGB图像，输入到内容保持质量预测网络中进行训练；其中，在一轮网络训练结束前计算内容保持质量预测网络的损失函数值，记为Loss
CP
，然后采用反向传播算法通过Adam优化器，逐层计算Loss
CP
对于每层网络层中的每个神经元权重的偏导数，并使用梯度下降算法对每层网络层中的每个神经元权重进行更新，对预训练过的网络层设置2
×
10
‑5的学习率，对没有预训练过的网络层设置2
×
10
‑4的学习率；将训练数据集中的每对224
×
224风格图像、224
×
224内容图像、224
×
224结果图像中的224
×
224风格图像和224
×
224结果图像分别作为第二RGB图像，输入到风格相似质量预测网络中进行训练；其中，在一轮网络训练结束前计算风格相似质量预测网络的损失函数
值，记为Loss
SR
，然后采用反向传播算法通过Adam优化器，逐层计算Loss
SR
对于每层网络层中的每个神经元权重的偏导数，并使用梯度下降算法对每层网络层中的每个神经元权重进行更新，对预训练过的网络层设置2
×
10
‑5的学习率，对没有预训练过的网络层设置2
×
10
‑4的学习率；上述，1≤n≤N1×
N2×
25，符号“|| ||
1”表示求取元素的L1范数，表示训练数据集中的第n对224
×
224风格图像、224
×
224内容图像、224
×
224结果图像中的224
×
224内容图像的标签值即主观分数，表示训练数据集中的第n对224
×
224风格图像、224
×
224内容图像、224
×
224结果图像中的224
×
224内容图像和224
×
224结果图像输入到内容保持质量预测网络中后输出的内容保持质量分数，表示训练数据集中的第n对224
×
224风格图像、224
×
224内容图像、224
×
224结果图像中的224
×
224风格图像的标签值即主观分数，表示训练数据集中的第n对224
×
224风格图像、224
×
224内容图像、224
×
224结果图像中的224
×
224风格图像和224
×
224结果图像输入到风格相似质量预测网络中后输出的风格相似质量分数；步骤4：重复执行步骤3，总共运行15轮网络训练，其中，每过5轮网络训练就将设置的学习率增大10倍；在15轮网络训练结束后训练得到内容保持质量预测网络训练模型和风格相似质量预测网络训练模型，并保存内容保持质量预测网络训练模型和风格相似质量预测网络训练模型；步骤5：将训练数据集中的每对224
×
224风格图像、224
×
224内容图像、224
×
224结果图像中的224
×
224内容图像和224
×
224结果图像分别作为第一RGB图像，输入到内容保持质量预测网络训练模型中，内容保持质量预测网络训练模型输出对应的内容保持质量分数和内容保持权重向量；将训练数据集中的每对224
×
224风格图像、224
×
224内容图像、224
×
224结果图像中的224
×
224风格图像和224
×
224结果图像分别作为第二RGB图像，输入到风格相似质量预测网络训练模型中，风格相似质量预测网络训练模型输出对应的风格相似质量分数和风格相似权重向量；步骤6：将训练数据集中的每对224
×
224风格图像、224
×
224内容图像、224
×
224结果图像中的224
×
224风格图像作为第三RGB图像，然后将第三RGB图像及内容保持质量预测网络训练模型输出的对应的内容保持质量分数和内容保持权重向量和风格相似质量预测网络训练模型输出的对应的风格相似质量分数和风格相似权重向量输入到整体视觉质量预测网络中进行训练；其中，在一轮网络训练结束前计算整体视觉质量预测网络的损失函数值，记为Loss
OV
，然后采用反向传播算法通过Adam优化器，微调步骤4中保存的内容保持质量预测网络训练模型和风格相似质量预测网络训练模型中的参数，逐层计算Loss
OV
对于每层网络层中的每个神经元权重的偏导数，并使用梯度下降算法对每层网络层中的每个神经元权重进行更新，对预训练过的网络层设置2
×
10
‑5的学习率，对没有预训练过的网络层设置2
×
10
‑4的学习率；上述，表示训练数据集中的第n对224
×
224风格图像、224
×
224内容图像、224
×
224
结果图像中的224
×
224结果图像的标签值即主观分数，表示训练数据集中的第n对224
×
224风格图像、224
×
224内容图像、224
×
224结果图像中的224
×
224风格图像及内容保持质量预测网络训练模型输出的第n对对应的内容保持质量分数和内容保持权重向量和风格相似质量预测网络训练模型输出的第n对对应的风格相似质量分数和风格相似权重向量输入到整体视觉质量预测网络中后输出的整体视觉质量分数；步骤7：重复执行步骤6，总共运行15轮网络训练，其中，每过5轮网络训练就将设置的学习率增大10倍；在15轮网络训练结束后训练得到整体视觉质量预测网络训练模型；步骤8：选取任意一对风格图像、内容图像和结果图像作为待测试的评价图像；然后将内容图像和结果图像输入到未微调过参数的内容保持质量预测网络训练模型中，内容保持质量预测网络训练模型输出结果图像的内容保持质量分数；将风格图像和结果图像输入到未微调过参数的风格相似质量预测网络训练模型中，风格相似质量预测网络训练模型输出结果图像的风格相似质量分数；将内容图像和结果图像输入到微调过参数的内容保持质量预测网络训练模型中，将风格图像和结果图像输入到微调过参数的风格相似质量预测网络训练模型中，将风格图像输入到整体视觉质量预测网络训练模型中，整体视觉质量预测网络训练模型输出结果图像的整体视觉质量分数；其中，待测试的评价图像的尺寸为224
×
224。2.根据权利要求1所述的一种风格迁移图像质量评价方法，其特征在于所述的步骤1中，内容保持质量预测网络包含第一特征提取模块、第一特征融合模块、第一特征回归模块；其中，第一特征提取模块主要由第1个ResNet50网络、第1个卷积层至第8个卷积层、第1个ReLU层至第4个ReLU层、第1个最大池化层、第1个上采样层、第1个SoftMax层组成；第1个ResNet50网络的输入端接收一幅大小为H
×
W的第一RGB图像的R、G、B三个通道，第一RGB图像为内容图像或结果图像，第1个ResNet50网络的第一层的输出端输出第一RGB图像的第一特征图，并记为FC1，第1个ResNet50网络的第二层的输出端输出第一RGB图像的第二特征图，并记为FC2，第1个ResNet50网络的第三层的输出端输出第一RGB图像的第三特征图，并记为FC3；第1个卷积层的输入端接收FC1，FC1依次通过第1个卷积层、第1个ReLU层和第1个最大池化层的处理，将第1个最大池化层的输出端输出的特征图记为FC4；第2个卷积层的输入端接收FC2，FC2依次通过第2个卷积层和第2个ReLU层的处理，将第2个ReLU层的输出端输出的特征图记为FC5；第3个卷积层的输入端接收FC3，FC3依次通过第3个卷积层、第3个ReLU层和第1个上采样层的处理，将第1个上采样层的输出端输出的特征图记为FC6；对FC4、FC5和FC6在通道维度上进行连接操作，第4个卷积层的输入端接收连接操作得到的结果，连接操作得到的结果依次通过第4个卷积层和第4个ReLU层的处理，将第4个ReLU层的输出端输出的特征图记为FC7；第7个卷积层的输入端接收FC7，将第7个卷积层的输出端输出的特征图记为FC8；对FC7进行Whiten操作，第5个卷积层的输入端和第6个卷积层的输入端分别接收Whiten操作得到的结果，将第5个卷积层的输出端输出的特征图记为FC9，将第6个卷积层的输出端输出的特征图记为FC
10
；对FC9和FC
10
进行元素相乘操作，第1个SoftMax层的输入端接收FC9和FC
10
元素相乘操作得到的结果，将第1个SoftMax层的输出端输出的特征图记为FC
11
；对FC8和FC
11
进行元素相乘操作，再对FC8和FC
11
元素相乘操作得到的结果和FC7进行元素相加操作，将元素相加操作得到的结果记为FC
12
；第8个卷积层的输入端接收FC
12
，当第一RGB
图像为内容图像时将第8个卷积层的输出端输出的特征图记为当第一RGB图像为结果图像时将第8个卷积层的输出端输出的特征图记为其中，第1个卷积层至第8个卷积层均为2D卷积层，第1个卷积层的输入尺寸为输出尺寸为卷积核大小为1
×
1、滑动步长为1、自动填充为0，第2个卷积层的输入尺寸为输出尺寸为卷积核大小为1
×
1、滑动步长为1、自动填充为0，第3个卷积层的输入尺寸为输出尺寸为卷积核大小为1
×
1、滑动步长为1、自动填充为0，第4个卷积层的输入尺寸为输出尺寸为卷积核大小为1
×
1、滑动步长为1、自动填充为0，第5个卷积层的输入尺寸为输出尺寸为卷积核大小为1
×
1、滑动步长为1、自动填充为0，第6个卷积层的输入尺寸为输出尺寸为卷积核大小为1
×
1、滑动步长为1、自动填充为0，第7个卷积层的输入尺寸为输出尺寸为卷积核大小为1
×
1、滑动步长为1、自动填充为0，第8个卷积层的输入尺寸为输出尺寸为卷积核大小为1
×
1、滑动步长为1、自动填充为0，第1个最大池化层的输入尺寸为输出尺寸为卷积核大小为2
×
2、滑动步长为2、自...

【专利技术属性】
技术研发人员：陈航威，邵枫，
申请(专利权)人：宁波大学，
类型：发明
国别省市：