一种基于非限制标准模板的图像质量评分方法技术

本申请提供一种基于非限制标准模板的图像质量评分方法，所述方法包括：获取待评分图像及对应的可训练标签，得到评分图像训练集；基于深度神经网络对获取训练集进行训练，得到图像特征提取模型；获取每幅图像对应的非限制标准模板，作为模板参照集；输入图像训练集中每幅图像和其对应的非限制标准模板至特征提取模型中，计算每幅图像与模板的特征距离，获取每幅图像的质量分数，进而基于每幅图像及获取的质量分数回归训练得到质量评分模型；对于待评测图像，输入图像至评分模型得到质量分数。本发明专利技术可以对待评估场景中的图像质量进行评估，获取每幅图像的绝对质量分数，从而提升对应用场景的理解能力。

An image quality scoring method based on unrestricted standard template

【技术实现步骤摘要】
一种基于非限制标准模板的图像质量评分方法
本专利技术涉及图像分析领域，尤其涉及一种基于非限制标准模板的图像质量评分方法。
技术介绍
在图像质量评价领域，传统的方法往往是基于峰值信噪比(PSNR)或结构相似性(SSIM)来进行图像质量评价，然而该类方法在实际应用中与人类直观感受的图像质量相差甚远，难以在复杂场景中进行应用以满足日益复杂的安防要求。对于质量评分方法，传统上一般可分为全参考型方法、部分参考型方法和无参考型方法。全参考型方法一般是指可以获得原始图像和失真图像的全部信息，从而用于计算二者之间的差异，一般用在有损存储领域；部分参考型方法是指可以利用原始图像的部分信息来对失真对象的质量评价，例如网络传输中可以基于原始图像的相关统计信息而进行失真图像质量评价；无参考型方法是指无法获得原始图像信息的情形。从以上方法定义看出，以往的质量评分算法往往是应用在存在数据有损存储/有损传输场景。而在本专利技术中，质量评分的应用范围是通用场景的图像质量评分，例如，在图像分类中场景应用中，高质量图像应该是最容易被模型预测的且符合人眼质量感知的图像，而低质量图像应该是不容易被模型预测的且符合人眼质量感知的图像。随着深度学习技术发展，一些基于无显式参考图像的深度学习质量评分方法被提出来，例如借助生成(GAN等)技术生成高清的疑似标准图像作为参考图像，从而使用待评分图像与疑似标准图像的举例作为质量分数，然而该类方法存在两个方面弱点：1)基于生成技术的高清疑似标准图像质量一般是非稳定的，也即疑似标准图像也会存在质量较低情形，这会造成质量评分的失效；2)该类方法获得的质量分数不一定符合实际应用需求，即这种方法评估的高质量分数不一定满足识别模型的要求；举例来说，在图像分类场景，一张所谓的高质量分数图像不一定有益于图像分类器识别。
技术实现思路
本专利技术的目的是克服现有技术的不足，提供一种基于非限制标准模板的图像质量评分方法。本专利技术的专利技术构思是：获取待评分图像及对应的可训练标签，得到评分图像训练集；基于深度神经网络对获取训练集进行训练，得到图像特征提取模型；获取每幅图像对应的非限制标准模板，作为模板参照集；输入图像训练集中每幅图像和其对应的非限制标准模板至特征提取模型中，计算每幅图像与模板的特征距离，获取每幅图像的质量分数，进而基于每幅图像及获取的质量分数回归训练得到质量评分模型；对于待评测图像，输入图像至评分模型得到质量分数。为实现上述专利技术目的，本专利技术具体采用的技术方案如下：一种基于非限制标准模板的图像质量评分方法，其包括如下步骤：S1：获取待评分图像样本及对应的可训练标签，构建评分特征提取器的训练样本，具体包括：S101：获取用于质量评分的图像集合表示为Ι＝{I1,Ι2,…,ΙN}，其中N为图像集合中样本数目，Ιi表示第i个图像；S102：将图像集合中的所有图像缩放，使具有相同的宽度w和高度h，使用每个像素点的RGB通道值来表示每个像素点，则第i个图像被表示为S103：获取待评分图像集合I中每幅图像对应的可训练标签Y＝{Y1,Y2,…,YN}，对标签类型不进行约束，则第i个图像标签用一个M维向量表示，最终被表示为S104：对于图像特征提取器而言，每个用来训练的样本被表示为二元组(Ii,Yi),i∈{1,…,N}，Yi是图像Ii对应的可训练标签；S2：对已构建的图像训练样本进行训练，得到图像特征提取模型，记作第一模型，具体包括：S201：使用深度神经网络将每幅图像Ii映射到标签空间，即将深度神经网络最后一层输出的k维向量Li作为图像Ii的特征；S202：使用一层全连接神经网络将k维特征向量Li映射为M维，得到预测标签值；S203：构建一个目标函数，使得神经网络预测的标签值与对应图像的真值标签值一致，对训练样本定义的损失函数为：其中，Ρ(Yi|(Ii,θ))是第i个训练样本在给定(Ii,θ)时求解其真值标签Yi时的期望，θ为深度神经网络中所有可学习参数；S204：输入图像样本作为优化问题的训练样本，根据损失函数对深度神经网络进行反向回馈以得到深度神经网络的各层的参数θ，根据学习得到的深度神经网络的参数，提取图像在深度神经网络中各个层次的特征表达，被表示为第一模型；S3：对于待评分的图像，生成其对应的非限制标准模板；S4：将训练样本中每幅图像和其对应的非限制标准模板输入至第一模型中，计算每幅待评分图像与其标准模板的特征距离，记作待评分图像的质量分数；输入每幅待评测图像及获取的质量分数至预设神经网络中进行训练，得到评分模型，记作第二模型，包括，S401：获取步骤S2中已训练的图像特征提取模型，也即第一模型，训练样本中每一幅待评分图像Ij与其对应的非限制标准模板Tj，j∈{1,…,N}；S402：把步骤S3中获取每一幅的待评分图像和生成的非限制标准模板同时输入至第一模型，分别得到待评分图像Ij的k′维向量tjs和非限制标准模板的k′维向量tjr；S403：计算向量tjs与向量tjr之间的特征距离值dj作为该待评分图像的质量分数标签真值；S404：构建一个目标函数，使得预设神经网络预测输出的分值sj与获取的质量分数标签真值dj一致，对训练样本定义的损失函数为：S405：输入待评分图像训练样本及其对应的质量分数标签，根据损失函数对深度神经网络进行反向回馈以得到深度神经网络的各层的参数θ′，记为第二模型；S5：基于获取的第二模型，输入待评分图像至第二模型中，神经网络输出的分数记作该图像的质量分数。基于上述技术方案，本专利技术还可以进一步采用如下优选方式。所述的步骤S203中，Ρ(Yi|(Ii,θ))的表现形式与训练任务场景相关：当进行分类任务时，期望函数Ρ(Yi|(Ii,θ))定义为交叉熵损失，其公式为：Ρ(Yi|(Ii,θ))＝-YilogY′i其中，Yi是标签真值，Y′i是归一化后的预测概率值，此时所述M设定为1；当进行回归任务时，期望函数Ρ(i|(i,))为均方差损失，其公式为：其中：Lim是预测标签的第m维，标签真值的第m维。所述的步骤S3中，非限制标准模板为形式不要求与真实目标完全相同的标准模板。进一步的，所述的待评分图像为车牌图像时，非限制标准模板包括按照国家标准车牌《中华人民共和国公共安全行业标准GA36-2014机动车号牌》生成的车牌图像的标准模板，或者不基于该国家标准而对每张车牌以宋体形式排版作为车牌图像的标准模板。所述的步骤S403中，向量tjs与向量tjr之间的特征距离设定为余弦距离或欧式距离。本专利技术与
技术介绍
相比，具有的有益的效果是：本专利技术针对通用场景的图像质量评分需求提出了一种基于非限制标准模板的图像质量评分方法。该方法从实际应用角度出发，仅仅依赖于非限制的标准模板和对应应用场景的可训练标签进行深度学习模型训练，摆脱了对严格意义上的标准模板的依赖。基于本专利技术，在进行应本文档来自技高网...

【技术保护点】
1.一种基于非限制标准模板的图像质量评分方法，其特征在于，包括如下步骤：/nS1：获取待评分图像样本及对应的可训练标签，构建评分特征提取器的训练样本，具体包括：/nS101：获取用于质量评分的图像集合表示为Ι＝{I

【技术特征摘要】
1.一种基于非限制标准模板的图像质量评分方法，其特征在于，包括如下步骤：
S1：获取待评分图像样本及对应的可训练标签，构建评分特征提取器的训练样本，具体包括：
S101：获取用于质量评分的图像集合表示为Ι＝{I1,Ι2,…,ΙN}，其中N为图像集合中样本数目，Ιi表示第i个图像；
S102：将图像集合中的所有图像缩放，使具有相同的宽度w和高度h，使用每个像素点的RGB通道值来表示每个像素点，则第i个图像被表示为
S103：获取待评分图像集合I中每幅图像对应的可训练标签Y＝{Y1,Y2,…,YN}，对标签类型不进行约束，则第i个图像标签用一个M维向量表示，最终被表示为
S104：对于图像特征提取器而言，每个用来训练的样本被表示为二元组(Ii,Yi),i∈{1,…,N}，Yi是图像Ii对应的可训练标签；
S2：对已构建的图像训练样本进行训练，得到图像特征提取模型，记作第一模型，具体包括：
S201：使用深度神经网络将每幅图像Ii映射到标签空间，即将深度神经网络最后一层输出的k维向量Li作为图像Ii的特征；
S202：使用一层全连接神经网络将k维特征向量Li映射为M维，得到预测标签值；
S203：构建一个目标函数，使得神经网络预测的标签值与对应图像的真值标签值一致，对训练样本定义的损失函数为：



其中，Ρ(Yi|(Ii,θ))是第i个训练样本在给定(Ii,θ)时求解其真值标签Yi时的期望，θ为深度神经网络中所有可学习参数；
S204：输入图像样本作为优化问题的训练样本，根据损失函数对深度神经网络进行反向回馈以得到深度神经网络的各层的参数θ，根据学习得到的深度神经网络的参数，提取图像在深度神经网络中各个层次的特征表达，被表示为第一模型；
S3：对于待评分的图像，生成其对应的非限制标准模板；
S4：将训练样本中每幅图像和其对应的非限制标准模板输入至第一模型中，计算每幅待评分图像与其标准模板的特征距离，记作待评分图像的质量分数；输入每幅待评测图像及获取的质量分数至预设神经网络中进行训练，得到评分模型，记作第二模型，包括，
S401：获取步骤S2中已训练的图像特征提取模型，也即第一模型，训练样本中每一幅待评分图像Ij与其对...

【专利技术属性】
技术研发人员：程战战，卢晶，吴飞，蒲世亮，钮毅，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33