一种图像曝光度无参考质量评价方法技术

一种图像曝光度无参考评价方法：首先建立图像曝光度数据集，数据集中的图像具有不同的曝光等级与相应的曝光度人工评分；其中，基于曝光适宜的高质量图像生成的具有不同曝光等级的合成图像，作为训练集合训练合适的回归神经网络，得到图像曝光度评价模型；对于实地采集的真实图像即测试图像，输入图像曝光度评价模型即可得到测试图像的曝光度客观评价分数。其可较好地克服现有评价方法泛化能力弱的问题，满足实际应用对图像曝光度无参考质量评价的要求，可广泛应用于图像压缩、图像存储、图像通信、图像检测等领域。

A method of no reference quality assessment for image exposure

A non-reference evaluation method for image exposure is proposed. Firstly, an image exposure data set is established. The images in the data set have different exposure levels and corresponding artificial exposure ratings. Regression neural network is used to get the image exposure evaluation model. For the real image that is the test image, the objective evaluation score of the test image can be obtained by inputting the image exposure evaluation model. It can overcome the weak generalization ability of existing evaluation methods and meet the requirement of no reference quality evaluation for image exposure in practical application. It can be widely used in image compression, image storage, image communication, image detection and other fields.

【技术实现步骤摘要】
一种图像曝光度无参考质量评价方法
本专利技术属于图像处理
，涉及图像质量的评测。
技术介绍
曝光是在摄影过程中允许落在摄影介质上的总通光量，而曝光不当往往会降低采集图像的质量，这里的曝光失真被理解为由于曝光不当引起的整体质量下降。在许多工业领域中，一种能够准确地评价图像曝光等级的方法是非常需要的，例如：几乎所有的现代数码相机都能在“自动曝光”模式下工作，当用户使用这种模式拍摄图像时，相机将通过特定的自动曝光算法自动调整相关的硬件参数(如光圈、快门速度、电子增益等)使图像具有适当的曝光水平。显然，为了验证自动曝光算法的性能，一种能够精确评价获得图像的曝光等级的方法是必不可少的。另一个常见的例子是视频监控。对于视频监控来说，照明条件超出了相机的适应能力是很常见的，因此，对采集到的视频的曝光等级进行连续监测以确定其质量是十分必要的。目前，常用的确定图像曝光等级的方法是完全基于摄影师经验，这种方法具有准确、有效等优点，但只能测试有限数量的图像样本，且费时费力，在需要实时检测曝光等级的系统中无法实现。因此，有必要建立一种能够客观地、自动地评价图像曝光等级的方法。实际上，在图像曝光度无参考质量评价领域中，相关算法十分稀少，且均基于一个共同的经验假设，即图像的直方图在某种程度上可以反映图像的曝光等级。在这个假设中，曝光适宜的图像的直方图横跨整个亮度范围，分布较为平滑，而曝光过度与曝光不足的图像的直方图则会分别向亮部和暗部的一边偏移，曝光失真程度越大，偏移越明显。基于这一假设的代表方法有：“M.Liu,P.Yuan,andR.S.Turner,``Automaticanalysisandadjustmentofdigitalimageswithexposureproblems,”USPatent,Sep.2004.”即“曝光图像的自动化分析与校正”：此专利首先提取了图像直方图的三个属性，即中心、质心、以及有效宽度，再通过预先设定的规则确定图像的曝光等级；“M.RychagovandS.Efimov,``Imageprocessingdevicetodetermineimagequalityandmethodthereof,”USPatent,Feb.2007.”即“用于确定图像质量的图像处理装置及其方法”：此专利通过比较图像直方图的均值与预先设定的阈值确定图像的曝光等级；“P.Romaniak,L.Janowski,M.Leszczuk,andZ.Papir,``Anoreferencemetricforthequalityassessmentofvideosaffectedbyexposuredistortion,”inProc.IEEEInt.Conf.Multimedia.Expo.,Jul.2011.”即“曝光度失真视频质量无参考度量算法”此算法首先对图像分块并计算各块的亮度均值，选取均值最大的三个块计算平均亮度作为上界，选取均值最小的三个块计算平均亮度作为下界，那么图像的曝光等级则为上界与下界的均值。尽管这些方法在一定程度上可以反映图像的曝光等级，但由于它们均基于图像直方图假设，因此有一个共同的缺陷——易受图像内容的影响，当图像内容严重影响到图像直方图的分布时，基于图像直方图假设的算法将不再有效。换言之，目前图像曝光度的无参考质量评价方法研究难点在于设计一种具有场景一致性的算法。
技术实现思路
本专利技术的目的在于提供一种基于神经网络的图像曝光度无参考评价方法，其解决了传统图像曝光度度量领域标准数据集缺乏、度量算法易受图像内容影响的缺点，满足实际应用对图像曝光度无参考质量评价方法的要求。为达到上述目的，本专利技术的解决方案是：一种图像曝光度无参考质量评价方法，包括以下步骤：(一)建立图像曝光度数据集，数据集中包含具有不同曝光等级的图像，及其相应的曝光度人工评分，以作为神经网络训练与测试集合：(a)在N_Place种不同的拍摄场景下，对每一个拍摄场景采集N_Expo张具有不同曝光等级的图像，采集得到N_Real(即N_Place与N_Expo的乘积)张具有不同曝光等级的真实图像，其中N_Place种场景具有高场景多样性，涵盖不同的拍摄对象(人物、植物、动物、人造物等)、不同的时间节点(早晨、中午、下午、晚上等)、不同的光照条件、以及不同的拍摄距离；(b)从网络上收集M_Origin张曝光度适宜的高质量图像，选取其中M_Select张作为源图像，设定M_Expo种曝光等级，通过合成图像生成模型得到M_Syn(即M_Select与M_Expo的乘积张具有不同曝光等级的合成图像，其中M_Select张源图像具有高场景多样性，涵盖四种常见图像内容类型，即人物、植物、动物、人造物；(c)在单刺激法的实验设置下，通过人工主观评价，对N_Real张具有不同曝光等级的真实图像、M_Syn张具有不同曝光等级的合成图像进行曝光度评价，再通过评分后处理得到最终的图像曝光度人工评分；(二)训练通用神经网络得到图像曝光度评分模型：(I)选择高效的神经网络模型(GoogLeNet、ResNet、DenseNet、ShuffleNet)改写成为回归模型，记为IEMNN，其中“NN”代指具体的网络模型，改写后的模型损失函数为：其中W为网络权重，λ为正则项参数，Ij与sj分别为第j个训练图像及其曝光度评分，‖W‖F返回W的Frobenius范数，N为训练图像集合的个数；(II)使用M_Syn张合成图像及其曝光度评分作为训练图像集合，得到图像曝光度评价模型；(三)对于任意测试图像，输入图像曝光度评价模型，即可得到最终图像曝光度客观评价分数；使用N_Real张真实图像及其曝光度评分作为测试图像集合，即可验证图像曝光度评价模型的有效性。步骤(一)中，(1)在N_Place个场景下采集N_Expo张具有不同曝光等级图像，最终得到N_Real即N_Place×N_Expo张具有不同曝光等级的真实图像的步骤如下：(1-1)选择具有曝光等级调节功能的拍照设备作为采集设备，设计具有高场景多样性的采集方案，其中采集场景数N_Place≥200；(1-2)在N_Place个不同场景下，采用以下3种不同策略，对每个场景选取相同的N_Expo种曝光策略设置用以采集N_Expo张具有不同曝光等级的图像，其中N_Expo≥3，以至少包括一种曝光适宜情况、一种曝光过度情况和一种曝光不足情况：(1-2-1)通过扩大或缩小光圈，控制固定时间片段内采集设备的通光量，光圈越大通光量越大，图像曝光过度的可能性越大；(1-2-2)通过改变光信号模型即感光度，控制采集设备对光线的感知程度，感光度越高光线越亮，图像曝光过度的可能性越大；(1-2-3)通过改变曝光时间，控制采集设备通光的时间片段长短，曝光时间越长通光量越大，图像曝光过度的可能性越大；步骤(一)中，(2)通过合成图像生成模型得到M_Syn张具有不同曝光等级的合成图像的步骤如下：(2-1)由P_Coll名志愿者分别从网络上收集I_Coll张高质量图像，涵盖四种常见图像内容类型，即人物、植物、动物、以及人造物，其中P_Coll≥4，I_Coll≥1000；(2-2)由P_Select名志愿者对这M_Origin(即P_Col本文档来自技高网...

【技术保护点】
1.一种图像曝光度无参考质量评价方法，其特征在于，包括以下步骤：(一)建立图像曝光度数据集，数据集中包含具有不同曝光等级的图像，及其相应的曝光度人工评分，以作为神经网络训练与测试集合：(a)在N_Place种不同的拍摄场景下，对每一个拍摄场景采集N_Expo张具有不同曝光等级的图像，采集得到N_Real张具有不同曝光等级的真实图像；其中N_Real的数值为N_Place与N_Expo的乘积，即N_Real＝N_Place×N_Expo；(b)从网络上收集M_Origin张曝光度适宜的高质量图像，选取其中M_Select张作为源图像，设定M_Expo种曝光等级，通过合成图像生成模型得到M_Syn即M_Select×M_Expo张具有不同曝光等级的合成图像；(c)在单刺激法的实验设置下，通过人工主观评价，对N_Real张具有不同曝光等级的真实图像、M_Syn张具有不同曝光等级的合成图像进行曝光度评价，再通过评分后处理得到最终的图像曝光度人工评分；(二)训练通用神经网络得到图像曝光度评分模型：(I)选择神经网络模型改写成为回归模型，记为IEMNN，其中“NN”代指具体的网络模型，改写后的模型损失函数为：...

【技术特征摘要】
1.一种图像曝光度无参考质量评价方法，其特征在于，包括以下步骤：(一)建立图像曝光度数据集，数据集中包含具有不同曝光等级的图像，及其相应的曝光度人工评分，以作为神经网络训练与测试集合：(a)在N_Place种不同的拍摄场景下，对每一个拍摄场景采集N_Expo张具有不同曝光等级的图像，采集得到N_Real张具有不同曝光等级的真实图像；其中N_Real的数值为N_Place与N_Expo的乘积，即N_Real＝N_Place×N_Expo；(b)从网络上收集M_Origin张曝光度适宜的高质量图像，选取其中M_Select张作为源图像，设定M_Expo种曝光等级，通过合成图像生成模型得到M_Syn即M_Select×M_Expo张具有不同曝光等级的合成图像；(c)在单刺激法的实验设置下，通过人工主观评价，对N_Real张具有不同曝光等级的真实图像、M_Syn张具有不同曝光等级的合成图像进行曝光度评价，再通过评分后处理得到最终的图像曝光度人工评分；(二)训练通用神经网络得到图像曝光度评分模型：(I)选择神经网络模型改写成为回归模型，记为IEMNN，其中“NN”代指具体的网络模型，改写后的模型损失函数为：其中W为网络权重，λ为正则项参数，Ij与sj分别为第j个训练图像及其曝光度评分，‖W‖F返回W的Frobenius范数，N为训练图像集合的个数；(II)使用M_Syn张合成图像及其曝光度评分作为训练图像集合，得到图像曝光度评价模型；(三)对于任意测试图像，输入图像曝光度评价模型，即可得到最终图像曝光度客观评价分数；使用N_Real张真实图像及其曝光度评分作为测试图像集合，即可验证图像曝光度评价模型的有效性。2.根据权利要求1所述的图像曝光度无参考质量评价方法，其特征在于：其中N_Place种场景具有高场景多样性，涵盖不同的拍摄对象、不同的时间节点、不同的光照条件以及不同的拍摄距离。3.根据权利要求1所述的图像曝光度无参考质量评价方法，其特征在于：其中M_Select张源图像具有高场景多样性，涵盖四种常见图像内容类型，即人物、植物、动物、人造物。4.根据权利要求1所述的图像曝光度无参考质量评价方法，其特征在于：所述神经网络模型包括GoogLeNet、ResNet、DenseNet、ShuffleNet。5.根据权利要求1所述的图像曝光度无参考质量评价方法，其特征在于：步骤(一)中，(1)在N_Place个场景下采集N_Expo张具有不同曝光等级图像，最终得到N_Real张具有不同曝光等级的真实图像的步骤如下：(1-1)选择具有曝光等级调节功能的拍照设备作为采集设备，设计具有高场景多样性的采集方案，其中采集场景数N_Place≥200；(1-2)在N_Place个不同场景下，采用不同策略，对每个场景选取相同的N_Expo种曝光策略设置用以采集N_Expo张具有不同曝光等级的图像，其中N_Expo≥3以至少包括一种曝光适宜情况、一种曝光过度情况和一种曝光不足情况。6.根据权利要求5所述的图像曝光度无参考质量评价方法，其特征在于，所述不同策略包括：(1-2-1)通过扩大或缩小光圈，控制固定时间片段内采集设备的通光量，光圈越大通光量越大，图像曝光过度的可能性越大；(1-2-2)通过改变光信号模型即感光度，控制采集设备对光线的感知程度，感光度越高光线越亮，图像曝光过度的可能性越大；(1-2-3)通过改变曝光时间，控制采集设备通光的时间片段长短，曝光时间越长通光量越大，图像曝光过度的可能性越大。7.根据权利要求1所述的图像曝光度无参考质量评价方法，其特征在于：步骤(一)中，(2)通过合成图像生成模型得到M_Syn张具有不同曝光等级的合成图像的步骤如下：(2-1)由P_Coll名志愿者分别从网络上收集I_Coll张高质量图像，涵盖四种常见图像内容类型，即人物、植物、动物、以及人造物，其中P_Coll≥4，I_Coll≥1000；(2-2)由P_Select名志愿者对这M_Origin即P_Coll×I_Coll张高质量图像进行曝光等级检查，保留其中得到P_Agree名及以上志愿者鉴定为曝光适宜的高质量图像，最终得到M_Select张曝光适宜的...

【专利技术属性】
技术研发人员：张林，张荔郡，刘潇，沈莹，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31