基于层级特征融合网络的无参考图像质量评价方法技术

本发明专利技术公开了一种基于层级特征融合网络的无参考图像质量评价方法，主要解决现有技术精度低、速度慢的问题。其实现方案是：1.从MSCOCO数据集挑选参考图像并通过添加噪声建立污染图像数据库；2.对训练集图像和测试集图像同时进行去均值与裁剪；3.根据人类视觉系统从局部特征到全局语义的分层次处理机制，设计一个进行端到端联合优化的层级特征融合网络模型；4.利用训练集和测试集对层级特征融合网络模型进行训练；5.对待评测图像进行去均值与裁剪处理，将处理后的图像输入训练好的层级特征融合网络模型，获得图像质量预测分值；本发明专利技术极大地提高了无参考质量评价的精度与速度，可用于图像筛选、压缩、视频质量监控。

Reference-free image quality evaluation method based on hierarchical feature fusion network

The invention discloses a reference-free image quality evaluation method based on hierarchical feature fusion network, which mainly solves the problems of low precision and slow speed of the existing technology. The implementation schemes are as follows: 1. Selecting reference images from MSCOCO datasets and building contaminated image databases by adding noise; 2. Designing and clipping training set images and test set images simultaneously; 3. Designing a hierarchical feature fusion network model for end-to-end joint optimization based on the hierarchical processing mechanism of human visual system from local features to global semantics; 4. Utilizing the network model to achieve end-to-end joint optimization; The training set and the test set train the hierarchical feature fusion network model; 5. The evaluation image is de-averaged and clipped, and the processed image is input into the trained hierarchical feature fusion network model to obtain the image quality prediction score; the present invention greatly improves the accuracy and speed of the non-reference quality evaluation, and can be used for image screening, compression and video quality monitoring.

【技术实现步骤摘要】
基于层级特征融合网络的无参考图像质量评价方法
本专利技术属于图像处理
，特别涉及无参考图像质量评价方法，可以用于图像筛选、压缩、视频质量监控。技术背景随着互联网和手机终端的兴起，每天都会产生海量的图像和视频数据。但令人遗憾的是，在图像与视频生成、处理、传输和存储阶段，都会不可避免的产生各种各样的失真，因此自动评价图像质量变得不可或缺。主观质量评价也就应运而生并且在图像视频领域得到了广泛应用。在过去的十年里，出现了各种各样的性能优越的图像质量评价算法，根据参考图像是否可获得，将这些算法分为三种：全参考图像质量评价算法，部分参考图像质量评价算法，无参考图像质量评价算法。全参考质量评价算法需要参考原始图像的全部信息，部分参考质量评价算法仅需参考部分图像信息。但是在实际情况中，无论是无人机拍摄的图像还是监控设备拍摄的图像，参考图像都是无从获得的，所以前两种算法对实际应用提出了很大挑战。基于参考图像难以获得这个问题，不需要任何原始图像信息的无参考质量评价开始兴起并逐渐成为热门研究方向。从特征提取的角度出发，早期的无参考质量评价主要针对某几种噪声类型，例如块状噪声和模糊噪声来构建特征，或者是在空域和DCT域提取自然场景统计NSS特征。特征提取后，再利用支持向量机SVR将这些特征回归得到质量分数。但是，这些方法很难设计能充分表征图像质量衰减的特征。随着CNN的广泛应用，最近几年出现了很多基于CNN的无参考图像质量评价算法。Bosse等人在文章“Deepneuralnetworksforno-referenceandfull-referenceimagequalityassessment”中提出用十个卷积层和五个池化层进行特征提取，然后用两层全连接层回归得到质量分数。Ma等人在文章“End-to-endblindimagequalityassessmentusingdeepneuralnetworks”中提出了多任务网络：一个污染类型判别网络首先判断输入图像的污染类型，一个质量预测网络为图像进行质量评估。虽然这些方法是端到端的网络，但是他们只利用最后一层的输出作为特征表征来进行质量预测。神经系统科学研究学者表明，在人类视觉系统HVS中视觉识别也是层次化的过程，因此在进行质量评价时，不同级别的层级质量衰减也应考虑。Wu等人在文章“Hierarchicalfeaturedegradationbasedblindimagequalityassessment”中提出将底层局部结构特征与Resnet提取的高层语义特征相结合，然后使用SVR将合并后的特征映射成最终的质量分数。但是这类算法因为特征提取与质量预测是分离的，所以不能进行联合优化，大大降低了网络效率。这些网络虽然取得了很大的成功，但是仍然有弊端：1)端到端的网络虽然特征提取和质量预测能进行联合优化，但是他们只利用最后一层进行质量预测，并没有考虑不同层级的质量衰减；2)结合不同层级质量衰减的网络虽然考虑了不同层会带来不同的质量衰减，但特征提取和质量预测是分离的，并不能进行联合优化。这些不足会影响质量评价的精准度与速度，限制了实际应用。
技术实现思路
本专利技术目的在于针对上述现有技术的不足，提出一种基于层级特征融合网络的无参考图像质量评价方法，以提高质量评价的精度，加快网络运行速度。为实现上述目的，本专利技术的技术方案包括如下：(1)从MSCOCO数据集挑选参考图像并通过添加噪声建立污染图像数据库，将数据库样本随机分为两份，其中80％的污染图用于训练，20％的污染图用于测试；(2)对训练集图像与测试集图像同时进行去均值与裁剪，得到样本中心点在原点而且图像尺寸一致的训练集与测试集；(3)根据人类视觉系统从局部特征到全局语义的分层次处理机制，设计一个进行端到端联合优化的层级特征融合网络模型；(4)利用步骤(2)得到的训练集和测试集对步骤(3)设计的层级特征融合网络模型进行训练，得到训练好的层级特征融合网络模型；(5)对待评测图像进行去均值与裁剪处理，将处理后的图像输入到步骤(4)中得到的训练好的层级特征融合网络模型，获得图像质量预测分值。本专利技术与现有技术相比，具有如下优点：1.本专利技术由于采用一个轻量级的层级特征融合网络，参数量远远少于其他质量评价网络，不仅提高了精度，而且运行速度快。2.本专利技术受人类视觉系统分层次处理机制的启发，设计出的层级特征融合网络能从多个级别衡量图像质量的衰减；3.本专利技术能从多个级别衡量图像质量的衰减的同时，又能对特征提取与质量评价进行联合优化，扩展了无参考质量评价的思路。附图说明图1是本专利技术的实现流程图。图2是本专利技术中构建的层级特征融合网络整体结构图。具体实施方式以下结合附图对本专利技术做进一步详细描述。参照图1，本专利技术的实现步骤如下：步骤1，构建并划分污染图像数据库。(1a)从MSCOCO数据集挑选一万张高清无污染图作为参考图像；(1b)对这些参考图像添加噪声，共产生一百万张污染图像；(1c)用全参考算法为每张污染图像添加质量值，并采用如下映射函数将每张的质量值范围统一到(0～10)：其中，Qs是全参考算法预测的质量分值，Q是归一化后的质量分数，{β1,β2,β3,β4,β5}是待拟合的参数；(1d)将步骤(1c)质量值统一后的数据库样本随机分为两份，其中80％的污染图用于训练，20％的污染图用于测试。步骤2，训练集和测试集样本进行预处理。(2a)统计训练样本的所有像素均值；(2b)从训练集和测试集中的图像像素值中同时减去该均值；(2c)将去均值后的训练集与测试集中的图像都随机裁剪为300*300*3大小的图像。步骤3，搭建层级特征融合网络模型。人感知图像是一个从局部特征到全局语义的感受过程，根据人类视觉系统这种分层次的处理机制，本专利技术设计了一个层级特征融合网络模型，参照图2，本步骤建立的层级特征融合网络模型包括：级联网络、侧向下采样网络和回归网络。各网络设置如下：所述级联网络，其包含输入层，10个特征提取卷积层和五个池化层，该输入层为300*300*3大小的图像；这些特征提取卷积层用于从底层到高层的层级特征提取，得到层级特征，每个特征提取卷积层卷积核大小为3*3，步长为1*1；这些池化层用于对特征提取卷积层提取的层级特征进行降维，每个池化层的卷积核大小与步长都为2*2；所述侧向下采样网络，其由6个特征下采样卷积层组成，用于对所述级联网络得到的层级特征下采样，将特征降到同一尺度，并得到4个特征向量；每个特征下采样卷积层的卷积核大小为3*3，步长为2*2；所述回归网络，其由五个子回归网络和输出层组成，这些子回归网络用于对所述侧向下采样网络得到的特征向量进行回归，五个子回归网络中的FC-1-1，……，FC-4-1组成前四个子回归网络，维度分别为{64,64,64,64}，最后一个子回归网络由两个全连接层FC-5-1，FC-5-2组成，FC-5-1维度为100，FC-5-2维度为1。前四个子回归网络FC-1-1，……，FC-4-1分别将侧向下采样网络得到的4个特征向量回归得到四个质量分数Q1，……，Q4，这四个质量分数的作用是辅助损失函数Lδ(q)进行误差计算，最后一个子回归网络用于将侧向下采样网络得到的4个特征向量所连接成的256维特征向量进行回归，本文档来自技高网...

【技术保护点】
1.一种基于层级特征融合网络的无参考质量评价方法，其实现包括如下：(1)从MSCOCO数据集挑选参考图像并通过添加噪声建立污染图像数据库，将数据库样本随机分为两份，其中80％的污染图用于训练，20％的污染图用于测试；(2)对训练集图像与测试集图像同时进行去均值与裁剪，得到样本中心点在原点而且图像尺寸一致的训练集与测试集；(3)根据人类视觉系统从局部特征到全局语义的分层次处理机制，设计一个进行端到端联合优化的层级特征融合网络模型；(4)利用步骤(2)得到的训练集和测试集对步骤(3)设计的层级特征融合网络模型进行训练，得到训练好的层级特征融合网络模型；(5)对待评测图像进行去均值与裁剪处理，将处理后的图像输入到步骤(4)中得到的训练好的层级特征融合网络模型，获得图像质量预测分值。

【技术特征摘要】
1.一种基于层级特征融合网络的无参考质量评价方法，其实现包括如下：(1)从MSCOCO数据集挑选参考图像并通过添加噪声建立污染图像数据库，将数据库样本随机分为两份，其中80％的污染图用于训练，20％的污染图用于测试；(2)对训练集图像与测试集图像同时进行去均值与裁剪，得到样本中心点在原点而且图像尺寸一致的训练集与测试集；(3)根据人类视觉系统从局部特征到全局语义的分层次处理机制，设计一个进行端到端联合优化的层级特征融合网络模型；(4)利用步骤(2)得到的训练集和测试集对步骤(3)设计的层级特征融合网络模型进行训练，得到训练好的层级特征融合网络模型；(5)对待评测图像进行去均值与裁剪处理，将处理后的图像输入到步骤(4)中得到的训练好的层级特征融合网络模型，获得图像质量预测分值。2.根据权利要求1所述的方法，其中步骤(1)从MSCOCO数据集挑选参考图像并通过添加噪声建立污染图像数据库，按如下步骤进行：(1a)从MSCOCO数据集挑选一万张高清无污染图作为参考图像；(1b)对这些参考图像添加噪声，共产生一百万张污染图像；(1c)用全参考算法为每张污染图像添加质量值，并采用映射函数对每张的质量值范围进行统一，得到污染图像数据库。3.根据权利要求1所述的方法，其中步骤(2)对训练集图像和测试集图像同时进行去均值与裁剪，其实现如下：(2a)统计训练样本的所有像素均值；(2b)从训练集和测试集中的图像像素值中同时减去该均值；(2c)将去均值后的训练集与测试集中的图像都随机裁剪为300*...

【专利技术属性】
技术研发人员：吴金建，梁富虎，马居坡，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61