【技术实现步骤摘要】
本专利技术涉及图像质量处理，尤其涉及一种基于多层次特征复用的图像质量评价方法及系统。
技术介绍
1、随着第五代通信技术的发展，数字图像等信息呈现出爆炸性增长。然而，由于获取方式的差异，图像的质量参差不齐[1]。在这样的背景下，图像质量评价(image qualityassessment，iqa)变得尤为重要。良好的iqa方法与策略，能筛选出更为优质的图像信息，从而为5g时代提供更为优质的视觉体验。
2、根据参考信息的可用性，图像质量评价可以分为全参考(fr-iqa)，半参考(rr-iqa)和无参考(nr-iqa)[2]。实际应用中，通常无法获得参考信息。因此，nr-iqa的应用更加广泛。它旨在不凭借任何参考信息，直接提供与人主观感知一致的质量评价，是当前iqa领域研究的热门方向。
3、随着机器学习的发展，学者尝试在iqa领域引入深度学习方法。由于卷积神经网络(cnn)等网络强大的特征提取能力，基于深度学习的nr-iqa方法已经取得了长足的进步。比较有代表性的有基于分类任务和回归模型的cnniqa[3]、cnniqa++[4]和deepbiq[5]方法，通过cnn进行特征提取，预测出图像失真类型，并依据失真类型回归得到质量分数。
4、考虑到失真类型的复杂性，后续的deepiqa方法大多摒弃了对失真类型的预测，转为直接通过特征提取和线性回归得到图像质量分数。例如wadiqam[6]，通过训练fr-iqa模型，并将参数共享到nr-iqa模型，进一步迁移学习得到无参考质量评价。此外wadiqam等方法
5、虽然cnn能够多层次提取出丰富的图像特征，但由于cnn提取的特征图(featuremap)具有高度的相似性，以及较为匮乏的可解释性，目前的研究一般认为，cnn提取的特征存在大量信息冗余[7]。同时，随着网络深度的增加，cnn中较为浅层的特征几乎被完全忽略，特征利用效率低。因此，如何更好地实现特征的筛选和复用，使得所提取得特征能更好地反映图像的失真程度，是当前deepiqa的重要研究课题。
6、[1]wang z.applications of objective image quality assessment methods[applications corner][j].ieee signal processing magazine,2011,28(6):137-142.
7、[2]wang z,bovik ac,sheikh h r,et al.image quality assessment:fromerror visibility to structural similarity[j].ieee transactions on imageprocessing,2004,13(4):600-612.
8、[3]hou w,gao x,tao d,et al.blind image quality assessment via deeplearning[j].ieee transactions on neural networks and learning systems,2014,26(6):1275-1286.
9、[4]kang l,ye p,li y,et al.simultaneous estimation of image qualityand distortion via multi-task convolutional neural networks[c]//2015 ieeeinternational conference on image processing(icip).ieee,2015:2791-2795.
10、[5]bianco s,celona l,napoletano p,et al.on the use of deep learningfor blind image quality assessment[j].signal,image and video processing,2018,12:355-362.
11、[6]bosse s,maniry d,müller k r,et al.deep neural networks for no-reference and full-reference image quality assessment[j].ieee transactions onimage processing,2017,27(1):206-219.
12、[7]zhang q,jiang z,lu q,et al.split to be slim:an overlookedredundancy in vanilla convolution[j].arxiv preprint arxiv:2006.12085,2020.
技术实现思路
1、为了对cnn提取的图像特征进行筛选和复用，本专利技术提出了一种基于多层次特征复用的图像质量评价方法及系统。该方法通过残差网络结构实现多层次特征的筛选与复用，能够提高特征的利用效率，同时减少冗余信息。
2、本专利技术的主要技术方案为：一种基于多层次特征复用的图像质量评价方法及系统，具体步骤如下：
3、步骤1：对输入图像i进行预处理，得到若干图像块in；
4、步骤2：将预处理后的图像块in输入多层次特征复用网络，得到整体质量分数；
5、所述多层次特征复用网络，包括浅层特征提取模块、深层特征提取模块、空间注意力模块、线性加权回归模块；
6、所述浅层特征提取模块，包括一个riesz变换层和一个残差连接单元，其中，残差连接单元的两端为输入图像块in的原始信息与riesz变换层的输出，称为第一特征；
7、所述深层特征提取模块，包括一个卷积神经网络s和一个残差连接单元，其中，卷积神经网络的输入通道数为输入特征维度，输出通道数为输出特征维度，残差连接单元的两端为输入的第一特征与卷积神经网络s的输出，称为第二特征；
8、所述空间注意力模块，包括一个卷积神经网络w和一个残差连接单元，其中，卷积神经网络w的输入通道为输入特征维度，输出通道为输出特征维度，残差连接单元的两端为输入图像块in的原始信息和卷积神经网络w的输出；
9、所述线性加权回归模块，包括两个线性层、一个归一化层、和一个加权求和单元，其中，线性层的输入通道数均为特征维度，输出通道数为图像块个数；
10、空间注意力模块输出的特征经过线性层和归一化层的处理得到局部注意力权重，深层特征提取模块输出的特征直接经过一个线性层得到局部质量分数，局部注意力权重和局部质量分数通过加权求和单元处理得到整体质量分数。
【技术保护点】
1.一种基于多层次特征复用的图像质量评价方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤1中，对输入图像I进行预处理，包括无重叠裁剪和归一化，所述无重叠裁剪是指将输入图像裁剪为若干图像块In；所述归一化利用最大值最小值归一化使得样本数据具有相同分布，减小样本数据在经过CNN的每个层时的分布差异，避免梯度爆炸问题的发生。
3.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤2中，所述浅层特征提取模块基于Riesz变换对输入图像块进行浅层特征提取，得到Riesz特征，再通过残差连接单元，将图像块In的原始信息和Riesz特征连接，实现第一次特征的复用和筛选，最终输出第一特征；
4.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤2中，所述深层特征提取模块采用VGG16网络中的特征提取层，包括5个卷积块，每卷积块均含有两个3×3卷积核和一个最大池化层，后三个卷积块分别额外含有一个1×1卷积核，所有卷积核的步长均为1；特征提取
5.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤2中，所述空间注意力模块采用VGG16网络中的特征提取层，包括5个卷积块，每卷积块均含有两个3×3卷积核和一个池化层，后三个卷积块分别额外含有一个1×1卷积核，所有卷积核的步长均为1；特征提取时，将图像块In输入空间注意力模块，得到空间注意力特征。
6.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤2中，所述线性加权回归模块，首先将第二特征输入线性层，得到图像块In的局部质量分数；同时，将空间注意力特征输入线性层，并使用Softmax函数进行归一化，得到局部注意力权重；最后将局部质量分数和局部注意力权重输入加权求和单元，得到输入图像I的整体质量分数。
7.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤2中所述多层次特征复用网络是经过参数优化后的多层次特征复用网络；参数优化过程包括以下子步骤：
8.根据权利要求7所述的一种基于多层次特征复用的图像质量评价方法，其特征在于，其特征在于：步骤S3中，训练过程采用最小绝对值偏差损失函数，训练至网络收敛，即损失函数曲线保持平稳不再下降，最终将模型输出的整体质量分数作为对输入图像的质量评价。
9.一种基于多层次特征复用的图像质量评价系统，其特征在于，包括以下单元：
10.一种基于多层次特征复用的图像质量评价设备，其特征在于，包括：
...【技术特征摘要】
1.一种基于多层次特征复用的图像质量评价方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤1中，对输入图像i进行预处理，包括无重叠裁剪和归一化，所述无重叠裁剪是指将输入图像裁剪为若干图像块in；所述归一化利用最大值最小值归一化使得样本数据具有相同分布，减小样本数据在经过cnn的每个层时的分布差异，避免梯度爆炸问题的发生。
3.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤2中，所述浅层特征提取模块基于riesz变换对输入图像块进行浅层特征提取，得到riesz特征，再通过残差连接单元，将图像块in的原始信息和riesz特征连接，实现第一次特征的复用和筛选，最终输出第一特征；
4.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤2中，所述深层特征提取模块采用vgg16网络中的特征提取层，包括5个卷积块，每卷积块均含有两个3×3卷积核和一个最大池化层，后三个卷积块分别额外含有一个1×1卷积核，所有卷积核的步长均为1；特征提取时，首先对特征1进行深层次特征提取，得到深层特征，再通过残差连接单元将第一特征与深层特征连接，实现第二次特征复用和筛选，得到第二特征。
5.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在...
【专利技术属性】
技术研发人员：归子涵，刘瑨玮，袁程浩，杨光义，贺威，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。