一种基于多域失真学习的无参考图像质量评价方法技术

本发明专利技术公开了一种基于多域失真学习的无参考图像质量评价方法，首先构建基于多域失真学习的无参考图像质量评价模型；然后对输入的失真图像进行退化修复；完成多域失真学习，得到对应的频率特征；再进行多尺度语义特征提取和边缘信息提取；最后根据获得的将多尺度频率特征、多尺度语义特征和图像边缘信息，实现特征融合与质量回归。本发明专利技术提出使用多域失真学习方法，帮助模型识别图像信息中的各种噪声，并有效地提高图像质量。本发明专利技术在图像语义特征的基础之上引入频域信息来辅助预测质量分数。的基础之上引入频域信息来辅助预测质量分数。的基础之上引入频域信息来辅助预测质量分数。

【技术实现步骤摘要】
一种基于多域失真学习的无参考图像质量评价方法


[0001]本专利技术涉及图像、视频处理
，尤其是涉及一种结合多域失真学习的特征学习方式以及深度学习进行无参考图像质量评价的方法。

技术介绍

[0002]图像质量评价(Image Quality Assessment,IQA)在机器视觉领域是一个极为基础而又重要的任务。IQA是指通过对图像信号进行相关特性分析，评价图像的视觉失真程度。IQA方法可以分为主观IQA方法和客观IQA方法。主观IQA方法是指通过大量的观测者主观判断获取图像的视觉质量。客观IQA是指通过客观算法自动计算图像的视觉质量。特别地，客观IQA又可以细分为全参考IQA,半参考IQA，无参考IQA。相较于全参考IQA和半参考IQA，无参考IQA无需参考图片信息，而且它拥有更广阔的应用市场和实际价值。根据无参考IQA在计算图像退化质量时是否需要图像的主观分数来进行训练，无参考IQA可分为基于监督学习的无参考IQA和基于无监督学习的无参考IQA。
[0003]基于监督学习的无参考IQA主要包括基于传统机器学习的方法和基于深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多域失真学习的无参考图像质量评价方法，其特征在于，包括步骤如下：步骤(1)构建基于多域失真学习的无参考图像质量评价模型；所述的基于多域失真学习的无参考图像质量评价模型，包括失真图像修复模块和网络主模块；网络主模块由多域失真提取子模块和特征融合子模块构成；其中多域失真提取子模块由频域失真提取模块、语义特征提取模块和边缘信息提取模块组成；特征融合子模块包括多尺度特征连接和“Combiner”特征融合模块；步骤(2)、失真图像修复：通过失真图像修复模块对输入的失真图像进行退化修复；步骤(3).通过多域失真提取子模块完成多域失真学习，得到对应的频率特征；步骤(4).通过语义特征提取模块完成多尺度语义特征提取；步骤(5).通过边缘信息提取模块完成边缘信息提取；步骤(6).根据获得的将多尺度频率特征、多尺度语义特征和图像边缘信息，实现特征融合与质量回归；步骤(7).对构建基于多域失真学习的无参考图像质量评价模型进行训练。2.根据权利要求1所述的一种基于多域失真学习的无参考图像质量评价方法，其特征在于，所述的失真图像修复模块总体结构为一个“编码器
‑
解码器”模型，编码器部分子模块由3个3*3卷积，Batch Norm层和LeakyReLU激活层构成；解码器部分子模块由3个3*3卷积，Batch Norm层和ReLU激活层构成；将修复好的图像和质量退化图像形成图像对作为网络主模块的输入。3.根据权利要求1所述的一种基于多域失真学习的无参考图像质量评价方法，其特征在于，所述的频率失真提取模块首先通过三次下采样操作，得到不同尺度的修复好的图像和质量退化图像，再采用频率特征提取器分别对不同尺度的修复好的图像和质量退化图像进行频率特征提取，得到对应的频率特征f1,f2,f3,f4。4.根据权利要求1所述的一种基于多域失真学习的无参考图像质量评价方法，其特征在于，步骤(4)具体方法如下：利用预训练的卷积神经网络作为语义特征提取模块；预训练的卷积神经网络是利用ResNet50网络在ImageNet21k数据集上预先训练得到的图像分类模型构建成的网络，其中保留了stage1
‑
4的特征提取模块；用于提取图像对中对于内容多尺度的语义特征；具体如下：其中，表示来自i
th
块的ResNet50，其中i∈{1,2,3,4}，b表示批量大小，...

【专利技术属性】
技术研发人员：张桦，沈卓南，郑博仑，姚扬，张灵均，王慕薇，罗逸章，郭紫俐，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：