一种外部参考图像质量评价系统技术方案

技术编号:41512233 阅读:31 留言:0更新日期:2024-05-30 14:50
本发明专利技术公开了一种外部参考图像质量评价系统,包括:多尺度特征提取模块,用于提取外部参考图像和待评测失真图像的浅层特征;特征转换与对齐模块,连接于所述多尺度特征提取模块,用于将待评测失真图像浅层特征转换为待评测失真图像特征向量,以及,将待评测失真图像浅层特征与外部参考图像浅层特征对齐后的特征转换为差分特征向量;MLP‑Mixer编码模块,连接于所述特征转换与对齐模块,用于对所述待评测失真图像特征向量和所述差分特征向量分别进行编码,获得待评测失真图像编码后特征和差分特征向量的编码后特征;以及质量回归模块,连接于所述MLP‑Mixer编码模块,用于以所述待评测失真图像编码后特征和所述差分特征向量的编码后特征的融合特征作为输入,输出评测分数。

【技术实现步骤摘要】

本专利技术涉及一种外部参考图像质量评价系统,属于计算机视觉与图像处理。


技术介绍

1、目前,针对基于深度学习的图像质量评价算法的研究已取得了较为广泛的研究成果。按照参考图像的信息完整度,客观图像质量评价可以分为全参考图像质量评价、半参考图像质量评价与无参考图像质量评价三种类型。其中,全参考图像质量评价由于有参考图像的参与,性能较好,是目前图像质量评价中比较成熟的领域。但受限于参考图像的限制条件,全参考图像质量评价应用场景较少,仅适用于能够提供参考图像的场景。相对的,无参考图像质量评价仅需待评测退化图像就可完成质量评估,具有广泛的应用场景与现实意义。但与此同时,由于无法利用参考图像信息,图像质量的定义本身变得模糊,进而使得算法往往无法很好地理解及评价图像质量,导致现有的无参考算法性能普遍低于全参考算法。

2、为解决该问题,学者们提出引入外部参考图像的外部参考图像质量评价算法。该类算法通过使用与待评测图像内容完全无关的任意高质量图像作为参考图像。但由于任意选择的外部参考图像的语义信息各不相同,如何应对外部参考图像质量评价任务中参考图像全局内容信息变本文档来自技高网...

【技术保护点】

1.一种外部参考图像质量评价系统,其特征在于,包括:

2.如权利要求1所述的外部参考图像质量评价系统,其特征在于:所述多尺度特征提取模块包括外部参考图像分支和待评测失真图像分支;所述外部参考图像分支以外部参考图像为输入,进行多尺度特征提取,输出多尺度的所述外部参考图像浅层特征;所述待评测失真图像分支以待评测失真图像为输入,进行多尺度特征提取,输出多尺度的所述待评测失真图像浅层特征。

3.如权利要求2所述的外部参考图像质量评价系统,其特征在于:所述外部参考图像分支和所述待评测失真图像分支均通过使用随机可重叠的裁剪方式将输入的相应图像随机划分为多个固定大小的图像块,并...

【技术特征摘要】

1.一种外部参考图像质量评价系统,其特征在于,包括:

2.如权利要求1所述的外部参考图像质量评价系统,其特征在于:所述多尺度特征提取模块包括外部参考图像分支和待评测失真图像分支;所述外部参考图像分支以外部参考图像为输入,进行多尺度特征提取,输出多尺度的所述外部参考图像浅层特征;所述待评测失真图像分支以待评测失真图像为输入,进行多尺度特征提取,输出多尺度的所述待评测失真图像浅层特征。

3.如权利要求2所述的外部参考图像质量评价系统,其特征在于:所述外部参考图像分支和所述待评测失真图像分支均通过使用随机可重叠的裁剪方式将输入的相应图像随机划分为多个固定大小的图像块,并且,均是使用resnet50构建多尺度特征提取网络来对相应图像块提取浅层特征。

4.如权利要求1所述的外部参考图像质量评价系统,其特征在于:所述特征转换与对齐模块包括动态语义图学习组、基于可形变卷积的特征对齐模块、第一特征转换模块、第二特征转换模块、差分模块、第一拼接模块以及第二拼接模块;

5.如权利要求4所述的外部参考图像质量评价系统,其特征在于:所述特征转换与对齐模块包括多个所述动态语义图学习组,每个所述动态语义图学习组用于处理一个尺度的外部参考图像浅层特征i表示第i个尺度;

6.如权利要求5所述的外部参考图像质量评价系统,其特征在于,所述第一动态语义图学习模块和所述第二动态语义图学习模块具有相同的网络结构,所述网络结构被配置为:首先通过一个全连接层将输入特征映射到潜在表示空间,获取输入特征的全局上下文描述符;其次通过图卷积网络gcn构建语义推理模型获得增强后的上下文描述符...

【专利技术属性】
技术研发人员:杨文明陈惠琳廖庆敏
申请(专利权)人:清华大学深圳国际研究生院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1