【技术实现步骤摘要】
本专利技术涉及一种基于图像特征和语义描述的无参考图像质量评价方法，具体涉及一种结合全局和局部图像融合特征与语义描述特征的无参考图像质量评价方法，属于图像质量评价。
技术介绍
1、图像质量评价的研究对图像处理和计算机视觉任务具有重要意义，原始图像经过压缩、传输和存储等过程中常出现失真，图像质量评价可以对图像失真情况进行评估。同时在图像增强和重建等任务的目标函数设计中，好的图像质量评价方法有助于实现更高质量的图像处理结果。
2、图像质量评价方法一般分为三类：全参考、半参考和无参考图像质量评价。全参考图像质量评价需要原始图像作为参考，根据原始图像和失真图像差异度来对图像质量进行判断；半参考图像质量评价只需要部分原始图像信息，或原始图像和失真图像的某些统计特性来评价图像质量；无参考图像质量评价不需要原始图像，目前主流的方法主要有基于失真图像统计特征的方法、基于人类视觉系统的方法和基于深度学习的方法。
3、基于深度学习的无参考图像质量评价方法中，基于vision transformer的图像特征更多的是对全局特征及内容特征的提取，缺少局部信息所表达的纹理及边缘等失真特征；此外，将图像特征与语义描述特征相结合可以提高对图像内容的理解和图像质量评价的准确性。
技术实现思路
1、为了克服现有技术存在的缺陷，本专利技术提出了一种基于图像特征和语义描述的无参考图像质量评价方法，该方法将全局特征与局部特征进行融合获得图像特征，利用文本描述图像的语义获得文本特征，生成图像文本语义对
2、为解决上述技术问题，本专利技术采用了如下技术手段：一种无参考图像质量评价方法，包括：
3、输入文本模型，由text transformer编码器提取文本特征，获得文本嵌入；
4、输入图像，将输入图像划分为子图像，由vision transformer编码器提取全局图像特征，由cnn编码器提取局部图像特征；
5、将全局图像特征加入通道注意力，与局部图像特征进行交叉注意力操作得到融合特征，获得视觉嵌入；
6、对文本嵌入和视觉嵌入进行余弦相似度计算，使用softmax对余弦相似度进行归一化得到联合概率，将图像与候选文本描述相匹配；
7、对联合概率进行边缘化处理，得到目标类型概率、背景类别概率、失真类型概率、质量等级概率，通过关联五个质量级别的李克特量表及其对应的边际概率得到质量评分；
8、计算出目标类型损失、背景类别损失、失真类型损失、质量预测损失；
9、对所述四种类型的损失加权求和，计算整体损失，对整体网络模型进行训练。
10、在一些实施例中，输入文本模型，由text transformer编码器提取文本特征，获得文本嵌入，包括：
11、输入文本模型：t一张具有{a}失真在{b}背景下的{c}照片，质量{d}；其中a为失真类型，定义为11种；b为背景类别，定义为5种；c为目标类型，定义为5种；d为质量等级，定义为5种；
12、
13、b∈b＝{城市景观，自然风光，室内场景，夜景，其他}
14、c∈c＝人物，动物，植物，静物，其他}
15、d∈d＝差，较差，一般，好，完美}＝{1，2，3，4，5}
16、根据文本模型，由text transformer编码器提取其文本特征ft，获得文本嵌入。
17、在一些实施例中，输入图像，将输入图像划分为子图像，由vision transformer编码器提取全局图像特征，由cnn编码器提取局部图像特征，包括：
18、对输入图像进行预处理转换为rgb格式，将图像进行等比例缩放，最小边长调整为768像素，将图像划分为若干个大小为224*224的图像块，选择n个图像块由visiontransformer提取其全局特征fi，由resnet提取其局部特征fl。
19、在一些实施例中，将全局图像特征加入通道注意力，与局部图像特征进行交叉注意力操作得到融合特征，获得视觉嵌入，包括：
20、选取不同vision transformer层的特征进行连接以获取不同程度的语义特征，加入通道注意力得到增强特征。
21、上述全局图像特征与局部图像特征进行交叉注意力处理以相互补充，得到全局与局部的融合特征。
22、进一步地，在一些实施例中，将全局图像特征加入通道注意力，与局部图像特征进行交叉注意力操作得到融合特征，获得视觉嵌入，包括：
23、提取并连接由vision transformer输出的第7，8，9，10层特征：
24、fi＝rb*∑ici*hiwi，i∈{7，8，9，10}
25、其中fi表示连接后的全局特征，b表示批次大小，c为通道数，h为图像的高度，w为图像的宽度，∑表示特征连接操作。
26、将连接后的全局特征通过自注意力机制来增强特征之间的通道交互：
27、fc＝attention(q，k，v)+fi
28、attention(q，k，v)＝v·softmax(k·q/α)
29、其中fc为经过通道注意力处理后的全局特征，q，k，v分别表示查询、键和值，为输入特征fi的线性变换，α为q，k，v的空间维度大小；
30、将进行通道注意力处理后的全局特征与局部特征进行交叉注意力操作，融合全局与局部特征：
31、
32、
33、其中ff为融合后的图像特征，为全局特征fc的线性变换，为局部特征fl的线性变换，α为的空间维度大小。
34、在一些实施例中，对文本嵌入和视觉嵌入进行余弦相似度计算，使用softmax对余弦相似度进行归一化得到联合概率，将图像与候选文本描述相匹配，包括：
35、对视觉嵌入和文本嵌入进行余弦相似度计算，得到图像与所有文本描述的相关等级：
36、
37、其中x为输入图像，a，b，c，d为文本描述，n为图像块数，ff为融合后的图像特征，ft为文本特征。
38、归一化后得到图像与其对应失真类型、背景类别、目标类型、质量等级的联合概率，边缘化得到边际概率进而计算出各个损失。
39、关联五个质量级别的李克特量表及其对应的边际概率得到质量评分：
40、
41、其中q为图像x对应的质量评分，p为质量等级的边际概率，d表示质量等级。
42、本专利技术还提出了一种无参考图像质量评价系统，包括：
43、文本特征提取模块，用于：输入文本模型，由text transformer编码器提取文本特征，获得文本嵌入；
44、图像特征提取模块，用于：输入图像，将输入图像划分为子图像，由visiontransformer编码器提取全局图像特征，由cnn编码器提取局部图像特征；将全局图像特征加入通道注意力本文档来自技高网...
【技术保护点】
1.一种基于图像特征和语义描述的无参考图像质量评价方法，其特征在于，包括：
2.根据权利要求1所述的一种基于图像特征和语义描述的无参考图像质量评价方法，其特征在于，输入文本模型，由Text Transformer编码器提取文本特征，获得文本嵌入，包括：
3.根据权利要求1所述的一种基于图像特征和语义描述的无参考图像质量评价方法，其特征在于，输入图像，将输入图像划分为子图像，由Vision Transformer编码器提取全局图像特征，由CNN编码器提取局部图像特征，包括：
4.根据权利要求1所述的一种基于图像特征和语义描述的无参考图像质量评价方法，其特征在于，将全局图像特征加入通道注意力，与局部图像特征进行交叉注意力操作得到融合特征，获得视觉嵌入，包括：
5.根据权利要求1或4所述的一种基于图像特征和语义描述的无参考图像质量评价方法，其特征在于，将全局图像特征加入通道注意力，与局部图像特征进行交叉注意力操作得到融合特征，获得视觉嵌入，包括：
6.根据权利要求1所述的一种基于图像特征和语义描述的无参考图像质量评价方法，其特
...【技术特征摘要】
1.一种基于图像特征和语义描述的无参考图像质量评价方法，其特征在于，包括：
2.根据权利要求1所述的一种基于图像特征和语义描述的无参考图像质量评价方法，其特征在于，输入文本模型，由text transformer编码器提取文本特征，获得文本嵌入，包括：
3.根据权利要求1所述的一种基于图像特征和语义描述的无参考图像质量评价方法，其特征在于，输入图像，将输入图像划分为子图像，由vision transformer编码器提取全局图像特征，由cnn编码器提取局部图像特征，包括：
4.根据权利要求1所述的一种基于图像特征和语义描述的...
【专利技术属性】
技术研发人员：崔子冠，曾令宣，柏明荫，吴立鹏，干宗良，唐贵进，刘峰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。