【技术实现步骤摘要】
本专利技术涉及图像质量评价，尤其涉及一种基于注意力和多任务的盲图像质量评价方法、装置、设备及介质。
技术介绍
1、盲图像质量评价(biqa)旨在利用计算机算法自动评估图像的感知质量，而不需要访问其原始高质量对照图像。早期的biqa方法主要通过考虑自然场景统计(nss)和人类视觉系统提取的手工特征，然而，由于自然场景统计和手工特征在表达复杂失真和多样内容方面的能力有限，早期的biqa方法质量评价的准确度较低。在深度学习时代，深度神经网络(dnns)因具有强大的特征提取和融合能力，成为了早期biqa方法的主要替代品。例如，现有相关技术中设计了一个纯数据驱动的dnn进行特征提取；基于卷积神经网络(cnn)还提出了一个两阶段的biqa方法。第一阶段训练cnn来预测失真图像和参考图像之间的差异图，而第二阶段微调两个全连接层进行质量预测，但主要从网络的最后一层的特征进行图像质量预测，仅包含小尺寸的高层语义概念，其质量评价的准确度较低。随着技术的发展，多任务学习已广泛应用于图像分类、显著目标检测、图像增强、医学图像分割等领域，并为盲图像质量评价(biqa)提供了新的评价方法。但现有多任务学习的盲图质量评价任务难以有效关联不同的任务，不能学习到足够的特征以进行盲图质量评价，从而导致盲图质量评价的准确度较低。
技术实现思路
1、本专利技术实施例提供了一种基于注意力和多任务的盲图像质量评价方法、装置、设备及介质，旨在解决现有盲图质量评价准确度较低的问题。
2、第一方面，本专利技术实施例提供
3、获取图像质量评价数据集及预定义的文本模板，并对所述图像质量评价数据集进行划分得到训练数据集和测试数据集，其中，所述文本模板包含了所述图像质量评价数据集中所有数据的失真类型；
4、根据所述训练数据集、所述测试数据集以及所述文本模板对构建的初始盲图像质量评价模型进行训练和测试得到盲图像质量评价模型，并在训练过程中通过第一预设损失函数和第二预设损失函数分别对失真类型辅任务及图像质量分数预测主任务进行监督，其中，所述初始盲图像质量评价模型包括用于学习失真知识的知识引导注意力模块；
5、对获取的待评价盲图像进行处理得到待评价目标盲图像，并将所述文本模板及所述待评价目标盲图像输入所述盲图像质量评价模型进行质量评价得到盲图像质量分数。
6、第二方面，本专利技术实施例还提供了一种基于注意力和多任务的盲图像质量评价装置，其包括：
7、获取划分单元，用于获取图像质量评价数据集及预定义的文本模板，并对所述图像质量评价数据集进行划分得到训练数据集和测试数据集，其中，所述文本模板包含了所述图像质量评价数据集中所有数据的失真类型；
8、训练测试单元，用于根据所述训练数据集、所述测试数据集以及所述文本模板对构建的初始盲图像质量评价模型进行训练和测试得到盲图像质量评价模型，并在训练过程中通过第一预设损失函数和第二预设损失函数分别对失真类型辅任务及图像质量分数预测主任务进行监督，其中，所述初始盲图像质量评价模型包括用于学习失真知识的知识引导注意力模块；
9、质量评价单元，用于对获取的待评价盲图像进行处理得到待评价目标盲图像，并将所述文本模板及所述待评价目标盲图像输入所述盲图像质量评价模型进行质量评价得到盲图像质量分数。
10、第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
11、第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
12、本专利技术实施例提供了一种基于注意力和多任务的盲图像质量评价方法、装置、设备及介质。其中，所述方法包括：获取图像质量评价数据集及预定义的文本模板，并对所述图像质量评价数据集进行划分得到训练数据集和测试数据集，其中，所述文本模板包含了所述图像质量评价数据集中所有数据的失真类型；根据所述训练数据集、所述测试数据集以及所述文本模板对构建的初始盲图像质量评价模型进行训练和测试得到盲图像质量评价模型，并在训练过程中通过第一预设损失函数和第二预设损失函数分别对失真类型辅任务及图像质量分数预测主任务进行监督，其中，所述初始盲图像质量评价模型包括用于学习失真知识的知识引导注意力模块；对获取的待评价盲图像进行处理得到待评价目标盲图像，并将所述文本模板及所述待评价目标盲图像输入所述盲图像质量评价模型进行质量评价得到盲图像质量分数。本专利技术实施例的技术方案，根据训练数据集、测试数据集以及文本模板对构建的初始盲图像质量评价模型进行训练和测试得到盲图像质量评价模型，可有效关联失真类型辅任务及图像质量分数预测主任务，并且通过知识引导注意力模块能学习到失真知识所对应的特征，提高了模型的泛化能力；再通过盲图像质量评价模型对输入的待评价目标盲图像进行质量评价，得到盲图像质量分数，因使用足够多的特征进行盲图像质量评价，提高了盲图像质量评价的准确度。
本文档来自技高网...【技术保护点】
1.一种基于注意力和多任务的盲图像质量评价方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据集、所述测试数据集以及所述文本模板对构建的初始盲图像质量评价模型进行训练和测试得到盲图像质量评价模型，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标训练数据集、所述目标测试数据集以及所述文本模板对构建的所述初始盲图像质量评价模型进行训练和测试得到所述盲图像质量评价模型，包括：
4.根据权利要求3所述的方法，其特征在于，所述初始盲图像质量评价模型还包括骨干网络、信息融合模块以及图像质量分数获取模块；所述第二预设损失函数为均方差损失函数；所述根据所述目标训练数据集及所述文本模板对构建的所述初始盲图像质量评价模型进行训练，直至满足预设结束训练条件为止，包括：
5.根据权利要求4所述的方法，其特征在于，所述知识引导注意力模块包括失真识别模块、失真嵌入模块、失真知识模块以及注意力模块；所述第一预设损失函数为交叉熵损失函数；所述根据所述文本模板、所述第一多尺度特征、所述第二多尺度特征、所述第三多尺
6.根据权利要求4所述的方法，其特征在于，所述信息融合模块包括四个跨层信息融合模块；所述通过所述跨层信息融合模块对所述第一层特征、所述第二层特征、所述第三层特征以及所述第四层特征进行特征融合得到第一多尺度特征、第二多尺度特征、第三多尺度特征以及第四多尺度特征，包括：
7.根据权利要求3所述的方法，其特征在于，所述相关系数包括皮尔逊线性相关系数和斯皮尔曼秩相关系数；所述计算所述图像质量预测分数与所述目标测试数据集中的预设图像质量分数的相关系数，并根据所述相关系数将训练后的所述初始盲图像质量评价模型作为所述盲图像质量评价模型，包括：
8.一种基于注意力和多任务的盲图像质量评价装置，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
...【技术特征摘要】
1.一种基于注意力和多任务的盲图像质量评价方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据集、所述测试数据集以及所述文本模板对构建的初始盲图像质量评价模型进行训练和测试得到盲图像质量评价模型，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标训练数据集、所述目标测试数据集以及所述文本模板对构建的所述初始盲图像质量评价模型进行训练和测试得到所述盲图像质量评价模型，包括：
4.根据权利要求3所述的方法，其特征在于，所述初始盲图像质量评价模型还包括骨干网络、信息融合模块以及图像质量分数获取模块；所述第二预设损失函数为均方差损失函数；所述根据所述目标训练数据集及所述文本模板对构建的所述初始盲图像质量评价模型进行训练，直至满足预设结束训练条件为止，包括：
5.根据权利要求4所述的方法，其特征在于，所述知识引导注意力模块包括失真识别模块、失真嵌入模块、失真知识模块以及注意力模块；所述第一预设损失函数为交叉熵损失函数；所述根据所述文本模板、所述第一多尺度特征、所述第二多尺度特征、所述第三多尺度特征、第四多尺度特征以及所述第四层特征通过所述知识引导注意力模块进行失真识别、...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。