一种基于提示学习的图像美学质量评价方法技术

本发明专利技术公开了一种基于提示学习的图像美学质量评价方法，涉及图像处理技术领域，包括：获取图像数据集，构建图像美学质量评价模型；将图像数据集中的图像数据输入图像编码器中得到图像嵌入；构建正反义提示词并输入文本编码器中获得正反义文本嵌入；计算图像嵌入和正反义文本嵌入之间的余弦相似度；对余弦相似度采用归一化指数函数进行归一化处理，获得美学质量评分；根据美学质量评分利用损失函数优化调整图像美学质量评价模型参数，获得训练后的图像美学质量评价模型；采集待评价图像输入训练后的图像美学质量评价模型，获得待评价图像的美学质量评分。本发明专利技术能够结合文本信息提高图像美学质量评价的准确性。

【技术实现步骤摘要】

本专利技术涉及图像处理，更具体的说是涉及一种基于提示学习的图像美学质量评价方法。

技术介绍

1、美学，作为一门探讨美与丑、人类审美意识、美学体验、美的创造与发展，以及美的规律等范畴的重要学科，在视觉艺术领域中占据着核心地位。图像美学质量评价多被应用于摄影、艺术、广告、社交媒体等，传统的图像美学评价多是依赖于人进行主观评价，与个人美学素质息息相关，存在主观性强、效率低下等问题，而随着计算机科学技术的发展，形成了一项图像美学质量评价创新技术，能够通过计算机模拟人类的美学感知，对图像的美学价值进行评估和判断，为理解和量化视觉艺术中的美感提供了一种全新的途径。

2、但是，很多现有图像美学质量评价方法专注于构建高效的网络架构来提取图像的多维特征，输入了图像的单一模态信息，却忽视了文本信息的潜能，文字蕴含丰富的语义内容，能够为解读视觉作品提供有力的辅助。现有技术中这种单模态多属性评价方法很大程度上对于美学属性抽象问题的表达能力不足，模型的泛化能力有限。同时，当前的美学质量评价方法中，标注样本的稀缺和标注信息的局限性也导致了对有监督模型的过度依赖；费力的数据本文档来自技高网...

【技术保护点】

1.一种基于提示学习的图像美学质量评价方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于提示学习的图像美学质量评价方法，其特征在于，图像编码器包括ViT-B/16模块、Resnet50模块和特征融合模块，ViT-B/16模块和Resnet50模块分别提取图像数据中的图像特征，并在特征融合模块对提取的两种图像特征进行特征融合，获得图像嵌入。

3.根据权利要求1所述的一种基于提示学习的图像美学质量评价方法，其特征在于，预设若干组文本模板和若干组正反义词提示对，选择一对文本模板和正反义词提示对的组合构建正反义提示词；正反义提示词包括正义提示词和反义提示词...

【技术特征摘要】

1.一种基于提示学习的图像美学质量评价方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于提示学习的图像美学质量评价方法，其特征在于，图像编码器包括vit-b/16模块、resnet50模块和特征融合模块，vit-b/16模块和resnet50模块分别提取图像数据中的图像特征，并在特征融合模块对提取的两种图像特征进行特征融合，获得图像嵌入。

3.根据权利要求1所述的一种基于提示学习的图像美学质量评价方法，其特征在于，预设若干组文本模板和若干组正反义词提示对，选择一对文本模板和正反义词提示对的组合构建正反义提示词；正反义提示词包括正义提示词和反义提示词。

4.根据权利要求1所述的一种基于提示学习的图像美学质量评价方法，其特征在于，正反义提示词包括总体正反义提示词和多组属性正反义提示词，根据提示词的组数在图像美学评价模型中设置对应数量的文本编码器；

5.根据权利要求1所述的一种基于提示学习的图像美学质量评价方法，其特征在于，正反义提示词为总分相似表达集成提示词，将若干组相似的总体正反义提示词组成总分相似表达集成提示词作为正反义提示词。

6.根据权利要求1所述的一种基于提示学习...

【专利技术属性】
技术研发人员：杨洪涛，刘业辉，史萍，朱元忠，周兴晖，郭蕊，宋玉娥，赵元苏，李娟，
申请(专利权)人：北京工业职业技术学院，
类型：发明
国别省市：