一种基于对比学习的多任务美学质量评价方法及系统技术方案

本发明专利技术公开了一种基于对比学习的多任务美学质量评价方法及系统，涉及图像识别评价技术领域，通过构建多任务的文本模板利用图片数据集生成候选文本，候选文本和图片数据集构成模型的输入数据集，利用输入数据集、对构建的对比学习模型进行训练，利用训练好的模型对评价图像进行评价，获得美学分数。本发明专利技术通过多任务学习，获得辅助知识，将辅助知识迁移到美学任务上，从而提高图像美学质量评价的准确性。

【技术实现步骤摘要】

本专利技术涉及图像识别评价，更具体的说是涉及一种基于对比学习的多任务美学质量评价方法及系统。

技术介绍

1、美学是研究美与丑、人类美学意识、美学经验、美的创造、美的发展、美的规律等美学范畴的视觉艺术中的一门重要学科。随着越来越多的视觉艺术作品以数字形式在网上创作、存储和传播，高效、自动化、定量的美学评价能力对高级图像检索、照片美学增强、数字画库推广展览、艺术绘画计算机辅助创作等应用产生了深远的影响。

2、图像美学质量评价通过计算机模拟人对美的感知，对图像做出美学质量的判断。随着图像数据的爆发式增长，图像美学质量评价在图像推荐、相册管理、图像增强以及图像检索等众多领域中有着重要的应用需求，在计算机视觉领域的研究中也受到越来越多的关注。

3、图像美学质量评价具有高度主观性、复杂性，传统仅仅依靠视觉特征的单模态美学质量评价方法具有很强局限性，很难满足美学感知复杂性的本质需求，在预测准确度上很难得到大幅度的提升，因此寻找额外信息辅助图像美学的决策变得日益迫切。研究表明，利用同时包含视觉和文本信息可以提高图像美学质量的性能表现。

本文档来自技高网...

【技术保护点】

1.一种基于对比学习的多任务美学质量评价方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于对比学习的多任务美学质量评价方法，其特征在于，步骤2中图像预处理包括对图片数据集中的图像进行ROI Pooling操作，得到预处理后图像。

3.根据权利要求1所述的一种基于对比学习的多任务美学质量评价方法，其特征在于，图片数据集包括AVA数据集、AADB数据集和TAD66K数据集。

4.根据权利要求3所述的一种基于对比学习的多任务美学质量评价方法，其特征在于，AVA数据集的图像信息标签包括25种风格/手法标签、41种语义标签和5种美学质量分数类别；...

【技术特征摘要】

1.一种基于对比学习的多任务美学质量评价方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于对比学习的多任务美学质量评价方法，其特征在于，步骤2中图像预处理包括对图片数据集中的图像进行roi pooling操作，得到预处理后图像。

3.根据权利要求1所述的一种基于对比学习的多任务美学质量评价方法，其特征在于，图片数据集包括ava数据集、aadb数据集和tad66k数据集。

4.根据权利要求3所述的一种基于对比学习的多任务美学质量评价方法，其特征在于，ava数据集的图像信息标签包括25种风格/手法标签、41种语义标签和5种美学质量分数类别；aadb数据集的图像信息标签包括8种美学属性特征和5种美学质量分数类别；tad66k数据集的图像信息标签包括47种主题分类和5种美学质量分数类别。

5.根据权利要求1所述的一种基于对比学习的多任务美学质量评价方法，其特征在于，步骤3中对比学习模型进行多任务对比学习的步骤包括：

6.根据权利要求1所述的一种基于对比学习的多任务美学质量评价方法，其特征在于，训练模型过程中，多任务总损失函数采用交叉熵损失函数，则利用训练后模型最终获得美学分类结果；多任务总损失函数采用emd loss函数，则利用训练后模型最终获得美学分布结果。

7.根据权利要求5所述的一种基于对比学习的多任务美学质量评价方法，其特征在于，图像编码器包括vit-b/16模块和resnet101模块；文本编码器采用文本transformer模块。

<...

【专利技术属性】
技术研发人员：杨洪涛，刘业辉，方园，朱元忠，郭蕊，宋玉娥，方水平，
申请(专利权)人：北京工业职业技术学院，
类型：发明
国别省市：