一种基于自生成全局特征和注意力的图像美学预测方法技术

本发明专利技术公开了一种基于自生成全局特征和注意力的图像美学预测方法，对深度分类网络中的自生成全局特征和注意力机制模块进行优化训练，最小化输入得分分布和预测得分分布的差异，得到预测得分分布和真实得分输入分布的相似度，使用面向有序分类的深度学习网络对图形美学进行评估，采用面向有序分类的混合损失函数，无需手工提取特征时需要的技巧性，发觉隐藏在图像和美学评分之间的关联性，突破对图像美学二分的分类方法；本发明专利技术在深度网络中嵌入注意力机制和自生成全局特征，在对图像整体进行评估的同时，重点提取相关的图像元素特和图像整体的全局特征，实现更加精准的图像美学评估。

An image aesthetic prediction method based on self generated global features and attention

【技术实现步骤摘要】
一种基于自生成全局特征和注意力的图像美学预测方法
本专利技术属于人工智能
，涉及一种基于自生成全局特征和注意力的图像美学预测方法。
技术介绍
图像美学预测是一个经典的机器视觉任务，它为图像美化，图像排序，图像检索等多媒体应用奠定了基础。特别在商业应用中，修图师需要对海量的原始图片进行筛选，传统的手工挑选需要耗费的大量的人力财力。因此，如何能够对图像美学进行快速的评判是挑选图片的关键技术。基于深度特征的图像美学预测方法，无需手工提取特征时需要的技巧性，发觉隐藏在图像和美学评分之间的关联性，已经成为图像美学预测的首选方法，然而当该类方法应用于实际的图像美学预测时，通常会遇到以下限制：1)大多数的图像美学预测方法将图像分类到高美学/低美学二分类，但是该分类方法在图像美化等领域不具备实用性，D.Liu,R.Puri,N.Kamath,S.Bhattacharya,2019,Modelingimagecompositionforvisualaestheticassessmen提出了评估图像组成部分对图像整体美学进行评分，尽管该方法在AVA等本文档来自技高网...

【技术保护点】
1.一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，包括以下步骤：/n步骤1)、对深度分类网络中的自生成全局特征和注意力机制模块进行优化训练，最小化输入得分分布和预测得分分布的差异，得到预测得分分布和真实得分输入分布的相似度；/n步骤2)、采用训练后的深度分类网络进行图像的特征提取，对于提取的图像特征进行图像美学评价参数，基于图像美学评价参数进行图像美学的评分。/n

【技术特征摘要】
1.一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，包括以下步骤：
步骤1)、对深度分类网络中的自生成全局特征和注意力机制模块进行优化训练，最小化输入得分分布和预测得分分布的差异，得到预测得分分布和真实得分输入分布的相似度；
步骤2)、采用训练后的深度分类网络进行图像的特征提取，对于提取的图像特征进行图像美学评价参数，基于图像美学评价参数进行图像美学的评分。


2.根据权利要求1所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，深度分类网络采用基于深度卷积的分类网络，以RGB图像及其多个得分数值作为分类网络的输入，分类网络的输出为图像的美学预测得分分布。


3.根据权利要求1所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，自生成全局特征用于分析深度分类网络的网络结构，通过跳转连接和压缩连接融合局部特征和全局特征，在提取局部特征的同时保存全局特征。


4.根据权利要求3所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，注意力机制模块考虑图像通道信息和图像空间信息，表示图像包含的与分类任务相关的目标信息，自生成全局特征和注意力机制模块嵌入在深度卷积分类的任意相连的特征图之间。


5.根据权利要求1所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，深度分类网络采用RGB图像及RGB图像多个得分数值进行训练，最小化输入得分分布和预测得分分布的差异，得到预测得分分布和真实得分输入分布的相似度。


6.根据权利要求5所述的一种基于自生成全局特征和注意力的图像美学预测方法，其特征在于，深度分类网络的训练具体包括以下步骤：
步骤1、采集输入图片并将其划分为训练集Ttrain和测试集Ttest；
步骤2、随机初始化面向分类的网络S(·)中的权重参数、学习率和批大小；
步骤3、将输入图像Ttrain中的图像X输入到深度分类网络S(·)，使用adam优化方法训...

【专利技术属性】
技术研发人员：徐亦飞，张诺，李晓，徐武将，尉萍萍，朱利，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61