一种美学模型预训练的方法及装置制造方法及图纸

本发明专利技术公开了一种美学模型预训练的方法及装置，获取图像数据集及图像数据集中每个图像对应的美学描述文本，并构造正负样本对，通过对正负样本对采用无监督对比学习得到初始美学模型参数，完成第一阶段预训练；对初始美学模型参数采用监督学习预测图像美学评分，并基于图像美学评分预测得到美学模型参数，完成第二阶段预训练；对美学模型参数采用监督学习预测局部图像美学评分，并基于局部图像美学评分预测得到最终的目标美学模型参数，以得到美学模型，完成第三阶段预训练。本发明专利技术采用的三阶段美学模型的预训练方法，同时使用图像及对应的美学描述文本，可以充分提取图像数据中的美学知识，利于美学模型学习抽象的美学概念，提升美学评价效果。

【技术实现步骤摘要】

本专利技术涉及模型训练，更具体的说，涉及一种美学模型预训练的方法及装置。

技术介绍

1、现有的美学模型通常以自然图像作为输入，基于普通的大规模分类数据集，比如imagenet，进行预训练，然后基于图像美学评分或美学构图数据集进行微调，以学习美学知识。

2、由于现有的美学模型预训练方法使用单一模态，仅以图像作为输入，因此，并不能充分提取图像数据中的美学知识，导致训练得到的模型审美能力较弱，美学评价效果不佳。

技术实现思路

1、有鉴于此，本专利技术公开一种美学模型预训练的方法及装置，以实现充分提取图像数据中的美学知识，有利于美学模型学习抽象的美学概念，提升美学模型的美学评价效果。

2、一种美学模型预训练的方法，包括：

3、获取图像数据集及所述图像数据集中每个图像对应的美学描述文本；

4、基于所述图像数据集和各个所述美学描述文本构造正负样本对；

5、对所述正负样本对采用无监督对比学习得到初始美学模型参数，所述初始美学模型参数包括：图像编码器参数和文本编码器本文档来自技高网...

【技术保护点】

1.一种美学模型预训练的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述图像数据集和各个所述美学描述文本构造正负样本对，包括：

3.根据权利要求2所述的方法，其特征在于，所述从每个所述图像中提取出对应的第一图像美学特征，包括：

4.根据权利要求2所述的方法，其特征在于，所述从所述美学描述文本中提取出第一美学描述特征，包括：

5.根据权利要求2所述的方法，其特征在于，所述基于各个所述第一图像美学特征和所述第一美学描述特征构造所述正负样本对，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述...

【技术特征摘要】

1.一种美学模型预训练的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述图像数据集和各个所述美学描述文本构造正负样本对，包括：

3.根据权利要求2所述的方法，其特征在于，所述从每个所述图像中提取出对应的第一图像美学特征，包括：

4.根据权利要求2所述的方法，其特征在于，所述从所述美学描述文本中提取出第一美学描述特征，包括：

5.根据权利要求2所述的方法，其特征在于，所述基于各个所述第一图像美学特征和所述第一美学描述特征构造所述正负样本对，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述初始...

【专利技术属性】
技术研发人员：皮智雄，万纬韬，
申请(专利权)人：深圳灵予科技有限公司，
类型：发明
国别省市：