图像美学处理方法及电子设备技术

本申请提供一种图像美学处理方法及电子设备，其中，图像美学评分模型生成方法包括：根据预设的卷积结构集合构建第一神经网络；获取图像分类神经网络，其中，所述图像分类神经网络用于对图像的场景进行分类；根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，所述第二神经网络为包含场景信息的神经网络；根据所述第二神经网络，确定图像美学评分模型，所述图像美学评分模型的输出信息包括图像场景分类信息。该方法中，通过在主干神经网络上融合了场景信息，使得所得到的图像美学评分模型具有可解释性，同时，使用预设的卷积结构集合，可以提升图像美学评分模型的评分准确率。

Image Aesthetic processing method and electronic equipment

【技术实现步骤摘要】
【国外来华专利技术】图像美学处理方法及电子设备本申请要求于2017年12月15日提交中国专利局、申请号为201711351283.4、专利技术名称为“一种图像评分的方法和设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本申请涉及计算机技术，尤其涉及一种图像美学处理方法及电子设备。
技术介绍
图像美感是指人们在观察图像时的美学感受。美感评估是希望通过计算机，模拟人类的感知来判断图像的美感，实现对图像进行美感高低分类，或者对图像的美感程度给出评分。现有技术中，提出了一种深度模型图像美学评分方法，该方法基于固定的神经网络来学习出图像的特征，进而，根据图像的特征为图像分配相应的美学评分。但是，通过现有方法无法对所得出的图像美学评分结果进行解释。
技术实现思路
本申请提供一种图像美学处理方法及电子设备，用于解决现有技术中无法对图像美学评分结果进行解释的问题。本申请第一方面提供一种图像美学评分模型生成方法，该方法包括：根据预设的卷积结构集合构建第一神经网络；获取图像分类神经网络，其中，所述图像分类神经网络用于对图像的场景进行分类；根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，所述第二神经网络为包含场景信息的神经网络；根据所述第二神经网络，确定图像美学评分模型，所述图像美学评分模型的输出信息包括图像场景分类信息。该方法中，通过在主干神经网络上融合了场景信息，使得所得到的图像美学评分模型具有可解释性，同时，使用预设的卷积结构集合，可以提升图像美学评分模型的评分准确率。在一种可能的设计中，所述图像美学评分模型应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。在一种可能的设计中，将所述第一神经网络与所述图像分类神经网络串联，得到所述第二神经网络。在一种可能的设计中，对所述第一神经网络与所述图像分类神经网络进行参数共享，得到所述第二神经网络。通过加入图像分类神经网络，使得最终得到的图像美学评分模型能够给出包括场景是否协调、色彩是否均衡、光照是否合适、内容是否突出等场景信息的解释，从而使得图像的评分结果具有可解释性，极大提升了用户的使用感受。在一种可能的设计中，得到第三神经网络的过程为：在所述第二神经网络中增加损失函数计算层，得到第三神经网络；基于预设的训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息；基于预设的验证数据集，对所述第三神经网络进行验证，以确定所述图像美学评分模型。在一种可能的设计中，所述损失函数计算层包括多个分类器，每个分类器对应一种分数，每个所述分类器用于确定图像的评分与所述分类器对应的分数的关系。在一种可能的设计中，所述损失计算层的损失函数为交叉熵损失函数和类中心损失函数。通过设定基于排序的损失函数，将图像评分过程转换为多个独立的一对多分类器的集成结果，从而提升了系统的鲁棒性。在一种可能的设计中，在基于预设的训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息时，具体可以包括：根据第一训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第一训练数据集中包括多幅图像，每幅图像包含分数信息；和/或，根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第二训练数据集中包括多幅图像，每幅图像包含所述图像在所述第二训练数据集中的分数排序信息。通过单图像训练模式和/或批量图像训练模式对第三神经网络进行训练，能够提升模型的准确性。另外，批量图像训练模式所使用的训练图像无需标注图像的分数信息，仅需标注分数排序信息，而标注分数排序信息的复杂度更低，因此通过批量图像训练模式能够显著降低模型训练时对训练数据的要求，从而有效扩展训练数据集。在一种可能的设计中，在根据第一训练数据集，对所述第三神经网络进行训练时，具体可以包括：将所述第一训练数据集中的图像逐一输入所述第三神经网络，对所述第三神经网络进行训练。在一种可能的设计中，在根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息时，具体可以包括：将所述第二训练数据集中的图像划分为多组图像对，将每组图像对中的两幅图像分别输入所述第三神经网络以及对所述第三神经网络进行复制所得到的神经网络中；根据所述两幅图像的评分以及分数排序信息进行损失计算，确定所述第三神经网络的权值信息。在一种可能的设计中，在根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息时，具体可以包括：将所述第二训练数据集中的图像划分为多组子集合，将每组子集合中的图像输入所述第三神经网络中，得到评分信息；根据所述评分信息，使用基于统计学概率分布的损失函数，利用梯度下降反向传播，确定所述第三神经网络的权值信息。在一种可能的设计中，在基于预设的验证数据集，对所述第三神经网络进行验证之后，还包括：根据验证之后得到的指标值，使用预设的遍历算法，构建新的第一神经网络。通过上述预设的卷积类型库以及使用遍历算法来调整卷积结构，可以有效地增加模型的评分准确率，并且可以灵活地评估不同卷积核和卷积之间的组合对美学评分的实际影响。本申请第二方面提供一种图像评分降档处理方法，该方法包括：根据预设的图像美学评分模型、预设的至少一个质量判别模型以及预设的降档策略，得到目标评分模型。根据所述目标评分模型，对图像进行评分降档处理。该方法中，在图像美学评分模型上集成了图像评分降档处理，该降档处理使得美学评分结果对特定应用场景中所关心的低质量因素的敏感度得到极大提升。在一种可能的设计中，在根据预设的图像美学评分模型、预设的至少一个质量判别模型以及预设的降档策略，得到目标评分模型时，具体包括：将所述图像美学评分模型与所述至少一个质量判别模型集成，并使用所述预设的降档策略对集成的模型的输出进行降档处理，得到所述目标评分模型。在一种可能的设计中，所述降档策略包括如下至少一种：第一降档策略，所述第一降档策略中，影响图像评分的低质量因素与图像的评分具有第一预设对应关系；第二降档策略，所述第二降档策略中，影响图像评分的低质量因素与图像的降分比例具有第二预设对应关系；第三降档策略，所述第三降档策略将低质量图像作为训练数据，学习所述图像美学评分模型与所述质量判别模型之间的降档函数。在一种可能的设计中，所述目标评分模型应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。本申请第三方面提供一种图像重排序方法，该方法包括：获取待排序图像集合，所述待排序图像集合中每幅图像包含评分信息；根据预设的重排序模型，对所述待排序图像集合排序，得到本文档来自技高网...

【技术保护点】
一种图像美学评分模型生成方法，其特征在于，包括：/n根据预设的卷积结构集合构建第一神经网络；/n获取图像分类神经网络，其中，所述图像分类神经网络用于对图像的场景进行分类；/n根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，所述第二神经网络为包含场景信息的神经网络；/n根据所述第二神经网络，确定图像美学评分模型，所述图像美学评分模型的输出信息包括图像场景分类信息。/n

【技术特征摘要】
【国外来华专利技术】20171215 CN 2017113512834一种图像美学评分模型生成方法，其特征在于，包括：
根据预设的卷积结构集合构建第一神经网络；
获取图像分类神经网络，其中，所述图像分类神经网络用于对图像的场景进行分类；
根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，所述第二神经网络为包含场景信息的神经网络；
根据所述第二神经网络，确定图像美学评分模型，所述图像美学评分模型的输出信息包括图像场景分类信息。


根据权利要求1所述的方法，其特征在于，所述图像美学评分模型应用于电子设备，所述电子设备中包括双域执行环境，所述图像美学评分模型运行在所述双域执行环境中的可信执行环境中。


根据权利要求1或2所述的方法，其特征在于，所述根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，包括：
将所述第一神经网络与所述图像分类神经网络串联，得到所述第二神经网络。


根据权利要求1或2所述的方法，其特征在于，所述根据所述第一神经网络以及所述图像分类神经网络，得到第二神经网络，包括：
对所述第一神经网络与所述图像分类神经网络进行参数共享，得到所述第二神经网络。


根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第二神经网络，确定图像美学评分模型，包括：
在所述第二神经网络中增加损失函数计算层，得到第三神经网络；
基于预设的训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息；
基于预设的验证数据集，对所述第三神经网络进行验证，以确定所述图像美学评分模型。


根据权利要求5所述的方法，其特征在于，所述损失函数计算层包括多个分类器，每个分类器对应一种分数，每个所述分类器用于确定图像的评分与所述分类器对应的分数的关系。


根据权利要求5或6所述的方法，其特征在于，所述损失计算层的损失函数为交叉熵损失函数和类中心损失函数。


根据权利要求5-7任一项所述的方法，其特征在于，所述基于预设的训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，包括：
根据第一训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第一训练数据集中包括多幅图像，每幅图像包含分数信息；
和/或，
根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，其中，所述第二训练数据集中包括多幅图像，每幅图像包含所述图像在所述第二训练数据集中的分数排序信息。


根据权利要求8所述的方法，其特征在于，所述根据第一训练数据集，对所述第三神经网络进行训练，包括：
将所述第一训练数据集中的图像逐一输入所述第三神经网络，对所述第三神经网络进行训练。


根据权利要求8或9所述的方法，其特征在于，所述根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，包括：
将所述第二训练数据集中的图像划分为多组图像对，将每组图像对中的两幅图像分别输入所述第三神经网络以及对所述第三神经网络进行复制所得到的神经网络中；
根据所述两幅图像的评分以及分数排序信息进行损失计算，确定所述第三神经网络的权值信息。


根据权利要求8或9所述的方法，其特征在于，所述根据第二训练数据集，对所述第三神经网络进行训练，以确定所述第三神经网络的权值信息，包括：
将所述第二训练数据集中的图像划分为多组子集合，将每组子集合中的图像输入所述第三神经网络中，得到评分信息；
根据所述评分信息，使用基于统计学概率分布的损失函数，利用梯度下降反向传播，确定所述第三神经网络的权值信息。


根据权利要求5-11任一项所述的方法，其特征在于，所述基于预设的验证数据集，对所述第三神经网络进行验证之后，还包括：
根据验证之后得到的指标值，使用预设的遍历算法，构建新的第一神经网络。


一种图像评分降档处理方法，其特征在于，包括：
根据预设的图像美学评分模型、预设的至少一个质量判别模型以及预设的降档策略，得到目标评分模型；
根据所述目标评分模型，对图像进行评分降档处理。


根据权利要求13所述的方法，其特征在于，所述根据预设的图像美学评分模型、预设的至少一个质量判别模型以及预设的降档策略，得到目标评分模型，包括：
将所述图像美学评分模型与所述至少一个质量判别模型集成，并使用所述预设的降档策略对集成的模型的输出进行降档处理，得到所述目标评分模型。


根据权利要求13或14所述的方法，其特征在于，所述降档策略包括如下至少一种：
第一降档策略，所述第一降档策略中，影响图像评分的低质量因素与图像的评分具有第一预设对应关系；
第二降档策略，所述第二降档策略中，影响图像评分的低质量因素与图像的降分比例具有第二预设对应关系；
第三降档策略，所述第三降档策略将低质量图像作为训练数据，学习所述图像美学评分模型与所述质量判别模型之间的降档函数。


一种图像重排序方法，其特征在于，包括：
获取待排序图像集合，所述待排序图像集合中每幅图像包含评分信息；
根据预设的重排序模型，对所述待排序图像集合排序，得到排序后的图像集合；
其中，所述重排序模型基于强化学习框架构建，所述重排序模型用于反馈用户的特征信息，所述强化学习框架包括状态以及奖赏。


根据权利要求16所述的方法，其特征在于，所述获取待排序图像集合之前，还包括：
根据用户信息以及所述评分信息，训练所述重排序模型，所述用户信息根据用户的操作获取，所述用户的操作包括操作内容、操作顺序以及...

【专利技术属性】
技术研发人员：张晴，谢淼，芮祥麟，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44