美学性引导的个性化图像增强交互系统技术方案

本发明专利技术涉及一种美学性引导的个性化图像增强交互系统，图像编辑器根据输入的图像编辑参数将输入待增强图像映射为增强后的输出图像；将图像编辑器输出图像送入审美偏好特征提取器中，提取审美偏好特征，获得的审美偏好特征与用户的审美偏好特征进行比较，得到审美偏好损失；同时，将图像编辑器输出图像送入图像美学性评分器，输出该图像的美学性得分分布，并与最优美学性得分分布进行比较，得到美学性损失；将上述审美偏好损失和美学性损失相加，得到总损失函数，以减小总损失函数的数值为目标，通过梯度反向传播循环迭代式地更新图像编辑参数。根据大众审美的标准自动地对图像进行美化，同时允许用户按照个人审美偏好进行手动干预，完成个性化图像增强。完成个性化图像增强。完成个性化图像增强。

【技术实现步骤摘要】
美学性引导的个性化图像增强交互系统


[0001]本专利技术涉及一种图像处理技术，特别涉及一种美学性引导的个性化图像增强交互系统。

技术介绍

[0002]当前，随着社会互联网的飞速发展，在社交网络中分享照片已经成为了人们生活中的重要需求之一。对于缺乏专业摄影技巧和知识的普通用户，在拍摄照片时很难对色彩、饱和度、亮度等因素进行合理把控。因此，日常拍摄的照片通常需要经过精心的手工修改和编辑才能满足人们的审美偏好。然而，对图像进行手工修改和编辑需要一定的专业技能，并且修改和编辑过程费时费力。

技术实现思路

[0003]针对图像自动增强的现实需求，提出了一种美学性引导的个性化图像增强交互系统。该系统能够根据美学性和个性化审美偏好自动地对图像进行增强。
[0004]本专利技术的技术方案为：一种美学性引导的个性化图像增强交互系统，由图像美学性评分器、图像编辑器和审美偏好提取器组成；
[0005]待增强图像和图像编辑参数作为图像编辑器的输入，图像编辑器根据图像编辑参数将待增强图像映射为增强后的输出图像；
[0006]将图像编辑器的输出图像送入审美偏好特征提取器中，提取审美偏好特征，获得的审美偏好特征与用户的审美偏好特征进行比较，得到审美偏好损失；
[0007]将图像编辑器的输出图像送入图像美学性评分器，输出该图像的美学性得分分布，并与最优美学性得分分布进行比较，得到美学性损失；
[0008]将上述审美偏好损失和美学性损失相加，得到总损失函数，以减小总损失函数的数值为目标，通过梯度反向传播循环迭代式地更新图像编辑参数。
[0009]一种美学性引导的个性化图像增强交互系统中图像编辑器建立方法，所述图像编辑器以自编码网络为基础，以图到图的形式生成增强后的图像，采用U型网络作为图像编辑器，U型网络的编码器由9层卷积和4层最大池化构成；解码器由9层卷积和4层上采样转置卷积构成；U型网络中还配置一系列跳跃连接，将同一分辨率下的编码特征传递到解码器，与解码特征进行通道拼接，缓解细节信息的丢失；
[0010]待增强图像为I
in
，其空间分辨率为P
×
Q，将O个图像编辑参数扩展为O
×
P
×
Q的张量，其中P
×
Q表示空间分辨率，与待增强图像的空间分辨率保持一致；O表示通道数，其数值等于图像编辑参数的个数；扩展的方式为：将第o个图像编辑参数复制P
×
Q份后排布成P
×
Q的矩阵；该矩阵作为图像编辑参数张量中的第o个通道，将图像编辑参数张量与待增强图像拼接，得到(O+3)
×
P
×
Q的张量，该张量作为图像编辑器的输入，图像编辑器的输出图像为I
out
，其尺寸为3
×
P
×
Q。
[0011]进一步，所述图像编辑器中图像编辑参数作为图像编辑器输入的一部分，独立于
图像编辑器，将O个图像编辑参数设置为系统的接口，用于用户进行手动干预。
[0012]一种美学性引导的个性化图像增强交互系统中审美偏好特征提取器，从某个用户u的偏好图像集和非偏好图像集中进行采样，分别得到正样本图像和负样本图像，审美偏好特征提取器分别提取正样本图像和负样本图像的审美偏好特征，得到f
p
和f
n
，它们与用户的审美偏好特征f
u
一起构成三元组损失：
[0013]L
triple
＝max(D(f
u
,f
p
)
‑
D(f
u
,f
n
)+m,0)
[0014]其中，D(
·
,
·
)度量两个特征向量之间的距离；m表示三元组损失的裕度；训练起始时，随机初始化用户的审美偏好特征f
u
，训练过程中，通过梯度反向传播更新审美偏好特征提取器的参数以及用户的审美偏好特征f
u
，使得用户的审美偏好特征与其偏好图像的审美偏好特征相接近，与其非偏好图像的审美偏好特征相远离。
[0015]优选的，所述审美偏好特征提取器中用户的审美偏好特征更新方法：用户在图像增强过程中施加手动干预为偏好图像集和非偏好图像集的扩充提供了途径，将用户实施手动干预前一时刻的图像编辑器的输出图像加入非偏好图像集；将用户完成手动干预时刻的图像编辑器的输出图像加入偏好图像集；系统为每一位用户提供单独的存储空间，用于保存该用户的偏好图像集和非偏好图像集；更新过程为：先从当前用户的偏好图像集和非偏好图像集中采样正负样本图像，再构造三元组损失函数，最后通过梯度反向传播更新该用户的审美偏好特征。
[0016]一种美学性引导的个性化图像增强交互系统中图像美学性评分器，以ResNet50作为主干网络，以EMD作为损失函数指导网络训练；
[0017]ResNet50由卷积块和残差块级联组成，其中，卷积块用于调整特征张量的尺寸；残差块中配置了跳层连接，缩短误差反向传播的路径，抑制训练过程中的梯度消失现象；ResNet50还配置有批归一化和线性修正，批归一化缓解了网络输出数据的分布随网络参数变化的内部协变效应，线性修正利于保存网络的学习成果，防止过拟合现象；EMD损失衡量了网络输出美学性得分分布与真实得分分布之间的差异，单个样本EMD损失的计算方式如下所示：
[0018][0019]其中，CDF
p
(k)表示真实得分分布的累积分布函数，其计算式为其中p
j
表示图像美学性得分为j的真实概率，表示网络输出美学性得分分布的累积分布函数，其中表示图像美学性得分为j的预测概率，K表示得分的分级数。
[0020]本专利技术的有益效果在于：本专利技术美学性引导的个性化图像增强交互系统，根据大众审美的标准自动地对图像进行美化，同时允许用户在修改过程中按照个人的审美偏好进行手动干预；系统在用户手动干预的过程中记录并学习用户的审美偏好；随着用户使用次数的增多，系统能够结合用户的审美偏好完成个性化的图像增强。
附图说明
[0021]图1为本专利技术美学性引导的个性化图像增强交互系统结构示意图；
[0022]图2为本专利技术系统中图像编辑器训练过程示意图；
[0023]图3为本专利技术系统中审美偏好特征提取器训练过程示意图；
[0024]图4为本专利技术审美偏好特征更新过程图。
具体实施方式
[0025]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0026]图像美学性评价是指模型根据色彩、锐度、色调、清晰度、浅景深(shallow depth of field)、三分构图规则(rule of thirds)等要素评判一张图像是否符合大众审美的标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种美学性引导的个性化图像增强交互系统，其特征在于，由图像美学性评分器、图像编辑器和审美偏好提取器组成；待增强图像和图像编辑参数作为图像编辑器的输入，图像编辑器根据图像编辑参数将待增强图像映射为增强后的输出图像；将图像编辑器的输出图像送入审美偏好特征提取器中，提取审美偏好特征，获得的审美偏好特征与用户的审美偏好特征进行比较，得到审美偏好损失；将图像编辑器的输出图像送入图像美学性评分器，输出该图像的美学性得分分布，并与最优美学性得分分布进行比较，得到美学性损失；将上述审美偏好损失和美学性损失相加，得到总损失函数，以减小总损失函数的数值为目标，通过梯度反向传播循环迭代式地更新图像编辑参数。2.一种美学性引导的个性化图像增强交互系统中图像编辑器建立方法，其特征在于，所述图像编辑器以自编码网络为基础，以图到图的形式生成增强后的图像，采用U型网络作为图像编辑器，U型网络的编码器由9层卷积和4层最大池化构成；解码器由9层卷积和4层上采样转置卷积构成；U型网络中还配置一系列跳跃连接，将同一分辨率下的编码特征传递到解码器，与解码特征进行通道拼接，缓解细节信息的丢失；待增强图像为I
in
，其空间分辨率为P
×
Q，将O个图像编辑参数扩展为O
×
P
×
Q的张量，其中P
×
Q表示空间分辨率，与待增强图像的空间分辨率保持一致；O表示通道数，其数值等于图像编辑参数的个数；扩展的方式为：将第o个图像编辑参数复制P
×
Q份后排布成P
×
Q的矩阵；该矩阵作为图像编辑参数张量中的第o个通道，将图像编辑参数张量与待增强图像拼接，得到(O+3)
×
P
×
Q的张量，该张量作为图像编辑器的输入，图像编辑器的输出图像为I
out
，其尺寸为3
×
P
×
Q。3.根据权利要求2所述美学性引导的个性化图像增强交互系统中图像编辑器建立方法，其特征在于，所述图像编辑器中图像编辑参数作为图像编辑器输入的一部分，独立于图像编辑器，将O个图像编辑参数设置为系统的接口，用于用户进行手动干预。4.一种美学性引导的个性化图像增强交互系统中审美偏好特征提取器，其特征在于，从某个用户u的偏好图像集和非偏好图像集中进行采样，分别得到正样本图像和负样本图像，审美偏好特征提取器分别提取正样本图像和负样本图像的审美偏好特征...

【专利技术属性】
技术研发人员：黄荣，宋俊杰，周树波，刘浩，董爱华，王直杰，
申请(专利权)人：东华大学，
类型：发明
国别省市：