风格化图片生成方法、装置、设备及存储介质制造方法及图纸

技术编号:34525651 阅读:16 留言:0更新日期:2022-08-13 21:16
本发明专利技术公开了风格化图片生成方法、装置、设备及存储介质,该方法包括:确定待处理的目标图片对应的目标风格类型和属性特征向量,并根据属性特征向量确定目标图片对应的风格强度特征;提取目标图片的全局属性特征;根据目标风格类型查找预设风格特征库,得到目标风格类型匹配的风格特征;将全局属性特征、风格特征和风格强度特征进行拼接得到融合特征,并根据融合特征生成目标图片对应的风格化图片。本发明专利技术实现了风格化图片生成的多样性,使得目标图片中的目标对象与风格化图片的风格更加协调。调。调。

【技术实现步骤摘要】
风格化图片生成方法、装置、设备及存储介质


[0001]本专利技术涉及图片处理
,尤其涉及一种风格化图片生成方法、装置、设备及存储介质。

技术介绍

[0002]风格化是将现实的图片经过算法处理,转变图片的源风格转为目标风格(例如,迪士尼风格,动漫风格,国漫风格等)的一种技术,对于风格化实现过程的现有方案,例如直接使用训练好的网络模型实现风格化图片生成。在实际使用中,不管输入任何图片,网络模型输出的风格化图片的风格都固定不变,同时也有可能出现风格化图片中的风格与目标对象(例如人物)不搭,从而导致目标对象形象与风格不协调。

技术实现思路

[0003]本专利技术实施例通过提供一种风格化图片生成方法、装置、设备及存储介质,旨在解决现有风格化图片处理技术使用的风格固定,导致风格化图片中的目标对象形象与风格不协调的技术问题。
[0004]本专利技术实施例提供了一种风格化图片生成方法,所述风格化图片生成方法,包括:
[0005]确定待处理的目标图片对应的目标风格类型和属性特征向量,并根据所述属性特征向量确定所述目标图片对应的风格强度特征;
[0006]提取所述目标图片的全局属性特征;
[0007]根据所述目标风格类型查找预设风格特征库,得到所述目标风格类型匹配的风格特征;
[0008]将所述全局属性特征、所述风格特征和所述风格强度特征进行拼接得到融合特征,并根据所述融合特征生成所述目标图片对应的风格化图片。
[0009]在一实施例中,确定待处理的目标图片对应的目标风格类型和属性特征向量,并根据所述属性特征向量确定所述目标图片对应的风格强度特征;
[0010]提取所述目标图片的全局属性特征;
[0011]根据所述目标风格类型查找预设风格特征库,得到所述目标风格类型匹配的风格特征;
[0012]将所述全局属性特征、所述风格特征和所述风格强度特征进行拼接得到融合特征,并根据所述融合特征生成所述目标图片对应的风格化图片。
[0013]在一实施例中,所述确定待处理的目标图片对应的目标风格类型和属性特征向量,并根据所述属性特征向量确定所述目标图片对应的风格强度特征的步骤包括:
[0014]获取预训练的属性解耦编码器;
[0015]采用所述属性解耦编码器识别所述目标图片,得到所述目标图片对应的目标风格类型和风格强度特征。
[0016]在一实施例中,所述属性解耦编码器的训练包括:
[0017]获取具有属性标注的样本对象数据,所述属性标注包括样本对象的属性标签和风格标签;
[0018]采用所述样本对象数据迭代训练原始属性解耦编码器,所述原始属性解耦编码器包括依次连接的U

Net网络和若干个三层的全连接网络;
[0019]获取每次训练后的每个所述全连接网络的交叉损失,并确定每个所述全连接网络的交叉损失的加权和;
[0020]在所述加权和小于或者等于预设交叉损失时,停止所述原始属性解耦编码器的训练,并将停止训练的所述原始属性解耦编码器存储为所述属性解耦编码器。
[0021]在一实施例中,所述提取所述目标图片的全局属性特征的步骤包括:
[0022]获取预训练的全局信息编码器;
[0023]采用所述全局信息编码器识别所述目标图片,得到所述目标图片的全局属性特征。
[0024]在一实施例中,所述将所述全局属性特征、所述风格特征和所述风格强度特征进行拼接得到融合特征,并根据所述融合特征生成所述目标图片对应的风格化图片的步骤包括:
[0025]基于所述全局属性特征、所述风格特征和所述风格强度特征的通道维度,将所述全局属性特征、所述风格特征和所述风格强度特征进行叠加得到所述融合特征;
[0026]获取预训练的风格解码器;
[0027]采用所述风格解码器识别所述融合特征,输出所述目标图片对应的风格化图片。
[0028]在一实施例中,所述全局信息编码器和所述风格解码器的训练包括:
[0029]获取具有风格标签的训练风格数据图片、训练风格强度数据和预训练的属性解耦编码器;
[0030]采用所述训练风格数据图片训练原始全局信息编码器,以由所述原始全局信息编码器输出所述训练风格数据图片的训练全局属性特征;
[0031]从预设风格特征库获取所述风格标签匹配的训练风格特征;
[0032]将所述训练风格数据图片输入所述属性解耦编码器,得到所述训练风格数据图片对应的训练风格强度特征;
[0033]将所述训练全局属性特征、所述训练风格特征和所述训练风格强度特征进行拼接,得到融合训练特征;
[0034]采用所述融合训练特征训练原始风格解码器,以由所述所述原始风格解码器输出所述训练风格数据图片对应的训练风格化图片;
[0035]根据所述风格标签,获取与所述训练风格化图片相匹配的预设风格图片,并将所述训练风格化图片和所述预设风格图片输入损失函数判别网络,得到损失值;
[0036]在所述损失值小于或者等于预设值时,停止所述原始全局信息编码器和所述原始风格解码器的训练,并将停止训练的所述原始全局信息编码器和所述原始风格解码器存储为所述全局信息编码器和所述风格解码器。
[0037]在一实施例中,所述风格化图片生成方法,还包括:
[0038]获取待处理的目标图片;
[0039]在所述目标图片中不包含提取所述目标风格类型的预设触发动作时,执行所述确
定待处理的目标图片对应的目标风格类型和属性特征向量,并根据所述属性特征向量确定所述目标图片对应的风格强度特征的步骤。
[0040]此外,为实现上述目的,本专利技术还提供了一种风格化图片生成装置,所述风格化图片生成装置包括:
[0041]第一获取模块,用于确定待处理的目标图片对应的目标风格类型和属性特征向量,并根据所述属性特征向量确定所述目标图片对应的风格强度特征;
[0042]第二获取模块,用于提取所述目标图片的全局属性特征;
[0043]第三获取模块,用于根据所述目标风格类型查找预设风格特征库,得到所述目标风格类型匹配的风格特征;
[0044]图片生成模块,用于将所述全局属性特征、所述风格特征和所述风格强度特征进行拼接得到融合特征,并根据所述融合特征生成所述目标图片对应的风格化图片。
[0045]此外,为实现上述目的,本专利技术还提供了一种终端设备,所述终端设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的风格化图片生成程序,所述风格化图片生成程序被所述处理器执行时实现上述的风格化图片生成方法的步骤。
[0046]此外,为实现上述目的,本专利技术还提供了一种存储介质,其上存储有风格化图片生成程序,所述风格化图片生成程序被处理器执行时实现上述的风格化图片生成方法的步骤。
[0047]本专利技术实施例中提供的一种风格化图片生成方法、装置、设备及存储介质的技术方案,至少具有如下技术效果或优点:
[0本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种风格化图片生成方法,其特征在于,所述风格化图片生成方法包括:确定待处理的目标图片对应的目标风格类型和属性特征向量,并根据所述属性特征向量确定所述目标图片对应的风格强度特征;提取所述目标图片的全局属性特征;根据所述目标风格类型查找预设风格特征库,得到所述目标风格类型匹配的风格特征;将所述全局属性特征、所述风格特征和所述风格强度特征进行拼接得到融合特征,并根据所述融合特征生成所述目标图片对应的风格化图片。2.如权利要求1所述的方法,其特征在于,所述确定待处理的目标图片对应的目标风格类型和属性特征向量,并根据所述属性特征向量确定所述目标图片对应的风格强度特征的步骤包括:获取预训练的属性解耦编码器;采用所述属性解耦编码器识别所述目标图片,得到所述目标图片对应的目标风格类型和风格强度特征。3.如权利要求2所述的方法,其特征在于,所述属性解耦编码器的训练包括:获取具有属性标注的样本对象数据,所述属性标注包括样本对象的属性标签和风格标签;采用所述样本对象数据迭代训练原始属性解耦编码器,所述原始属性解耦编码器包括依次连接的U

Net网络和若干个三层的全连接网络;获取每次训练后的每个所述全连接网络的交叉损失,并确定每个所述全连接网络的交叉损失的加权和;在所述加权和小于或者等于预设交叉损失时,停止所述原始属性解耦编码器的训练,并将停止训练的所述原始属性解耦编码器存储为所述属性解耦编码器。4.如权利要求1所述的方法,其特征在于,所述提取所述目标图片的全局属性特征的步骤包括:获取预训练的全局信息编码器;采用所述全局信息编码器识别所述目标图片,得到所述目标图片的全局属性特征。5.如权利要求4所述的方法,其特征在于,所述将所述全局属性特征、所述风格特征和所述风格强度特征进行拼接得到融合特征,并根据所述融合特征生成所述目标图片对应的风格化图片的步骤包括:基于所述全局属性特征、所述风格特征和所述风格强度特征的通道维度,将所述全局属性特征、所述风格特征和所述风格强度特征进行叠加得到所述融合特征;获取预训练的风格解码器;采用所述风格解码器识别所述融合特征,输出所述目标图片对应的风格化图片。6.如权利要求5所述的方法,其特征在于,所述全局信息编码器和所述风格解码器的训练包括:获取具有风格标签的训练风格数据图片、训练风格强度数据和预训练的属性解耦编码器;采用所述训练风格数...

【专利技术属性】
技术研发人员:谢中流钟凯宇郑曌琼丁保阳张术
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1