漫画视频生成方法及漫画生成方法、装置、设备、介质制造方法及图纸

本发明专利技术提供一种漫画视频生成方法及漫画生成方法、装置、设备、介质，所述的漫画视频生成方法包括：将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别；根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。可将漫画图片进行视频处理，获取漫画视频，经过这个生成器网络与鉴别器网络的对抗训练过程，降低转化漫画图片的噪声，提高转化效果。

【技术实现步骤摘要】
漫画视频生成方法及漫画生成方法、装置、设备、介质
本专利技术涉及电子技术，特别是涉及一种短视频生成方法、装置、设备及介质。
技术介绍
随着短视频的兴起和传播，用户对拍摄出不同风格、样式的短视频的需求日益增大，其中，漫画风格的短视频尤其受到用户青睐。目前，漫画风格的短视频存在生成效果不佳、不够逼近真实漫画效果等问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供高效的漫画生成方法，用于解决漫画风格短视频创作的问题。为实现上述目的及其他相关目的，本专利技术提供一种漫画生成方法，包括：将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别；根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。可选的，所述生成器网络包括用于将实际图片生成为转化漫画图片的第一生成器子网络和用于转化漫画图片生成为转化实际图片的第二生成器子网络，所述鉴别器网络包括用于鉴别转化漫画图片是否为真漫画的第一鉴别器子网络和用于鉴别转化实际图片是否为真的实际图片的第二鉴别器子网络。可选的，所述生成器网络的处理过程包括：镜像填充处理、卷积处理、激活处理、归一化处理、残差处理。可选的，所述鉴别器网络的处理过程包括：镜像填充处理、卷积处理、激活处理、归一化处理。可选的，所述第二对抗损失包括：lab＝(1-Db(Target))2+(Db(Gab(Real)))2lba＝(1-Da(Real))2+(Da(Gba(Target)))2其中，lab和lba分别表示第一鉴别器子网络Da、第二鉴别器子网络Db对转化漫画图片、转化实际图片的鉴别能力，Real表示实际图片，Target表示转化漫画图片，Gab和Gba分别表示第一生成器子网络和第二生成器子网络。可选的，所述第二对抗损失包括变分损失，所述变分损失包括：其中，ltvab表示第一变分损失，ltvba表示第二变分损失，分别表示对第一生成器子网络Gab和第二生成器子网络Gba的结果求x、y方向梯度，Real表示实际图片，Target表示转化漫画图片，γ为常量。可选的，所述第二对抗损失包括内容损失，所述内容损失包括：其中，lcontent表示内容损失，VGGn表示通过VGG神经网络的前n层作为特征提取网络，表示l1正则化，Real表示实际图片。可选的，所述第二对抗损失包括风格损失，所述风格损失包括：其中，lstyle表示风格损失，VGGn表示通过VGG神经网络的前n层作为特征提取网络，表示l1正则化，Target表示转化漫画图片。可选的，所述第二对抗损失还包括一致性损失，所述一致性损失包括：其中，ltarget表示转化漫画图片的一致性损失，lReal表示实际图片的一致性损失，表示l1正则化，Real表示实际图片，Target表示转化漫画图片。可选的，所述第二对抗损失还包括环回损失，所述环回损失包括：其中，lcycle表示环回损失，Target表示转化漫画图片，表示l1正则化，Gab和Gba分别表示第一生成器子网络和第二生成器子网络。可选的，所述第二对抗损失还包括注意力损失，所述注意力损失包括：其中，latt表示注意力损失；EyesPatch、NosePatch、LipsPatch分别表示实际图片中检测到的眼部、鼻子、嘴唇区域；Real(t)表示从实际图片中提取相应的图像区域；Gba(Gab(Real))(t)表示先将实际图片输入到第一生成器子网络中，生成转化漫画图片，然后再将转化漫画图片通过第二生成器子网络转化为转化实际图片，再从转化后实际图片中提取t对应的位置，t包括EyesPatch、NosePatch、LipsPatch。可选的，所述第一对抗损失包括生成器对抗损失：ladvab＝(1-Db(Gab(Real)))2ladvba＝(1-Da(Gba(Target)))2其中，ladvab表示第一生成器损失，ladvba表示第二生成器损失，Da表示第一鉴别器子网络，Db表示第二鉴别器子网络，Gab和Gba分别表示第一生成器子网络和第二生成器子网络，Real表示实际图片，Target表示转化漫画图片。可选的，第一对抗损失包括：lG＝ladvab+ladvba+α1(latt+lcycle)+a2(ltvab+ltvba)+α3(lcontent+lstyle)+α4(ltarget+lReal)其中，α1、α2、α3、α4表示权重参数，ltvab表示第一变分损失，ltvba表示第二变分损失，lcontent表示内容损失，lstyle表示风格损失，ltarget表示转化漫画图片的一致性损失，lReal表示实际图片的一致性损失，lcycle表示环回损失，latt表示注意力损失。一种漫画视频生成方法，包括：将实际图片通过生成处理生成转化漫画图片；将所述漫画图片进行视频处理，获取漫画视频，所述视频处理包括以下之一：配乐、添加字幕、分镜、转场、拼接、渲染。一种漫画生成装置，包括：训练模块，用于将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别，根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；转化模块，用于将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。一种设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如一个或多个所述的方法。一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行中一个或多个所述的方法。如上所述，本专利技术提供的一种漫画视频生成方法及漫画生成方法、装置、设备、介质，具有以下有益效果：生成器网络将实际图片转化为特定漫画风格的转化漫画图片；鉴别器网络判断生成的转化漫画图片是否为真漫画，如果鉴别结果不是真漫画，则生成器网络会不断在训练中改善生成能力，使转化漫画图片被鉴定为真的概率越来越高，同时鉴别器网络也在训练中不断加强鉴别能力，使生成器网络生成的真漫画越来越难，经过这个生成器网络与鉴别器网络的对抗训练过程，生成器网络的生成能力越来越强，直到可生成高质量的漫画效果，降低转化漫画图片的噪声，提高转化效果。附图说明图1为本专利技术实施例提供的漫画视频生成方法的流程示意图。图2为本专利技术实施例提供的生成器网络结构示意图。图3为本专利技术实施例提供的鉴别器网络结构示意图。图4本文档来自技高网...

【技术保护点】
1.一种漫画生成方法，其特征在于，包括：/n将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别；/n根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；/n将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。/n

【技术特征摘要】
1.一种漫画生成方法，其特征在于，包括：
将实际图片通过训练处理获取转化漫画图片，所述训练处理包括：通过生成器网络将实际图片生成为转化漫画图片，通过鉴别器网络将所述转化漫画图片进行鉴别；
根据所述生成器网络的第一对抗损失训练所述生成器网络，根据生成器网络与鉴别器网络之间的第二对抗损失训练所述鉴别器网络；
将所述实际图片通过训练后的所述生成器网络进行转化，完成漫画生成。


2.根据权利要求1所述的漫画生成方法，其特征在于，所述生成器网络包括用于将实际图片生成为转化漫画图片的第一生成器子网络和用于转化漫画图片生成为转化实际图片的第二生成器子网络，所述鉴别器网络包括用于鉴别转化漫画图片是否为真漫画的第一鉴别器子网络和用于鉴别转化实际图片是否为真的实际图片的第二鉴别器子网络。


3.根据权利要求2所述的漫画生成方法，其特征在于，所述生成器网络和所述鉴别器网络的处理过程分别包括：镜像填充处理、卷积处理、激活处理、归一化处理、残差处理。


4.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失包括：
lab＝(1-Db(Target))2+(Db(Gab(Real)))2
lba＝(1-Da(Real))2+(Da(Gba(Target)))2
其中，lab和lba分别表示第一鉴别器子网络Da、第二鉴别器子网络Db对转化漫画图片、转化实际图片的鉴别能力，Real表示实际图片，Target表示转化漫画图片，Gab和Gba分别表示第一生成器子网络和第二生成器子网络。


5.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失包括变分损失，所述变分损失包括：






其中，ltvab表示第一变分损失，ltvba表示第二变分损失，表示对第一生成器子网络Gab和第二生成器子网络Gba的结果分别求x、y方向梯度，Real表示实际图片，Target表示转化漫画图片，γ为常量。


6.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失包括内容损失，所述内容损失包括：



其中，lcontent表示内容损失，VGGn表示通过VGG神经网络的前n层作为特征提取网络，表示l1正则化，Real表示实际图片。


7.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失包括风格损失，所述风格损失包括：



其中，lstyle表示风格损失，VGGn表示通过VGG神经网络的前n层作为特征提取网络，表示l1正则化，Target表示转化漫画图片。


8.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失还包括一致性损失，所述一致性损失包括：






其中，ltarget表示转化漫画图片的一致性损失，lReal表示实际图片的一致性损失，表示l1正则化，Real表示实际图片，Target表示转化漫画图片。


9.根据权利要求2所述的漫画生成方法，其特征在于，所述第二对抗损失还包括环回损失，所述环回损失包括：



其中，lcy...

【专利技术属性】
技术研发人员：雷杨，刘鹏，黄跃中，
申请(专利权)人：广州梦映动漫网络科技有限公司，
类型：发明
国别省市：广东;44