基于深度对抗网络的视频-动画风格迁移方法技术

本发明专利技术公开了一种基于深度对抗网络的视频‑动画风格迁移方法。使用本发明专利技术能够从无配对、仅含风格标签的训练数据中学习，能迁移从未见过的新风格。本发明专利技术采用生成‑对抗网络，通过内容编码器和风格编码器实现动作片段的动作内容和动作风格解耦，通过解码器进行动作内容、风格匹配，并利用判别器对匹配结果的风格(包括真实性)、动作内容进行判断，进而完成风格迁移。该方法能在无配对的数据上训练，且风格编码器具有一般性，能够迁移全新的风格，此外，该方法能绕过三维重建，直接从二维视频中提取风格，迁移到三维动作上，大大拓展了动作风格迁移的应用范围。

【技术实现步骤摘要】
基于深度对抗网络的视频-动画风格迁移方法
本专利技术涉及动画制作
，具体涉及一种基于深度对抗网络的视频-动画风格迁移方法。
技术介绍
动作的风格可以理解为一系列体现发出动作者情绪与特征的动作要素的集合，常见风格包括“得意的”、“沮丧的”、“像老人的”等等。动作风格迁移狭义上指的是使用动作片段S的动作风格与动作片段C的动作内容生成一段新的动作，广义上也包含根据动作片段C的内容，生成指定风格类别、内容相同的动作等。现有的动作风格迁移技术分为两大类别：一类使用预定义的特征(如运动模型的物理参数)提取、迁移风格，但人工定义的特征无法完全刻画复杂的风格；另一类使用数据驱动的方法，基于带标注的三维风格动作数据集训练神经网络等机器学习模型，如Holden等训练了一个动作自编码器(DanielHolden,JunSaito,andTakuKomura.2016.Adeeplearningframeworkforcharactermotionsynthesisandediting.ACMTransactionsonGraphics(TOG)35,4(201本文档来自技高网...

【技术保护点】
1.一种基于深度对抗网络的视频-动画风格迁移方法，其特征在于，包括如下步骤：/n步骤1，构建生成-对抗网络；其中，生成-对抗网络包括生成器和判别器，生成器包括内容编码器E

【技术特征摘要】
1.一种基于深度对抗网络的视频-动画风格迁移方法，其特征在于，包括如下步骤：
步骤1，构建生成-对抗网络；其中，生成-对抗网络包括生成器和判别器，生成器包括内容编码器EC、风格编码器ES和解码器F；
内容编码器EC包含实例归一化的一维时序卷积层和实例归一化的残差卷积层，将输入的内容动作片段ms编码为包含时序信息的内容向量zc；
风格编码器ES包含2个一维时序卷积层和一个池化层，将输入的风格动作片段nt编码为不含时序信息的固定长度的风格向量zs；其中，风格编码器ES包括二维风格编码器和三维风格编码器，分别接收并编码二维风格动作片段和三维风格动作片段；
解码器F包含AdaIN层、残差卷积层、上采样层和无激活函数的卷积层，对内容向量zc进行卷积与上采样，并利用AdaIN层注入风格向量zs的信息，得到风格迁移后的动作片段mt＝F(EC(ms)|ES(nt))；
判别器判别动作片段mt的动作是否属于风格t的真实动作；
步骤2，分别以“-Ladv”与“Lcon+αadvLadv+αjointLjoint+αtripLtrip”为损失函数，交替训练步骤1构建的生成器和判别器，得到训练好的生成-对抗网络；
其中，Ladv为对抗损失函数：对于输入内容动作片段ms、风格动作片段nt，判别器D希望最大化对真实片段nt的评分Dt(nt)，最小化对生成器输出片段的评分Dt(F(EC(ms)|ES(nt)))；生成器G希望最大化对其输出片段的评分Dt(F(EC(ms)|ES(nt)))；
Lcon为内容一致性损失函数：当内容输入为ms、风格输入为ns，与内容输入具有相同风格时，生成器应当重建内容输入ms；
Ltrip为风格三元组损失函数：标签相同的动作对应风格向量之间距离至少比标签不同的动作对应风格向量之间的距离小设定值；
Ljoint为二维-三维共享嵌入损失函数：将三维动作nt投影为二维动作P(nt；p)，希望ES2D,ES3D将P(nt；p),nt映射为同一个风格向量；
αadv、αjoint、αtrip分别为对应损失函数的权重；
步骤3，将待迁移风格的内容动作片段和拟采用风格的风格动作片段输入训练好的生成器，实现风格迁移。


2.如权利要求1所述的基于...

【专利技术属性】
技术研发人员：翁伊嘉，科菲尔·阿博曼，陈宝权，达尼·李其思，达尼·科恩尔，
申请(专利权)人：北京电影学院，
类型：发明
国别省市：北京;11