【技术实现步骤摘要】
本专利技术属于计算机视觉，尤其涉及一种用于异构几何拓扑结构人脸转换的外形轮廓约束方法。
技术介绍
1、大多数图像变换任务都是几何拓扑结构差异比较小的图像域之间的风格转换，如油画和照片、真实人脸和动漫之间，但对于几何拓扑结构相差较大的图像，如真实人脸和皮影，真实人脸和剪纸等，并非如此。本专利技术适合的是一种几何拓扑结构差异比较大的人脸图像之间的风格变换的任务。因为目标图像是介于两个几何拓扑结构差异比较大的人脸图像域风格之间的中间风格的图像，目标中间风格人脸图像在生成过程中，内容和几何拓扑结构会同时进行转换，但是几何拓扑结构特别是外形轮廓既没有保持住源图像域真人的轮廓，也没有与另一图像域人脸的大致几何拓扑结构一致。因此，对于想要保持原有轮廓的中间风格图像域的生成，使用现有的方案很难满足这样的需求。。
技术实现思路
1、本专利技术目的在于提供一种用于异构几何拓扑结构人脸转换的外形轮廓约束方法，以解决上述的技术问题。
2、为解决上述技术问题，本专利技术的一种用于异构几何拓扑结构人脸转换...
【技术保护点】
1.一种用于异构几何拓扑结构人脸转换的外形轮廓约束方法，其特征在于，所述方法在原始CycleGAN网络架构的基础上，通过在图像域X到图像域Y转换过程中依次插入两个中间域Z1和Z2，图像域X通过生成器Gx得到中间域Z1，之后图像域X通过轮廓提取网络Gget0得到图像域X对应的人脸轮廓域X_G，接着利用轮廓融合网络Gfusion融合图像域Z1和人脸轮廓域X_G得到图像域Z2，即生成的目标图像，最后利用生成器GZ生成图像域Y；通过图像域Z2构建鉴别器，对目标生成图像域Z2与图像域Z2对应的真实图像域Z利用L1范数构建对应鉴别器损失，用来训练中间域生成器GX和融合网络Gfus...
【技术特征摘要】
1.一种用于异构几何拓扑结构人脸转换的外形轮廓约束方法，其特征在于，所述方法在原始cyclegan网络架构的基础上，通过在图像域x到图像域y转换过程中依次插入两个中间域z1和z2，图像域x通过生成器gx得到中间域z1，之后图像域x通过轮廓提取网络gget0得到图像域x对应的人脸轮廓域x_g，接着利用轮廓融合网络gfusion融合图像域z1和人脸轮廓域x_g得到图像域z2，即生成的目标图像，最后利用生成器gz生成图像域y；通过图像域z2构建鉴别器，对目标生成图像域z2与图像域z2对应的真实图像域z利用l1范数构建对应鉴别器损失，用来训练中间域生成器gx和融合网络gfusion；之后通过轮廓提取网络gget得到目标生成图像域z2的轮廓图像域z_g，并与真实人脸轮廓图像域x_g利用l1范数构建轮廓损失函数来进一步训练中间域生成器gx和融合网络gfusion，提高轮廓融合效果，从而得到具有所需的特定外形轮廓和介于x图像域风格和y图像域风格之间的中间风格的人脸图案。
2.根据权利要求1所述的用于异构几何拓扑结构人脸转换的外形轮廓约束方法，其特征在于，循环生成对抗网络以cyclegan网络模型作为基础架构，在图像域x到图像域y的生成过程中依次插入两个中间域z1和z2，图像域x通过生成器gx得到中间域z1，在z1之后添加轮廓融合网络gfusion，从z1图像域中提取出五个特征通道，以人脸轮廓域x_g作为第六个特征通道，采用注意力机制进行通道的卷积融合，并引入鉴别器对融合结果进行约束，从而提高人脸轮廓与中间域图像的融合效果，使得轮廓融合网络输出的图像域z2具备原人脸的轮廓特征。
3.根据权利要求2所述的用于异构几何拓扑结构人脸转换的外形轮廓约束方法，其特征在于，所述轮廓提取网络以卷积神经网络作为基础架构，由6个卷积-激活模块与6个反卷积-激活模块组成，利用opencv库对真实人脸域x的数据集进行轮廓提取，挑选人脸轮廓提取前50％效果较好的人脸图像和其对应的轮廓图像组成用于训练的数据集，利用真实人脸图像作输入，对应的轮廓图像作输出进行预训练，得到满足需求的轮廓提取网络gget0，并保存其权重参数；然后和上述的相同步骤，利用opencv库对中间域z2对应真实图像域z的数据集进行轮廓提取，挑选皮影轮廓提取前50％效果较好的皮影图像和其对应的轮廓图像组成用于训练的数据集，利用皮影图像作输入，对应的轮廓图像作输出进行预训练，得到满足需求的轮廓提取网络gget，也...
【专利技术属性】
技术研发人员：童衍鑫，徐佳乐，顾欣怡，杜璇，黄经州，周后盘，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。