基于生成式对抗网络的姿态迁移方法、电子设备及介质技术

本发明专利技术涉及图像处理技术领域，具体为基于生成式对抗网络的姿态迁移方法、电子设备及介质，获取迁移对象和被迁移对象图像数据；将迁移对象和被迁移对象的图像数据送入姿势检测器；将迁移对象和被迁移对象的关节点绘制成火柴人模型；将迁移和被迁移对象的真实样本图像和火柴人模型送入姿态迁移网络，分别作为GAN网络的标签和随机噪声向量；经过姿态迁移网络得到迁移结果；本发明专利技术有效对人体目标图像进行关节点检测定位，根据定位的关节点将迁移对象姿态映射到被迁移对象，同时生成清晰的人物身体边缘、面部图像，保证时间和空间的连续性。保证时间和空间的连续性。保证时间和空间的连续性。

【技术实现步骤摘要】
基于生成式对抗网络的姿态迁移方法、电子设备及介质


[0001]本专利技术涉及图像处理
，具体为基于生成式对抗网络的姿态迁移方法、电子设备及介质。

技术介绍

[0002]近年来，生成式对抗网络(Generative Adversarial Nets，GAN)迅速发展，特别是深度神经网络(Deep Neural Networks，DNN)理论技术不断成熟，各种优秀的算法模型层出不穷，GAN与DNN结合取得了优异的成果，已经成为当前计算机视觉领域的主要研究方向之一。GAN网络模型框架中至少包含两个模块：生成模型(G)、判别模型(D)，二者相互博弈产生较好的输出结果。GAN模型早期阶段，并不要求G和D 都是神经网络模型，只需要能够拟合相应的生成模型和判别模型的函数即可。在实际应用中，一般均使用DNN作为G和D。一个优秀的GAN应该具备良好的训练方法，否则很可能由于神经网络的自由性导致模型输出结果不理想。
[0003]姿态迁移则是当前计算机视觉任务研究热点之一，可以理解为一个对象的肢体状态或者姿态动作迁移到另外一个目标，同时维持被迁移对象外观，在这个过程中尽可能地保证时间和空间的连贯性。目前姿态迁移任务一般需要两个阶段进行，第一个阶段是获得目标对象诸如外接矩形框或者人体关节点等信息，第二个阶段利用第一阶段获得的信息进行姿态动作迁移。外接矩形框方法由于没办法获取在某个姿态下目标对象的肢体位置，进行姿态迁移时生成的被迁移对象肢体边界模糊甚至出现变形等现象。基于关节点进行姿态迁移详细考虑了目标对象某个姿态下的肢体位置信息以及与该位置相关的其他肢体信息，关节点个数不同获得的迁移结果也有所差异。关节点的数量和位置要根据实际任务需求进行选取，关节点位置如何选取、标注是否精确同样影响着最终的迁移结果。
[0004]目前使用GAN进行姿态迁移的解决方案中，仍然存在着一些问题。首先是GAN网络自身的局限性，G、D两种模型需要在不断的对抗当中达到动态平衡(理想情况下达到纳什平衡)，当其中某一个模型性能特别好时，另外一个模型就会变得特别差，进而导致模型过拟合无法使用。
[0005]其次，GAN网络进行姿态迁移之前，接收的是第一阶段的输出，这个输出一般是检测目标的外接矩形框或者关节点。那么获得矩形框的模型或者获得关节点的姿势检测器的性能尤为重要，制约着GAN网络性能。因此，需要尽可能精确获得检测目标的外接矩形框或者人体关节点。
[0006]最后，目前进行姿态迁移的解决方案中，对数据需求量较大，较大的数据量一方面增加了模型的训练时间开销，另一方面越多的数据量对于GAN网络的生成模型来说意味着有更多的杂乱冗余信息。此外，姿态迁移模型还存在着迁移之后的人体边缘信息不够清晰，缺少对衣服信息编码；面部和手部细节不够精细；由于成像距离、迁移对象和被迁移对象身体结构差异较大等问题，在图像中呈现不同比例状态，影响关节点匹配精度；生成的视频帧不连续，缺乏考虑前后帧信息，时间平滑性得不到保证；人体运动呈现复杂的非线性，很难
建立准确的模型和参数刻画人体动作迁移的过程。

技术实现思路

[0007]本申请的目的：在于解决和克服现有技术和应用的不足，提供基于生成式对抗网络的姿态迁移方法、电子设备及存储介质，有效解决关节点定位不准确、人体边缘不清晰以及面部和手部细节不够精细的问题，有效对人体目标图像进行关节点检测定位，根据定位的关节点将迁移对象姿态映射到被迁移对象，同时生成清晰的人物身体边缘、面部图像，保证时间和空间的连续性。
[0008]本申请的目的是通过如下技术方案来完成的，一种基于生成式对抗网络的姿态迁移方法，包括以下步骤：S1、获取迁移对象和被迁移对象的真实样本图像；S2、将真实样本图像送入姿势检测器，在姿态检测器中添加卷积注意力机制CBAM，获取关节点；S3、将获取的关节点绘制成火柴人模型；S4、将真实样本图像和火柴人模型送入姿态迁移网络；S5、面部增强网络：将火柴人模型以及从步骤S4获得的生成样本的脸部区域分割出来，重新训练一个GAN模型，获得增强之后的面部区域，并输出最终迁移结果；其中，S4步骤中的姿态迁移网络以GAN网络为框架，并且对图像间转换进行对抗训练；姿态迁移网络的步骤具体为：S41.获取真实样本集以及火柴人模型；S42.对真实样本集进行全局姿态标准化操作；S43.火柴人模型送入生成模型；S44.获得生成模型生成的生成样本；S45.生成样本分别送进判别模型、鉴别损失单元作判别处理、匹配损失处理，获得判别模型的输出和鉴别损失单元输出；S46.将所述步骤S45判别模型输出和鉴别损失单元输出再次送入一个判别模型；S47.输出迁移结果。
[0009]优选地，所述步骤S2具体包括：所述步骤S2具体包括：S21.对迁移对象和被迁移对象的真实样本图像进行详细的关节点标注；S23.对预处理好的数据进行卷积神经网络训练；S24.保留训练好的姿势检测器模型，并输出迁移对象和被迁移对象的关节点。
[0010]优选地，所述GAN网络结合DNN的GAN网络训练需要两个过程，前向过程：生成模型G接受一个随机噪声，生成图片G，判别模型D判别G是True还是False；反向优化过程：对G和D进行优化，G、D二者单独交替训练，同时定义迭代次数，交替迭代停止。
[0011]优选地，所述步骤S42具体为：找到迁移对象和被迁移对象视频中最小和最大的脚踝关键位置；偏移量b计算如下：
其中、分别代表迁移对象和被迁移对象中最大、最小的脚踝关节点位置。是迁移对象的脚踝平均位置，为迁移对象当前帧相对于第一帧的姿态位置偏移量；比例Scale通过如下计算：其中分别代表迁移对象和被迁移对象中最小、最大脚踝关节点的高度。
[0012]优选地，所述步骤S5具体包括：S51 分别截取火柴人模型和真实样本的面部区域；S52 将步骤1获得的两部分面部区域进行生成模型处理；S53将真实样本的面部区域和生成模型生成的面部区域进行残差相加；S54获得增强之后的面部区域。
[0013]本专利技术还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术提供的基于生成式对抗网络的姿态迁移方法。
[0014]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，以实现上述任意一项所述的基于生成式对抗网络的姿态迁移方法。
[0015]本申请与现有技术相比，至少具有以下明显优点和效果：1、在本专利技术中，对包含人体目标图像进行关节点检测定位，然后根据定位的关节点将迁移对象姿态映射到被迁移对象，同时生成清晰的人物身体边缘、面部图像，保证时间和空间的连续性，且数据预处理时间、训练时间大幅度减少。
[0016]2、在本专利技术中，通过使用一个特殊的GAN网络进行面部区域增强，利用一个残差操作获得清晰的面部区域。
[0017]3、在本专利技术中，通过Transfer网络将源视频人体和目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成式对抗网络的姿态迁移方法，其特征在于：包括以下步骤：S1、获取迁移对象和被迁移对象的真实样本图像；S2、将真实样本图像送入姿势检测器，在姿态检测器中添加卷积注意力机制CBAM，获取关节点；S3、将获取的关节点绘制成火柴人模型；S4、将真实样本图像和火柴人模型送入姿态迁移网络；S5、面部增强网络：将火柴人模型以及从步骤S4获得的生成样本的脸部区域分割出来，重新训练一个GAN模型，获得增强之后的面部区域，并输出最终迁移结果；其中，S4步骤中的姿态迁移网络以GAN网络为框架，并且对图像间转换进行对抗训练；姿态迁移网络的步骤具体为：S41.获取真实样本集以及火柴人模型；S42.对真实样本集进行全局姿态标准化操作；S43.火柴人模型送入生成模型；S44.获得生成模型生成的生成样本；S45.生成样本分别送进判别模型、鉴别损失单元作判别处理、匹配损失处理，获得判别模型的输出和鉴别损失单元输出；S46.将所述步骤S45判别模型输出和鉴别损失单元输出再次送入一个判别模型；S47.输出迁移结果。2.根据权利要求1所述的一种基于生成式对抗网络的姿态迁移方法，其特征在于：所述步骤S2具体包括：S21.对迁移对象和被迁移对象的真实样本图像进行详细的关节点标注；S22.对所述步骤S21标注好的真实样本图像数据进行预处理；S23.对预处理好的数据进行卷积神经网络训练；S24.保留训练好的姿势检测器模型，并输出迁移对象和被迁移对象的关节点。3.根据权利要求1所述的一种基于生成式对抗网络的姿态迁移方法，其特征在于：所述GAN网络结合DN...

【专利技术属性】
技术研发人员：洪刚，陈豪，
申请(专利权)人：浙江壹体科技有限公司，
类型：发明
国别省市：