一种利用深度信息辅助和轮廓增强损失的运动迁移方法技术

本发明专利技术公开了一种利用深度信息辅助和轮廓增强损失的运动迁移方法，基于轮廓注意力GAN的深度图像生成器、基于自注意力机制的运动图像生成器、根据目标人物骨架和源人物骨架按照比例调整的姿态归一化、根据姿态归一化后的骨架实现运动迁移。本发明专利技术采用基于轮廓注意力GAN结合深度信息辅助的生成器，以弥补缺乏深度信息的缺陷并提高生成的轮廓细节的准确性，使用的自注意机制的生成器，提高了生成的纹理细节的质量，生成的运动图像具有可靠的深度信息和合理的轮廓。度信息和合理的轮廓。度信息和合理的轮廓。

【技术实现步骤摘要】
一种利用深度信息辅助和轮廓增强损失的运动迁移方法


[0001]本专利技术涉及一种利用深度信息辅助和轮廓增强损失的运动迁移方法，属于图像处理


技术介绍

[0002]人体姿态迁移是近几年计算机视觉领域的研究热点，在人工智能的产业中有着许多应用场景，比如电影制作、在线娱乐、行人再识别。传统的运动迁移是通过计算机图形学技术，通过模拟复杂的物理模型实现的，会造成昂贵的时间和计算成本。现有的运动迁移任务是给定源图像的姿态关键点信息，利用生成对抗网络生成目标姿态对应的人图像，生成的图像在人的姿态动作上与目标姿态对应，纹理信息上与初始姿态图像纹理信息保持一致。由于生成神经网络的发展，用生成网络模拟计算机图形技术成为可能。通过GAN网络捕获外观纹理的概率分布情况，生成逼真的图像和视频。为我们的运动迁移任务的实现带来推动作用。
[0003]基于图像和视频的人体运动可以被看作是人的外表的变形过程，因此运动转移通常被看作是一个姿势引导的图像生成任务，可以通过基于GAN的框架来解决。然而，真实的运动发生在三维空间，在二维平面上生成的图像不可避免地缺乏原本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用深度信息辅助和轮廓增强损失的运动迁移方法，其特征在于：包括如下步骤：利用目标人的骨架图和深度图对一阶段基于轮廓注意力GAN进行训练，获得训练好的一阶段基于轮廓注意力GAN的深度图像生成器；将目标人的骨架图输入训练好的一阶段基于轮廓注意力GAN的深度图像生成器，输出目标人的一阶段深度图；利用目标人的一阶段深度图和目标人的骨架图对二阶段基于自注意力机制GAN进行训练，获得训练好的二阶段基于自注意力机制GAN的运动图像生成器；获取各姿态下源人物的骨架图，根据目标人的骨架图中骨段调整源人物的骨架图的每个骨段长度，得到源人物各姿态对应的归一化后源人物的骨架图；将归一化后源人物的骨架图输入训练好的深度图像生成器，得到各姿态下的目标人物的深度图，再将各姿态下的目标人物的深度图与归一化后源人物的骨架图输入训练好的运动图像生成器，得到目标人物做源人物动作的运动图像。2.根据权利要求1所述的一种利用深度信息辅助和轮廓增强损失的运动迁移方法，其特征在于：所述一阶段基于轮廓注意力GAN包括：深度图像生成器、HED网络、判别器D1，所述深度图像生成器用于根据输入的骨架图，生成深度图；所述HED网络用于从深度图中提取骨架图；所述判别器D1用于判别深度图像生成器生成的深度图是Real还是Fake。3.根据权利要求2所述的一种利用深度信息辅助和轮廓增强损失的运动迁移方法，其特征在于：所述深度图像生成器包括：编码器、解码器，编码器与解码器之间设置有n对残差块、空间注意力块，n≥1。4.根据权利要求2所述的一种利用深度信息辅助和轮廓增强损失的运动迁移方法，其特征在于：利用目标人的骨架图和深度图对一阶段基于轮廓注意力GAN进行训练，包括：深度图像生成器训练，判别器D1训练；深度图像生成器训练时，在每次迭代中，将深度图像生成器的输出放入判别器D1中计算一阶段的总体损失函数，进行反向传播，利用随机梯度下降法更新所述深度图像生成器的网络参数，直至达到训练次数上限，获得训练好的深度图像生成器；判别器D1训练时，在每次迭代中，分别从训练数据和深度图像生成器的输出中取出一张图像，进行缩放后，同时输入判别器D1中，获得一阶段的总体损失函数，进行反向传播，利用随机梯度下降法更新所述判别器D1的网络参数，直至达到训练次数上限，获得训练好的判别器D1。5.根据权利要求4所述的一种利用深度信息辅助和轮廓增强损失的运动迁移方法，其特征在于：所述一阶段的总体损失函数计算公式如下：其中，L
...

【专利技术属性】
技术研发人员：张泽远，夏贵羽，罗冬，马芙蓉，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：