【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种基于深度学习的运动迁移方法、装置、电子设备和计算机可读存储介质。
技术介绍
1、在计算机视觉领域技术日益发展的今天，运动迁移技术的应用也越来越广泛。人体运动迁移技术能让训练图像的人物执行用户定义的模仿动作，目前已成功应用于在线娱乐、电影制作、游戏设计以及数据增强等领域。而由于深度学习神经网络强大的图像生成能力，越来越多的企业采用深度学习技术来进行运动迁移中的运动图像生成。
2、但是，在运动迁移过程中，由于存在动作跨度大、纹理复杂、动作自由度高和遮挡频繁等干扰因素，可能会导致生成目标姿态下的人体运动图像的精度和清晰度偏低。另外，由于传统的基于卷积的模型无法模拟长距离像素相互依赖性，因此对全局信息相关性的关注和捕捉远距离像素相互作用的能力不足，会出现某些细节部位(如衣服褶皱)与周围像素点混杂，难以辨认或无法生成细节部位图像，综上，传统的运动迁移方法所生成的运动图像存在清晰度偏低的缺陷。
技术实现思路
1、本申请的主要目的在于提供一种基于深度学习的运动迁移方法、装置、电子设备及计算机存储介质，旨在解决传统的运动迁移方法所生成的运动图像清晰度偏低的技术问题。
2、为实现上述目的，本申请提供一种基于深度学习的运动迁移方法，所述基于深度学习的运动迁移方法包括：
3、采集目标对象的第一图像数据，从所述第一图像数据中提取所述目标对象的第一姿态数据和第一平面投影；
4、将所述第一姿态数据和所述第一平面投影输入预设的目标运
5、可选地，所述从所述第一图像数据中提取所述目标对象的第一姿态数据和第一平面投影的步骤包括：
6、通过预设的姿态估计算法，估计所述第一图像数据中目标对象对应的姿态，得到第一姿态数据；
7、根据所述第一图像数据中的对象图像，构建所述目标对象的三维模型；
8、对所述三维模型进行投影，得到所述目标对象的第一平面投影。
9、可选地，所述根据所述第一图像数据中的对象图像，构建所述目标对象的三维模型的步骤包括：
10、根据所述对象图像，提取所述目标对象对应的uv图；
11、将所述uv图和所述对象图像输入预设的对象重建模型，生成所述目标对象对应的三维模型。
12、可选地，在所述从所述第一图像数据中提取所述目标对象的第一姿态数据和第一平面投影的步骤之后，所述方法还包括：
13、计算预设标准骨架长度与所述目标对象的最大骨架长度之间的比值，得到骨架调整比例；
14、根据所述骨架调整比例，调整所述第一姿态数据中的骨架长度，得到更新姿态数据，并将所述更新姿态数据作为第一姿态数据。
15、可选地，所述目标运动图像生成模型至少包括残差网络和高效自注意力机制网络，所述高效自注意力机制网络至少包括多卷积头部转置注意力网络和门控卷积前馈网络；
16、所述将所述第一姿态数据和所述第一平面投影输入预设的目标运动图像生成模型，生成目标运动图像的步骤包括：
17、所述将所述第一姿态数据和所述第一平面投影输入预设的目标运动图像生成模型，生成目标运动图像的步骤包括：
18、将所述第一姿态数据和所述第一平面投影输入预设的目标运动图像生成模型，通过所述残差网络对所述第一姿态数据和所述第一平面投影进行特征提取和特征降维，得到第一特征数据；
19、根据所述第一特征数据和预设的卷积层生成查询投影、键投影和值投影；
20、对所述查询投影和所述键投影进行重塑，生成转置注意力图；
21、将所述转置注意力图与所述值投影的点积输入所述门控卷积前馈网络，输出目标运动图像。
22、可选地，在所述将所述第一姿态数据和所述第一平面投影输入预设的目标运动图像生成模型的步骤之前，所述基于深度学习的运动迁移方法还包括：
23、采集训练对象对应的第二图像数据，并通过所述第二图像数据获取训练数据集，其中，所述训练数据集包括所述训练对象对应的第二姿态数据和第二平面投影；
24、通过所述训练数据集对预设的初始运动图像生成模型进行训练，得到目标运动图像生成模型，其中，所述初始运动图像生成模型包括残差网络模块和高效自注意力机制模块。
25、可选地，所述通过所述训练数据集对预设的初始运动图像生成模型进行训练，得到目标运动图像生成模型的步骤包括：
26、将所述第二姿态数据和所述第二平面投影输入所述初始运动图像生成模型，通过所述初始运动图像生成模型进行运动迁移预测，输出预测运动图像；
27、将所述预测运动图像、所述第二姿态数据、所述第二平面投影以及所述第二图像数据输入预设的特征匹配损失函数，输出特征匹配损失；
28、将所述预测运动图像、所述特征匹配损失值、所述第二姿态数据、所述第二平面投影以及所述第二图像数据输入预设的对抗损失函数，得到所述初始运动图像生成模型的模型对抗损失；
29、将所述预测运动图像和所述第二图像数据输入预设的vgg网络，通过所述vgg网络比较所述预测运动图像和所述第二图像数据各层的特征，得到感知重建损失；
30、将所述特征匹配损失、所述模型对抗损失以及所述感知重建损失输入预设的目标损失函数中，得到所述初始运动图像生成模型的目标损失；
31、基于所述目标损失，对所述初始运动图像生成模型的模型参数进行迭代优化，直至所述初始运动图像生成模型的目标损失满足预设条件，将所述初始运动图像生成模型作为目标运动图像生成模型。
32、本申请还提供一种基于深度学习的运动迁移装置，所述基于深度学习的运动迁移装置应用于电子设备，所述基于深度学习的运动迁移装置包括：
33、特征提取模块，用于采集目标对象的第一图像数据，从所述第一图像数据中提取所述目标对象的第一姿态数据和第一平面投影；
34、图像生成模块，用于将所述第一姿态数据和所述第一平面投影输入预设的目标运动图像生成模型，生成目标运动图像，其中，所述目标运动图像生成模型为高效自注意力机制生成对抗网络模型。
35、本申请还提供一种电子设备，所述电子设备为实体设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于深度学习的运动迁移方法的程序，所述基于深度学习的运动迁移方法的程序被处理器执行时可实现如上述的基于深度学习的运动迁移方法的步骤。
36、本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现基于深度学习的运动迁移方法的程序，所述实现基于深度学习的运动迁移方法的程序被处理器执行以实现如上述基于深度学习的运动迁移方法的步骤。
37、本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的基于深度学习的运动迁移本文档来自技高网...
【技术保护点】
1.一种基于深度学习的运动迁移方法，其特征在于，所述基于深度学习的运动迁移方法包括：
2.如权利要求1所述的基于深度学习的运动迁移方法，其特征在于，所述从所述第一图像数据中提取所述目标对象的第一姿态数据和第一平面投影的步骤包括：
3.如权利要求2所述的基于深度学习的运动迁移方法，其特征在于，所述根据所述第一图像数据中的对象图像，构建所述目标对象的三维模型的步骤包括：
4.如权利要求1所述的基于深度学习的运动迁移方法，其特征在于，在所述从所述第一图像数据中提取所述目标对象的第一姿态数据和第一平面投影的步骤之后，所述方法还包括：
5.如权利要求1所述的基于深度学习的运动迁移方法，其特征在于，所述目标运动图像生成模型至少包括残差网络和高效自注意力机制网络，所述高效自注意力机制网络至少包括多卷积头部转置注意力网络和门控卷积前馈网络；
6.如权利要求1所述的基于深度学习的运动迁移方法，其特征在于，在所述将所述第一姿态数据和所述第一平面投影输入预设的目标运动图像生成模型的步骤之前，所述基于深度学习的运动迁移方法还包括：
8.一种基于深度学习的运动迁移装置，其特征在于，所述基于深度学习的运动迁移装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有实现基于深度学习的运动迁移方法的程序，所述实现基于深度学习的运动迁移方法的程序被处理器执行以实现如权利要求1至7中任一项所述基于深度学习的运动迁移方法的步骤。
...【技术特征摘要】
1.一种基于深度学习的运动迁移方法，其特征在于，所述基于深度学习的运动迁移方法包括：
2.如权利要求1所述的基于深度学习的运动迁移方法，其特征在于，所述从所述第一图像数据中提取所述目标对象的第一姿态数据和第一平面投影的步骤包括：
3.如权利要求2所述的基于深度学习的运动迁移方法，其特征在于，所述根据所述第一图像数据中的对象图像，构建所述目标对象的三维模型的步骤包括：
4.如权利要求1所述的基于深度学习的运动迁移方法，其特征在于，在所述从所述第一图像数据中提取所述目标对象的第一姿态数据和第一平面投影的步骤之后，所述方法还包括：
5.如权利要求1所述的基于深度学习的运动迁移方法，其特征在于，所述目标运动图像生成模型至少包括残差网络和高效自注意力机制网络，所述高效自注意力机制网络至少包括多卷积头部转置注意力网络和门控卷积前馈网...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。