一种视频动作迁移深度学习系统和方法技术方案

本发明专利技术公开了一种视频动作迁移深度学习系统和方法，包括分别与系统控制部连接的人物视频数据预处理部、视频特征量化部、视频特征重组部、动作迁移视频生成部，人物视频数据预处理部对源图像、参考图像进行预处理，提取源图像中源关键点信息和参考图像中参考关键点信息；视频特征量化部分别提取源图像、参考图像的深度特征，进行特征量化，获得源图像量化特征、参考图像量化特征；视频特征重组部根据源关键点、源图像量化特征、参考图像量化特征，预测出目标图像的量化特征；动作迁移视频生成部根据目标图像的量化特征，输出目标图像，系统控制部存储程序并进行控制。本系统用于实现动作迁移，保证目标图像的清晰度及分辨率。保证目标图像的清晰度及分辨率。保证目标图像的清晰度及分辨率。

【技术实现步骤摘要】
一种视频动作迁移深度学习系统和方法


[0001]本专利技术涉及计算机视觉
，尤其是涉及一种视频动作迁移深度学习系统和方法。

技术介绍

[0002]随着视频时代的兴起，人像视频生成也成为计算机视觉领域中一项重要任务，在视频定向编辑、视频制作等领域有着广泛的应用场景，其中视频中的动作迁移任务，目的是使参考视频人物的动作迁移到源视频人物上，同时保留源视频人物的身份特征。该任务在动画、影视领域得到较大的关注，极具实际的应用价值。
[0003]目前，一些经典的方法是依赖于复杂的人体建模过程，如人体轮廓模型，人脸模型(Volker Blanz and Thomas Vetter.A morphable model for the synthesis of 3d faces.In Proceedings of the 26th annual conference on Computer graphics and interactive techniques,pages 187
‑
194,1999.)等，在这些高度局限且复杂的模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频动作迁移深度学习系统，其特征在于：包括分别与系统控制部连接的人物视频数据预处理部、视频特征量化部、视频特征重组部、动作迁移视频生成部，人物视频数据预处理部用于对源图像数据、参考图像数据进行预处理，提取源图像中源关键点信息和参考图像中参考关键点信息；视频特征量化部用于分别提取源图像、参考图像的深度特征，并进行特征量化操作，获得源图像量化特征、参考图像量化特征；视频特征重组部用于根据源关键点、源图像量化特征、参考图像量化特征，预测出目标图像的量化特征；动作迁移视频生成部用于根据目标图像的量化特征，输出目标图像，系统控制部用于存储程序并进行控制。2.根据权利要求1所述视频动作迁移深度学习系统，其特征在于：还包括分别与系统控制部连接的输入控制部、视频显示部、系统通信部，系统通信部用于不同结构部之间的数据交互，输入控制部用于提供图像数据输入，视频显示部用于输出目标图像的动作视频。3.一种视频动作迁移深度学习方法，其特征在于：建立视频动作迁移模型，从同一段视频中抽取二个不同帧图像作为源图像与参考图像，进行预处理，分别提取源图像的源关键点信息、参考图像的参考关键点信息、源图像深度特征、参考图像深度特征，分别对源图像深度特征、参考图像深度特征进行量化，得到源图像量化特征、参考图像量化特征，根据源关键点信息、参考关键点信息、源图像量化特征、参考图像量化特征进行预测，得到目标图像量化特征，根据目标图像量化特征生成目标图像；基于视频动作迁移模型的各参数，对不同来源的迁移源图像与迁移参考图像，采用与建模相同的过程，进行动作迁移。4.根据权利要求3所述视频动作迁移深度学习方法，其特征在于： 对源图像深度特征进行量化，得到源图像全局量化特征，对参考图像深度特征进行量化，得到参考图像全局量化特征；基于参考图像全局量化特征，对源图像深度特征进行再次量化，得到源图像局部量化特征；基于源图像全局量化特征，对参考图像深度特征进行再次量化，得到参考图像局部量化特征。5.根据权利要求4所述视频动作迁移深度学习方法，其特征在于：计算源图像深度特征中的每个特征在参考图像全局量化特征中的最小欧式距离，得到源图像局部量化特征；计算参考图像深度特征中的每个特征在源图像全局量化特征中的最小欧式距离，得到参考图像局部量化特征。6.根据权利要求4所述视频动作迁移深度学习方法，其特征在于：根据源关键点信息、参考关键点信息、源图像全局量化特征、...

【专利技术属性】
技术研发人员：付彦伟，洪羽欣，钱学林，薛向阳，骆思勉，
申请(专利权)人：复旦大学，
类型：发明
国别省市：