视频生成方法和装置制造方法及图纸

本发明专利技术实施例提出一种视频生成方法和装置，方法包括：获取视频中包括目标人物的各帧图像，每个帧图像包含目标人物的关键姿态信息；将目标人物的关键姿态信息输入虚拟人物的生成模型，得到与各帧图像的关键姿态信息对应的各虚拟人物姿态图像；利用各虚拟人物姿态图像生成包括虚拟人物的视频。本发明专利技术实施例能够利用生成模型得到做出与视频各帧图像中目标人物对应姿态的虚拟人物图像。并且能够利用各虚拟人物图像生成可以做出与视频中目标人物对应动作的虚拟人物视频。

Video Generation Method and Device

【技术实现步骤摘要】
视频生成方法和装置
本专利技术涉及姿态识别
，尤其涉及一种视频生成方法和装置。
技术介绍
目前已有的虚拟人物视频的创作过程一般都是真人做出一系列动作，然后通过后期处理将真人替换为虚拟人物。但这种方式涉及到的环节较多，整个过程非常的复杂繁琐，且从采集真人动作到最终生成虚拟人物视频所需耗时较长，且需要付出财力成本巨大。并且这种方式很难实现根据用户需求个性化的生成虚拟人物视频，无法做到快速的更新替换虚拟人物或虚拟人物所做的动作。
技术实现思路
本专利技术实施例提供一种视频生成方法和装置，以解决现有技术中的一个或多个技术问题。第一方面，本专利技术实施例提供了一种虚拟人物视频生成方法，包括：获取视频中包括目标人物的各帧图像，每个帧图像包含所述目标人物的关键姿态信息；将所述目标人物的关键姿态信息输入虚拟人物的生成模型，得到与各帧图像的关键姿态信息对应的各虚拟人物姿态图像；利用各虚拟人物姿态图像生成包括虚拟人物的视频。在一种实施方式中，获取所述目标人物的关键姿态信息，包括：利用人体姿态识别模型对所述每个帧图像进行处理，得到所述目标人物的各人体关节点位置信息；将所述各人体关节点位置信息关联，得到所述目标人物的关键姿态信息。在一种实施方式中，所述目标人物的关键姿态信息包括人体姿态信息和/或面部姿态信息，将所述目标人物的关键姿态信息输入虚拟人物的生成模型，得到与各帧图像的关键姿态信息对应的各虚拟人物姿态图像，包括：将所述目标人物的人体姿态信息和/或面部姿态信息输入所述虚拟人物的生成模型，得到与各帧图像的人体姿态信息对应的各虚拟人物姿态图像。在一种实施方式中，所述虚拟人物的生成模型的训练过程包括：将虚拟人物训练图像和训练视频的多帧图像输入生成式对抗网络模型进行训练；所述虚拟人物训练图像包括虚拟人物的关键姿态信息，所述训练视频的多帧图像包括目标人物的关键姿态信息；根据所述生成式对抗网络模型的输出结果，调整优化所述生成式对抗网络模型，以得到所述虚拟人物的生成模型。在一种实施方式中，获取所述虚拟人物训练图像，包括：对多个虚拟人物素材图进行标注；利用标注后的多个虚拟人物素材图，通过预设算法训练得到姿态模型；利用所述姿态模型对所述虚拟人物训练图像进行处理，得到所述虚拟人物训练图像中虚拟人物的关键姿态信息。在一种实施方式中，利用各虚拟人物姿态图像生成包括虚拟人物的视频，包括：获取所述视频中的音频数据；利用所述各虚拟人物姿态图像和音频数据，生成包括虚拟人物的视频。第二方面，本专利技术实施例提供了一种虚拟人物视频生成装置，包括：获取模块，用于获取视频中包括目标人物的各帧图像，每个帧图像包含所述目标人物的关键姿态信息；图像生成模块，用于将所述目标人物的关键姿态信息输入虚拟人物的生成模型，得到与各帧图像的关键姿态信息对应的各虚拟人物姿态图像；视频生成模块，用于利用各虚拟人物姿态图像生成包括虚拟人物的视频。在一种实施方式中，获取模块包括：第一处理子模块，用于利用人体姿态识别模型对所述每个帧图像进行处理，得到所述目标人物的各人体关节点位置信息；关联子模块，用于将所述各人体关节点位置信息关联，得到所述目标人物的关键姿态信息。在一种实施方式中，图像生成模块包括：图像生成子模块，用于将所述目标人物的人体姿态信息和/或面部姿态信息输入所述虚拟人物的生成模型，得到与各帧图像的人体姿态信息对应的各虚拟人物姿态图像。在一种实施方式中，还包括：第一训练子模块，用于将虚拟人物训练图像和训练视频的多帧图像输入生成式对抗网络模型进行训练；所述虚拟人物训练图像包括虚拟人物的关键姿态信息，所述训练视频的多帧图像包括目标人物的关键姿态信息；优化子模块，用于根据所述生成式对抗网络模型的输出结果，调整优化所述生成式对抗网络模型，以得到所述虚拟人物的生成模型。在一种实施方式中，还包括：标注子模块，用于对多个虚拟人物素材图进行标注；第二训练子模块，用于利用标注后的多个虚拟人物素材图，通过预设算法训练得到姿态模型；第二处理子模块，用于利用所述姿态模型对所述虚拟人物训练图像进行处理，得到所述虚拟人物训练图像中虚拟人物的关键姿态信息。在一种实施方式中，视频生成模块包括：获取子模块，用于获取所述视频中的音频数据；视频生成子模块，用于利用所述各虚拟人物姿态图像和音频数据，生成包括虚拟人物的视频。第三方面，本专利技术实施例提供了一种虚拟人物视频生成终端，所述虚拟人物视频生成终端的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述虚拟人物视频生成终端的结构中包括处理器和存储器，所述存储器用于存储支持所述虚拟人物视频生成终端执行上述虚拟人物视频生成方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述虚拟人物视频生成终端还可以包括通信接口，用于与其他设备或通信网络通信。第四方面，本专利技术实施例提供了一种计算机可读存储介质，用于存储虚拟人物视频生成终端所用的计算机软件指令，其包括用于执行上述虚拟人物视频生成方法所涉及的程序。上述技术方案中的一个技术方案具有如下优点或有益效果：本专利技术实施例能够利用生成模型得到做出与视频各帧图像中目标人物对应姿态的虚拟人物图像。并且能够利用各虚拟人物图像生成可以做出与视频中目标人物对应动作的虚拟人物视频。上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本专利技术进一步的方面、实施方式和特征将会是容易明白的。附图说明在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本专利技术公开的一些实施方式，而不应将其视为是对本专利技术范围的限制。图1示出根据本专利技术实施例的视频生成方法的流程图。图2示出根据本专利技术实施例的视频生成方法的步骤S100的具体流程图。图3示出根据本专利技术另一实施例的视频生成方法的流程图。图4示出根据本专利技术实施例的虚拟人物的生成模型的训练的流程图。图5示出根据本专利技术实施例的获取虚拟人物训练图像的流程图。图6示出根据本专利技术实施例的视频生成方法的步骤S300的具体流程图。图7示出根据本专利技术实施例的视频生成方法的流程框图。图8示出根据本专利技术实施例的视频生成方法的应用示例中视频采集模块的工作流程图。图9示出根据本专利技术实施例的视频生成方法的应用示例中舞蹈人物动作关节检测模块的工作流程图。图10示出根据本专利技术实施例的视频生成方法的应用示例中趣味性视频生成模块的工作流程图。图11示出根据本专利技术实施例的视频生成装置的结构框图。图12示出根据本专利技术实施例的视频生成装置的获取模块的结构框图。图13示出根据本专利技术实施例的视频生成装置的图像生成模块的结构框图。图14示出根据本专利技术实施例的视频生成装置的视频生成模块的结构框图。图15示出根据本专利技术实施例的视频生成终端的结构示意图。具体实施方式在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本专利技术的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。图1示出根据本专利技术实施例的视频生成方法的流程图。本文档来自技高网...

【技术保护点】
1.一种视频生成方法，其特征在于，包括：获取视频中包括目标人物的各帧图像，每个帧图像包含所述目标人物的关键姿态信息；将所述目标人物的关键姿态信息输入虚拟人物的生成模型，得到与各帧图像的关键姿态信息对应的各虚拟人物姿态图像；利用各虚拟人物姿态图像生成包括虚拟人物的视频。

【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：获取视频中包括目标人物的各帧图像，每个帧图像包含所述目标人物的关键姿态信息；将所述目标人物的关键姿态信息输入虚拟人物的生成模型，得到与各帧图像的关键姿态信息对应的各虚拟人物姿态图像；利用各虚拟人物姿态图像生成包括虚拟人物的视频。2.根据权利要求1所述的方法，其特征在于，获取所述目标人物的关键姿态信息，包括：利用人体姿态识别模型对所述每个帧图像进行处理，得到所述目标人物的各人体关节点位置信息；将所述各人体关节点位置信息关联，得到所述目标人物的关键姿态信息。3.根据权利要求1所述的方法，其特征在于，所述目标人物的关键姿态信息包括人体姿态信息和/或面部姿态信息，将所述目标人物的关键姿态信息输入虚拟人物的生成模型，得到与各帧图像的关键姿态信息对应的各虚拟人物姿态图像，包括：将所述目标人物的人体姿态信息和/或面部姿态信息输入所述虚拟人物的生成模型，得到与各帧图像的人体姿态信息对应的各虚拟人物姿态图像。4.根据权利要求3所述的方法，其特征在于，所述虚拟人物的生成模型的训练过程包括：将虚拟人物训练图像和训练视频的多帧图像输入生成式对抗网络模型进行训练；所述虚拟人物训练图像包括虚拟人物的关键姿态信息，所述训练视频的多帧图像包括目标人物的关键姿态信息；根据所述生成式对抗网络模型的输出结果，调整优化所述生成式对抗网络模型，以得到所述虚拟人物的生成模型。5.根据权利要求4所述的方法，其特征在于，获取所述虚拟人物训练图像，包括：对多个虚拟人物素材图进行标注；利用标注后的多个虚拟人物素材图，通过预设算法训练得到姿态模型；利用所述姿态模型对所述虚拟人物训练图像进行处理，得到所述虚拟人物训练图像中虚拟人物的关键姿态信息。6.根据权利要求1所述的方法，其特征在于，利用各虚拟人物姿态图像生成包括虚拟人物的视频，包括：获取所述视频中的音频数据；利用所述各虚拟人物姿态图像和音频数据，生成包括虚拟人物的视频。7.一种视频生成装置，其特征在于，包括：获取模块，用于获取视频中包括目标人物的各帧图像，每个帧图像包含所述目标人物的关键姿态信息；图像生成模块，用于...

【专利技术属性】
技术研发人员：卞东海，蒋帅，陈思姣，罗雨，陈奇石，曾启飞，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11