本发明专利技术涉及人工智能及数字医疗领域，提供一种视频生成方法、装置、设备及存储介质。该方法提取源视频序列中每张源人脸图像的表情特征，提取人物图像的人脸特征，根据表情特征及人脸特征生成多张目标人脸图像，根据人脸判别器及每张源人脸图像对多张目标人脸图像进行检测，若通过检测，则从多张目标人脸图像中提取混合形状驱动参数序列并渲染，提高视频动画的生成效率。此外，本发明专利技术还涉及区块链技术，所述视频动画可存储于区块链中。述视频动画可存储于区块链中。述视频动画可存储于区块链中。
【技术实现步骤摘要】
视频生成方法、装置、设备及存储介质
[0001]本专利技术涉及人工智能及数字医疗
，尤其涉及一种视频生成方法、装置、设备及存储介质。
技术介绍
[0002]随着人工智能的发展，三维虚拟人驱动迁移方案也随之产生。在现有的三维虚拟人驱动迁移方案中，由于在迁移虚拟人物时，通常需要美工采用动作步骤工具等进行调整，导致虚拟人物形象在更换时，无法复用之前在别的人物形象上做的动画，造成新的动作视频的生成效率低下。随着三维虚拟人驱动迁移技术的兴起，三维虚拟人驱动迁移方案可以支持疾病辅助诊断、健康管理、远程会诊等功能。
技术实现思路
[0003]鉴于以上内容，有必要提供一种视频生成方法、装置、设备及存储介质，能够解决如何提高动作视频的生成效率的技术问题。
[0004]一方面，本专利技术提出一种视频生成方法，所述视频生成方法包括：
[0005]获取源人物的源视频序列，并获取目标人物的人物图像；
[0006]获取图像合成模型，所述图像合成模型包括人脸生成器及人脸判别器，所述人脸生成器包括表情提取网络及脸部特征提取网络；
[0007]根据所述表情提取网络，提取所述源视频序列中每张源人脸图像的表情特征；
[0008]根据所述脸部特征提取网络，提取所述人物图像的人脸特征；
[0009]根据所述表情特征及所述人脸特征生成多张目标人脸图像；
[0010]根据所述人脸判别器及每张源人脸图像对所述多张目标人脸图像进行检测；
[0011]若所述多张目标人脸图像均通过所述人脸判别器的检测，则基于预先训练完成的驱动参数识别模型，从所述多张目标人脸图像中提取混合形状驱动参数序列；
[0012]渲染所述混合形状驱动参数序列，得到所述目标人物的视频动画。
[0013]根据本专利技术优选实施例，所述人脸判别器包括判别提取网络及判别输出网络，所述根据所述人脸判别器及每张源人脸图像对所述多张目标人脸图像进行检测包括：
[0014]基于所述判别提取网络，从每张源人脸图像中提取源表情信息，并从每张目标人脸图像中提取目标表情信息；
[0015]对比所述目标表情信息与所述源表情信息，得到差异表情信息；
[0016]基于所述判别输出网络，对所述差异表情信息进行判别，得到判别结果；
[0017]若所述判别结果均为预设结果，则确定所述多张目标人脸图像均通过所述人脸判别器的检测；或者
[0018]若所述判别结果不均为所述预设结果，则确定所述多张目标人脸图像中存在目标人脸图像不通过所述人脸判别器的检测。
[0019]根据本专利技术优选实施例，在根据所述人脸判别器及每张源人脸图像对所述多张目
标人脸图像进行检测之后，所述视频生成方法还包括：
[0020]若所述多张目标人脸图像中存在目标人脸图像不通过所述人脸判别器的检测，则将所述判别结果不为所述预设结果的目标人脸图像确定为待处理图像；
[0021]基于所述差异表情信息，对所述待处理图像进行表情调整，得到调整图像。
[0022]根据本专利技术优选实施例，所述驱动参数识别模型包括关键点识别网络、类别识别网络及每个脸部类别所对应的卷积网络及参数输出网络，所述基于预先训练完成的驱动参数识别模型，从所述多张目标人脸图像中提取混合形状驱动参数序列包括：
[0023]基于所述关键点识别网络，识别每张目标人脸图像的人脸关键点；
[0024]基于所述类别识别网络，从所述人脸关键点中识别出与每个脸部类别所对应的类别关键点；
[0025]根据所述类别关键点在所述目标人脸图像上的位置信息，生成每个脸部类别的关键点编码信息；
[0026]将所述关键点编码信息输入至所述对应的卷积网络中，得到每个脸部类别的位置特征；
[0027]拼接多个所述位置特征，得到拼接特征；
[0028]基于所述参数输出网络对所述拼接特征进行映射处理，得到每张目标人脸图像的输出驱动参数；
[0029]根据多张所述源人脸图像在所述源视频序列中的拼接顺序，对所述输出驱动参数进行拼接，得到所述混合形状驱动参数序列。
[0030]根据本专利技术优选实施例，所述基于所述参数输出网络对所述拼接特征进行映射处理，得到每张目标人脸图像的输出驱动参数包括：
[0031]从所述参数输出网络中提取权值矩阵及权值偏移量；
[0032]计算所述权值矩阵与所述拼接特征的点乘结果；
[0033]根据所述点乘结果中每个元素与所述权值偏移量的总和，生成目标矩阵；
[0034]基于所述参数输出网络中的映射表对所述目标矩阵进行映射处理，得到所述输出驱动参数。
[0035]根据本专利技术优选实施例，所述表情提取网络包括多个反卷积层，所述根据所述表情提取网络，提取所述源视频序列中每张源人脸图像的表情特征包括：
[0036]根据每张源人脸图像的像素信息生成图像向量；
[0037]对所述图像向量进行转换，得到重塑向量；
[0038]基于所述多个反卷积层，对所述重塑向量进行多次上采样处理，得到所述表情特征。
[0039]根据本专利技术优选实施例，所述根据所述表情特征及所述人脸特征生成多张目标人脸图像包括：
[0040]融合所述表情特征及所述人脸特征，得到目标特征；
[0041]对所述目标特征进行解码处理，得到所述多张目标人脸图像。
[0042]另一方面，本专利技术还提出一种视频生成装置，所述视频生成装置包括：
[0043]获取单元，用于获取源人物的源视频序列，并获取目标人物的人物图像；
[0044]所述获取单元，还用于获取图像合成模型，所述图像合成模型包括人脸生成器及
人脸判别器，所述人脸生成器包括表情提取网络及脸部特征提取网络；
[0045]提取单元，用于根据所述表情提取网络，提取所述源视频序列中每张源人脸图像的表情特征；
[0046]所述提取单元，还用于根据所述脸部特征提取网络，提取所述人物图像的人脸特征；
[0047]生成单元，用于根据所述表情特征及所述人脸特征生成多张目标人脸图像；
[0048]检测单元，用于根据所述人脸判别器及每张源人脸图像对所述多张目标人脸图像进行检测；
[0049]所述提取单元，还用于若所述多张目标人脸图像均通过所述人脸判别器的检测，则基于预先训练完成的驱动参数识别模型，从所述多张目标人脸图像中提取混合形状驱动参数序列；
[0050]渲染单元，用于渲染所述混合形状驱动参数序列，得到所述目标人物的视频动画。
[0051]另一方面，本专利技术还提出一种电子设备，所述电子设备包括：
[0052]存储器，存储计算机可读指令；及
[0053]处理器，执行所述存储器中存储的计算机可读指令以实现所述视频生成方法。
[0054]另一方面，本专利技术还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频生成方法，其特征在于，所述视频生成方法包括：获取源人物的源视频序列，并获取目标人物的人物图像；获取图像合成模型，所述图像合成模型包括人脸生成器及人脸判别器，所述人脸生成器包括表情提取网络及脸部特征提取网络；根据所述表情提取网络，提取所述源视频序列中每张源人脸图像的表情特征；根据所述脸部特征提取网络，提取所述人物图像的人脸特征；根据所述表情特征及所述人脸特征生成多张目标人脸图像；根据所述人脸判别器及每张源人脸图像对所述多张目标人脸图像进行检测；若所述多张目标人脸图像均通过所述人脸判别器的检测，则基于预先训练完成的驱动参数识别模型，从所述多张目标人脸图像中提取混合形状驱动参数序列；渲染所述混合形状驱动参数序列，得到所述目标人物的视频动画。2.如权利要求1所述的视频生成方法，其特征在于，所述人脸判别器包括判别提取网络及判别输出网络，所述根据所述人脸判别器及每张源人脸图像对所述多张目标人脸图像进行检测包括：基于所述判别提取网络，从每张源人脸图像中提取源表情信息，并从每张目标人脸图像中提取目标表情信息；对比所述目标表情信息与所述源表情信息，得到差异表情信息；基于所述判别输出网络，对所述差异表情信息进行判别，得到判别结果；若所述判别结果均为预设结果，则确定所述多张目标人脸图像均通过所述人脸判别器的检测；或者若所述判别结果不均为所述预设结果，则确定所述多张目标人脸图像中存在目标人脸图像不通过所述人脸判别器的检测。3.如权利要求2所述的视频生成方法，其特征在于，在根据所述人脸判别器及每张源人脸图像对所述多张目标人脸图像进行检测之后，所述视频生成方法还包括：若所述多张目标人脸图像中存在目标人脸图像不通过所述人脸判别器的检测，则将所述判别结果不为所述预设结果的目标人脸图像确定为待处理图像；基于所述差异表情信息，对所述待处理图像进行表情调整，得到调整图像。4.如权利要求1所述的视频生成方法，其特征在于，所述驱动参数识别模型包括关键点识别网络、类别识别网络及每个脸部类别所对应的卷积网络及参数输出网络，所述基于预先训练完成的驱动参数识别模型，从所述多张目标人脸图像中提取混合形状驱动参数序列包括：基于所述关键点识别网络，识别每张目标人脸图像的人脸关键点；基于所述类别识别网络，从所述人脸关键点中识别出与每个脸部类别所对应的类别关键点；根据所述类别关键点在所述目标人脸图像上的位置信息，生成每个脸部类别的关键点编码信息；将所述关键点编码信息输入至所述对应的卷积网络中，得到每个脸部类别的位置特征；拼接多个所述位置特征，得到拼接特征；
基于所述参数输出网络对所述拼接特征进行映射处理，...
【专利技术属性】
技术研发人员：李佼，胡魁，徐玲玲，叶明，戴磊，陈远旭，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。