视频生成方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了一种视频生成方法、装置、设备及存储介质。提取原始图像的第一特征信息和原始驱动视频中各视频帧的第二特征信息；其中，所述原始图像和所述原始驱动视频均包含人物形象；根据所述第一特征信息和各所述第二特征信息获取多个光流变换信息；根据所述第一特征信息和所述多个光流变换信息对所述原始图像进行变换处理，获得多个目标图像；将所述多个目标图像进行拼接，获得目标视频。本公开实施例提供的视频生成方法，基于第一特征信息和原始驱动视频对应的多个光流变换信息对原始图像进行变换处理，实现了将原始驱动视频中的人物表情转移至原始图像中的人物中，不仅可以提高表情驱动视频的生成效率，也提高了生成视频的趣味性。生成视频的趣味性。生成视频的趣味性。

【技术实现步骤摘要】
视频生成方法、装置、设备及存储介质


[0001]本公开实施例涉及图像处理
，尤其涉及一种视频生成方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能技术的不断发展，深度神经网络已经在计算机视觉、自然语言处理和其他跨学科研究领域日益普及。表情驱动技术就是以深度神经网络为基础的一项重要计算机视觉运用，该技术可以通过输入一张目标图像和相应的驱动视频，将驱动视频中的运动轨迹转移到目标图像上，生成以目标图像为基准带有驱动视频运动轨迹的视频。
[0003]现有的表情驱动技术因为模型计算量巨大以及传统计算设备计算机不足、存储量不够的原因，很难做到实时处理，因此需要额外的计算和存储设备进行异构加速，但由于现有技术的计算过程限制，传统的异构计算方案面临着额外的数据传输，导致如下两个问题：
[0004]1、额外的传输时间导致无法实时进行表情驱动视频生成。
[0005]2、额外的数据存储开销过大导致单卡设备面临着存储空间不足的问题。

技术实现思路

[0006]本公开实施例提供一种视频生成方法、装置、设备及存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：提取原始图像的第一特征信息和原始驱动视频中各视频帧的第二特征信息；其中，所述原始图像和所述原始驱动视频均包含人物形象；根据所述第一特征信息和各所述第二特征信息获取多个光流变换信息；根据所述第一特征信息和所述多个光流变换信息对所述原始图像进行变换处理，获得多个目标图像；将所述多个目标图像进行拼接，获得目标视频。2.根据权利要求1所述的方法，其特征在于，所述第一特征信息包括第一关键点信息和第一属性特征信息；所述第二特征信息包括第二关键点信息和第二属性特征信息；根据所述第一特征信息和各所述第二特征信息获取多个光流变换信息，包括：根据所述第一关键点信息确定第一凸包面积；根据所述第二关键点信息确定第二凸包面积；对于第N个视频帧，对所述第一凸包面积和所述第二凸包面积进行线性处理，获得适配信息；其中，N为大于或等于1的正整数；对所述第一属性特征信息和所述第二属性特征信息进行线性处理，获得目标属性特征信息；根据所述适配信息和所述目标属性特征信息获得第N个视频帧对应的光流变换信息。3.根据权利要求2所述的方法，其特征在于，对所述第一凸包面积和所述第二凸包面积进行线性处理，获得适配信息，包括：对所述第一凸包面积和所述第二凸包面积分别进行开方根计算；将开方根计算的所述第一凸包面积和所述第二凸包面积进行相除，获得第N个视频帧的适配信息。4.根据权利要求2所述的方法，其特征在于，对所述第一属性特征信息和所述第二属性特征信息进行线性处理，获得目标属性特征信息，包括：将第N个视频帧的第二属性信息和首个视频帧的第二属性信息进行线性融合，获得第二中间属性特征信息；将所述第二中间属性信息和所述第一属性特征信息进行线性融合，获得目标属性特征信息。5.根据权利要求4所述的方法，其特征在于，所述第一属性特征信息和所述第二属性特征信息均由矩阵表征；将第N个视频帧的第二属性信息和首个视频帧的第二属性信息进行线性融合，获得第二中...

【专利技术属性】
技术研发人员：张英杰，张启军，朱亦凡，张清源，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：