生成虚拟形象视频的方法及装置、电子设备和存储介质制造方法及图纸

本申请提供一种生成虚拟形象视频的方法及装置、电子设备和存储介质，属于计算机技术领域。所述方法包括：获取人像视频；通过识别人像视频的人像类型，确定与人像类型对应的处理模型；基于开始时段的人像视频，利用对应的处理模型确定虚拟形象的全身特征数据集合，以基于全身特征数据集合生成虚拟形象视频的开始时段的视频数据；对于开始时段以后的任意一帧的人像视频，利用与当前帧的人像视频对应的处理模型，确定当前帧与上一帧之间人体特征数据的变化量，并基于叠加了变化量的全身特征数据集合生成虚拟形象视频的当前帧的视频数据。本申请能够帮助解决人像类型发生变化时虚拟形象突然发生显著改变的问题。象突然发生显著改变的问题。象突然发生显著改变的问题。

【技术实现步骤摘要】
生成虚拟形象视频的方法及装置、电子设备和存储介质


[0001]本申请涉及计算机
，特别涉及一种生成虚拟形象视频的方法及装置、电子设备和存储介质。

技术介绍

[0002]数字虚拟人技术是虚拟现实（VR）与增强现实（AR）的结合，虚拟人是一种基于计算机技术和网络通讯技术的新型人机交互界面，通过实时交互和人工智能技术实现人机自然混合的场景。随着人工智能等相关技术在各个领域中不断地深入应用，数字虚拟人技术在文化娱乐、商业贸易、教育科研、科学研究等各个领域有着广阔的发展前景。作为虚拟人的一种实现形式，虚拟形象一般指的是与人像视频中的人物具有相同动作、姿势、表情的动画形象，用来替代人物本身出现在现实场景或虚拟场景当中。
[0003]为了提升虚拟形象与人物之间的一致性，对于不同人像类型的人像视频，往往采用不同的处理模型来进行人体识别，比如对于全身人像的人像视频采用全身处理模型来进行人体识别、对于半身人像的人像视频采用半身处理模型来进行人体识别，等等。但是，在人像视频的人像类型发生变化时，由于不同处理模型分别产生不同的识别结果，所生成的虚拟形象也很容易在处理模型发生变化时突然发生显著改变，导致例如瞬移、瞬动等严重失真的问题的发生。

技术实现思路

[0004]本申请提供了一种生成虚拟形象视频的方法及装置、电子设备和存储介质，能够帮助解决人像类型发生变化时虚拟形象突然发生显著改变的问题。
[0005]本申请实施例的至少一个方面提供了一种生成虚拟形象视频的方法，该方法包括：获取待生成虚拟形象视频的人像视频；通过识别所述人像视频的人像类型，确定与所述人像类型对应的处理模型；其中，所述处理模型为用于基于人像视频生成人体特征数据的机器视觉模型，所述人体特征数据包括人体的多个特征点在三维空间中的位置数据；基于开始时段的所述人像视频，利用对应的所述处理模型确定虚拟形象的全身特征数据集合，以基于所述全身特征数据集合生成虚拟形象视频的开始时段的视频数据；对于所述开始时段以后的任意一帧的人像视频，利用与当前帧的人像视频对应的所述处理模型，确定当前帧与上一帧之间所述人体特征数据的变化量，并基于叠加了所述变化量的所述全身特征数据集合生成所述虚拟形象视频的当前帧的视频数据。
[0006]本申请实施例的至少一个方面提供了一种生成虚拟形象视频的装置，该装置包括：获取模块，用于获取待生成虚拟形象视频的人像视频；确定模块，用于通过识别所述人像视频的人像类型，确定与所述人像视频的人像类型对应的处理模型；其中，所述处理模型为用于基于所述人像视频生成人体特征数据的机器视觉模型，所述人体特征数据包括所述人像视频中的人体的多个特征点在三维空间中的位置数据；第一生成模块，用于基于所述人像视频的开始时段，利用对应的所述处理模型确定虚拟形象的全身特征数据集合，以基
于所述全身特征数据集合生成虚拟形象视频的开始时段的视频数据；第二生成模块，用于对于所述开始时段以后的任意一帧人像视频，利用与当前帧的人像视频对应的所述处理模型，确定当前帧与上一帧之间所述人体特征数据的变化量，并基于叠加了所述变化量的所述全身特征数据集合生成虚拟形象视频的当前帧的视频数据。
[0007]本申请实施例的至少一个方面提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器的可执行指令的存储器；其中，所述处理器用于执行所述可执行指令，以实现上述生成虚拟形象视频的方法。
[0008]本申请实施例的至少一个方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有处理器的可执行指令，所述可执行指令被配置为在被处理器执行时使所述处理器实现上述生成虚拟形象视频的方法。
[0009]本申请实施例中，生成虚拟形象视频的方式不再采用对于不同人像类型分别使用不同处理模型来生成的方式，而先基于开始时段的人像视频确定对应虚拟形象的初始状态的全身特征数据集合，再将此后每一种处理模型得到的人体特征数据以相邻帧之间变化量的形式叠加到全身特征数据集合，使得所生成的虚拟形象视频在人像类型发生变化时只体现同一处理模型的输出结果在相邻帧之间的差异、而不体现不同处理模型的输出结果之间的差异，从而能够使得生成的虚拟形象视频更加连续和平滑，能够帮助解决人像类型发生变化时虚拟形象突然发生显著改变的问题，有助于提升虚拟形象的呈现效果。
附图说明
[0010]图1是本申请实施例提供的一种生成虚拟形象视频的方法的应用场景示意图；
[0011]图2是本申请实施例提供的一种生成虚拟形象视频的方法的步骤流程示意图；
[0012]图3是本申请实施例提供的一种生成虚拟形象视频的方法中一种过渡时段的人像视频的处理方式的步骤流程示意图；
[0013]图4是本申请实施例提供的一种生成虚拟形象视频的装置的结构框图；
[0014]图5是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
[0015]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0016]图1是本申请实施例提供的一种生成虚拟形象视频的方法的应用场景示意图。参见图1，在如图1所示的系统中，终端100与服务器200之间通过网络300连接，从而服务器200能够通过网络通信为终端100提供生成虚拟形象视频的服务。在一个示例中，终端100通过摄像头实时拍摄用户画面以作为待生成虚拟形象视频的人像视频S1通过网络300的连接发送给服务器200，而服务器200通过对接收到的人像视频S1执行生成虚拟形象视频的方法，生成相应的虚拟形象视频S2并发送给终端100，使得终端100能够在屏幕上实时显示包含用户的虚拟形象的画面。在其他示例中，服务器200进一步将生成的虚拟形象视频S2发送至除终端100以外的多个用户终端，以实现用户使用终端100来进行的基于虚拟形象的视频直播。
[0017]相关技术中，为了提升虚拟形象与人像视频中的人物之间的一致性，会针对不同
的人像类型使用不同的处理模型来进行人体识别。比如对于图1所示的正面半身人像的人像类型的人像视频S1，服务器200会针对性地采用正面半身人像的处理模型来进行人体识别，从而基于处理模型的输出结果生成正面半身人像的虚拟形象视频S2；对于例如正面全身人像的人像类型的人像视频，服务器200会针对性地采用正面全身人像的处理模型来进行人体识别，从而基于处理模型的输出结果生成正面全身人像的虚拟形象视频。然而，由于终端100拍摄得到的人像视频S1会因为用户的移动或转身等动作而从一种人像类型变化为另一种人像类型，这就使得服务器200生成的虚拟形象视频S2会由不同处理模型分别处理得到的虚拟形象视频拼接而成；但是，由于处理模型对于相同输入的输出结果之间存在着差异，这使得虚拟形象视频S2在人像类型发生变化的时间点处容易突然发生显著改变，比如画面中虚拟形象的位置突然发生移动（瞬移）、或者画面中虚拟形象的某个部位突然从一个位置变化到另一个位置、或是从一种状态变化为另一种状态，等等。这些现象会导致虚拟形象视频中出现严重的不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成虚拟形象视频的方法，其特征在于，所述方法包括：获取待生成虚拟形象视频的人像视频；通过识别所述人像视频的人像类型，确定与所述人像类型对应的处理模型；其中，所述处理模型为用于基于人像视频生成人体特征数据的机器视觉模型，所述人体特征数据包括人体的多个特征点在三维空间中的位置数据；基于开始时段的所述人像视频，利用对应的所述处理模型确定虚拟形象的全身特征数据集合，以基于所述全身特征数据集合生成虚拟形象视频的开始时段的视频数据；对于所述开始时段以后的任意一帧的人像视频，利用与当前帧的人像视频对应的所述处理模型，确定当前帧与上一帧之间所述人体特征数据的变化量，并基于叠加了所述变化量的所述全身特征数据集合生成所述虚拟形象视频的当前帧的视频数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对于过渡时段的所述人像视频，利用与第一类型对应的所述处理模型确定所述过渡时段中的多帧之间的第一变化量的序列，利用与第二类型对应的所述处理模型确定所述过渡时段中的多帧之间的第二变化量的序列，对所述第一变化量的序列和所述第二变化量的序列进行平均化处理以得到混合变化量序列，并将所述过渡时段中的用于叠加在所述全身特征数据集合上的所述变化量的序列替换为所述混合变化量序列；其中，所述过渡时段为所述人像视频的人像类型从所述第一类型变化到所述第二类型的时段。3.根据权利要求2所述的方法，其特征在于，所述对所述第一变化量的序列和所述第二变化量的序列进行平均化处理以得到混合变化量序列，包括：对于所述过渡时段中的每一帧，对该帧的所述第一变化量与所述第二变化量进行加权平均，以得到所述混合变化量序列在该帧的变化量；其中，所述第二变化量与所述第一变化量之间的权重比例按照帧的时间顺序逐渐增大。4.根据权利要求1所述的方法，其特征在于，所述人体特征数据还包括所述人像视频中的多个人体部位的角度数据。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述人像类型包括正面全身人像、正面半身人像、正面面部人像、侧面全身人像、侧面半身人像、侧面面部人像、背面全身人像和背面半身人像中的至少两种，不同种类的所述人像类型对应不同的所述处理模型，不同种类的所述人像类型对应数据项目组成不同的所述人体...

【专利技术属性】
技术研发人员：戚德望，
申请(专利权)人：海马云天津信息技术有限公司，
类型：发明
国别省市：