视频生成方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种视频生成方法，涉及人工智能技术领域，尤其涉及增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景下。具体实现方案为：根据多个动作驱动系数中的目标动作驱动系数，利用目标计算单元对目标虚拟形象进行渲染，得到目标图像；响应于获得了目标图像，利用目标计算单元对目标图像进行编码，得到目标视频序列数据；根据目标时刻的在前视频序列数据和目标视频序列数据，得到当前视频数据，其中，目标时刻的在前视频序列数据与目标时刻的在前时段对应；以及响应于确定目标时刻满足预设条件，根据当前视频数据，得到目标视频。本公开还提供了一种视频生成装置、电子设备和存储介质。电子设备和存储介质。电子设备和存储介质。

【技术实现步骤摘要】
视频生成方法、装置、电子设备和存储介质


[0001]本公开涉及人工智能
，尤其涉及增强现实、虚拟现实、计算机视觉、深度学习等
，可应用于元宇宙、虚拟数字人等场景下。更具体地，本公开提供了一种视频生成方法、装置、电子设备和存储介质。

技术介绍

[0002]随着人工智能技术的发展，虚拟形象的应用场景不断增加。可以对虚拟形象进行渲染，以生成视频。在该视频中，虚拟形象可以执行多个动作。

技术实现思路

[0003]本公开提供了一种视频生成方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种视频生成方法，该方法包括：根据多个动作驱动系数中的目标动作驱动系数，利用目标计算单元对目标虚拟形象进行渲染，得到目标图像，其中，多个动作驱动系数分别与多个时刻对应，目标动作驱动系数与多个时刻中的目标时刻对应；响应于获得了目标图像，利用目标计算单元对目标图像进行编码，得到目标视频序列数据；根据目标时刻的在前视频序列数据和目标视频序列数据，得到当前视频数据，其中，目标时刻的在前视频序列数据与目标时刻的在前时段对应，目标时刻的在前时段包括目标时刻之前的至少一个时刻；以及响应于确定目标时刻满足预设条件，根据当前视频数据，得到目标视频。
[0005]根据本公开的另一方面，提供了一种视频生成装置，该装置包括：渲染模块，用于根据多个动作驱动系数中的目标动作驱动系数，利用目标计算单元对目标虚拟形象进行渲染，得到目标图像，其中，多个动作驱动系数分别与多个时刻对应，目标动作驱动系数与多个时刻中的目标时刻对应；编码模块，用于响应于获得了目标图像，利用目标计算单元对目标图像进行编码，得到目标视频序列数据；第一获得模块，用于根据目标时刻的在前视频序列数据和目标视频序列数据，得到当前视频数据，其中，目标时刻的在前视频序列数据与目标时刻的在前时段对应，目标时刻的在前时段包括目标时刻之前的至少一个时刻；以及第二获得模块，用于响应于确定目标时刻满足预设条件，根据当前视频数据，得到目标视频。
[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
[0008]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开提供的方法。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1是根据本公开的一个实施例的可以应用视频生成方法和装置的示例性系统架构示意图；
[0012]图2是根据本公开的一个实施例的视频生成方法的流程图；
[0013]图3是根据本公开的另一个实施例的视频生成方法的流程图；
[0014]图4是根据本公开的另一个实施例的视频生成方法的流程图；
[0015]图5是根据本公开的一个实施例的交互界面的示意图；
[0016]图6是根据本公开的一个实施例的视频帧的示意图；
[0017]图7是根据本公开的一个实施例的视频生成装置的框图；以及
[0018]图8是根据本公开的一个实施例的可以应用视频生成方法的电子设备的框图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]可以利用虚拟形象来播报文本，以生成相关视频。例如，播报文本可以显示于交互界面上。又例如，可以利用语音动画合成(Voice
‑
to
‑
Animation，VTA)算法处理播报文本，得到处理结果。处理结果可以包括播报文本中每个字符的时间戳以及与每个字符对应的至少一个动作驱动系数。动作驱动系数可以为混合形状(Blend Shape，BS)系数。动作驱动系数可以应用于虚拟形象面部的多个混合形状基底，使得这些混合形状基底的形状发生改变，以便虚拟形象执行相应的表情动作。
[0021]在一些实施例中，根据语音动画合成技术，可以利用中央处理单元(Central Processing Unit，CPU)处理播报文本，得到处理结果。根据处理结果中的动作驱动系数，利用部署于图形处理单元(Graphic Processing Unit，GPU)的渲染引擎对虚拟形象进行渲染，可以得到多个图像。这些图像可以存储至内存或硬盘中。中央处理单元可以从内存或磁盘中读取这些图像，进行视频编码。然而，这些图像占用的存储空间较大，中央处理单元读取这些图像所需的时间也较长，导致视频生成效率较低。例如，针对一段的播报文本，可能会渲染出几千或上万个图像，可能占用几十个吉字节(Gigabyte，Gb)的存储空间。
[0022]图1是根据本公开一个实施例的可以应用视频生成方法和装置的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
[0023]如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
[0024]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包
括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0025]服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
[0026]需要说明的是，本公开实施例所提供的视频生成方法一般可以由服务器105执行。相应地，本公开实施例所提供的视频生成装置一般可以设置于服务器105中。本公开实施例所提供的视频生成方法也可以由不同于服务器1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，包括：根据多个动作驱动系数中的目标动作驱动系数，利用目标计算单元对目标虚拟形象进行渲染，得到目标图像，其中，多个所述动作驱动系数分别与多个时刻对应，所述目标动作驱动系数与多个所述时刻中的目标时刻对应；响应于获得了所述目标图像，利用所述目标计算单元对所述目标图像进行编码，得到目标视频序列数据；根据所述目标时刻的在前视频序列数据和所述目标视频序列数据，得到当前视频数据，其中，所述目标时刻的在前视频序列数据与所述目标时刻的在前时段对应，所述目标时刻的在前时段包括所述目标时刻之前的至少一个所述时刻；以及响应于确定所述目标时刻满足预设条件，根据所述当前视频数据，得到目标视频。2.根据权利要求1所述的方法，其中，所述预设条件包括：所述目标时刻为多个所述时刻中最后一个时刻。3.根据权利要求2所述的方法，其中，多个所述动作驱动系数为K个，K个所述动作驱动系数分别与K个所述时刻对应，所述目标动作驱动系数为第i个所述动作驱动系数，所述目标时刻为第i个所述时刻，i为大于1且小于K的整数，K为大于1的整数，所述方法还包括：响应于确定所述目标时刻不满足所述预设条件，将所述当前视频数据，确定为第i+1个所述时刻的在前视频序列数据。4.根据权利要求1所述的方法，其中，所述利用目标计算单元对目标虚拟形象进行渲染包括：根据第1个所述动作驱动系数，利用所述目标计算单元进行渲染，得到第1个图像；以及根据第1个图像，得到第i个所述时刻的在前视频序列数据。5.根据权利要求1所述的方法，其中，多个所述动作驱动系数是利用预设算法处理目标数据得到的，所述目标数据包括目标文本和目标音频中的至少之一。6.根据权利要求5所述的方法，其中，所述目标数据为目标文本，所述目标文本的字符与至少一个所述动作驱动系数对应。7.根据权利要求1所述的方法，其中，所述目标计算单元包括图形处理单元。8.一种视频生成装置，包括：渲染模块，用于根据多个动作驱动系数中的目标动作驱动系数，利用目标计算单元对目标虚拟形象进行渲染，得到目标图像，其中，多个所述动作驱动系数分别与多个时刻对应，所述目标动作驱动系数与多个所述时刻中的目标时刻对应；编码模块，用于响应于获得了所述目标图像，利用所述目标计算单元对所...

【专利技术属性】
技术研发人员：董浩，孙昊，胡晓文，范茂伟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：