视频生成方法、装置、设备与计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种视频生成方法、装置、设备与计算机可读存储介质，该方法包括：获取表征第一光线的第一信息；多次获取目标对象的多个第一关键点的第二信息，第二信息包括关键点的空间坐标和关键点的特征；根据第一信息和多次获取的第二信息，分别生成对应于第一光线的多个第一关键点融合特征；将第一信息与多个第一关键点融合特征，配对地多次输入预训练的神经光场NeLF模型，从而获得目标对象的多个静态图像，其中，多个静态图像的数量和多次获取第一关键点的第二信息的次数相等，每次由第一信息和一个第一关键融合特征配对后输入NeLF模型；将多个静态图像合成为视频。将多个静态图像合成为视频。将多个静态图像合成为视频。

【技术实现步骤摘要】
视频生成方法、装置、设备与计算机可读存储介质


[0001]本专利技术涉及人工智能
，尤其涉及视频生成方法、装置、设备与计算机可读存储介质。

技术介绍

[0002]近年来提出的神经光场是目前解决新视角合成问题的一个有力工具。传统的神经辐射场(NeRF，Neural Radiance Fields)是利用多层感知机(MLP，Multi
‑
Layer Perceptron)神经网络去隐式地学习一个静态的三维(3D，3Dimensions)场景。针对每一个静态3D场景，需要提供大量的已知相机参数的图片，来训练神经网络。训练好的神经网络，可以实现从任意角度渲染出图片的结果。
[0003]NeRF用的神经网络(11层的MLP)本身很小，但是渲染一个像素需要采集一条光线上的很多点(例如，上百个)，这导致渲染一张图的计算量非常大。此外，通过NeRF仅能够重建静态的3D图像，而针对NeLF的动态的3D视频的重建，可以理解地直接加入时间参数实现，类似于现有的NeRF的实现方式。
[0004]然而，基于NeRF进行视频生成，需要大量的渲染时间，同时，需要时间参数才能实现。因此，如何提高三维视频的生成速度，并且进一步地脱离时间参数是亟待解决的问题。

技术实现思路

[0005]本专利技术的主要目的在于提供一种视频生成方法、装置、设备与计算机可读存储介质，旨在解决现有视频生成方式渲染速度慢且依赖时间参数的技术问题。所述技术方案如下：
[0006]第一方面，本申请实施例提供了一种视频生成方法，包括：获取表征第一光线的第一信息；多次获取目标对象的多个第一关键点的第二信息，第二信息包括关键点的空间坐标和关键点的特征；根据第一信息和多次获取的第二信息，分别生成对应于第一光线的多个第一关键点融合特征；将第一信息与多个第一关键点融合特征，配对地多次输入预训练的神经光场NeLF模型，从而获得目标对象的多个静态图像，其中，多个静态图像的数量和多次获取第一关键点的第二信息的次数相等，每次由第一信息和一个第一关键融合特征配对后输入NeLF模型；将多个静态图像合成为视频。
[0007]第二方面，本申请实施例提供一种视频生成装置，包括：光线信息获取模块，用于获取表征第一光线的第一信息；关键点信息获取模块，用于多次获取目标对象的多个第一关键点的第二信息，第二信息包括关键点的空间坐标和关键点的特征；关键点编码模块，用于根据第一信息和多次获取的第二信息，分别生成对应于第一光线的多个第一关键点融合特征；图像获取模块，用于将第一信息与多个第一关键点融合特征，配对地多次输入预训练的神经光场NeLF模型，从而获得目标对象的多个静态图像，其中，多个静态图像的数量和多次获取第一关键点的第二信息的次数相等，每次由第一信息和一个第一关键融合特征配对后输入NeLF模型；视频合成模块，用于将多个静态图像合成为视频。
[0008]第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上述第一方面中任一项方法的步骤。
[0009]第四方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行如上述第一方面中任一项方法的步骤。
[0010]在本专利技术实施例中，通过依次输入目标对象多个第一关键点的第二信息，使得在根据神经光场生成第一光线对应的静态图像时，每一张静态图像实际还与每次输入的不同关键点相关联。如此一来，虽然静态图像都对应于第一光线，但由于关键点的不同，每次生成的静态图像可以是不一样的，从而达到利用关键点来驱动静态图像“动起来”，再根据生成的静态图像来合成视频，不仅实现了3D视频合成，还能够让视频的生成与时间信息或时间参数解耦，此外，利用神经光场速度快的特性，还可以提高视频生成的速度。
附图说明
[0011]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012]图1是本申请实施例提供的一种视频生成方法的举例示意图；
[0013]图2是本申请实施例提供的一种视频生成方法的流程示意图；
[0014]图3是本申请实施例提供的一种视频生成方法的关键点示意图；
[0015]图4是本申请实施例提供的一种视频生成方法的神经辐射场模型与神经光场模型对比示意图；
[0016]图5是本申请实施例提供的一种视频生成装置的结构示意图；
[0017]图6是本申请实施例提供的一种视频生成设备的结构示意图。
具体实施方式
[0018]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0019]视频生成装置可以为手机、电脑、平板电脑、智能手表或车载设备等终端设备，也可以为终端设备中用于实现视频生成方法的模块，视频生成装置能够获取表征第一光线的第一信息，并多次获取目标对象的多个第一关键点的第二信息。其中，第二信息包括关键点的空间坐标和关键点的特征。视频生成装置能够根据第一信息和多次获取的第二信息，分别生成对应于第一光线的多个第一关键点融合特征，然后将第一信息与多个第一关键点融合特征，配对地多次输入预训练的神经光场NeLF模型，从而获得目标对象的多个静态图像，其中，多个静态图像的数量和多次获取第一关键点的第二信息的次数相等，每次由第一信息和一个第一关键融合特征配对后输入NeLF模型。视频生成装置还能够将多个静态图像合成为视频。
[0020]请一并参见图1，为本申请实施例提供了一种视频生成方法的举例示意图，图中示出的为合成目标对象3D视频的过程，在实际应用场景中，根据所需观看目标对象的视角可以得到一条光线，这光线或该视角并非必须实际存在，并且可以是在训练NeLF模型时所没有的视角，即可以是全新的视角，再根据目标对象的关键点信息驱动NeLF模型获得该光线对应的多张3D静态图片，而后根据多张静态图片合成3D视频。图1中的所需观看视角即为所需观看目标对象的视角。
[0021]下面结合具体的实施例对本申请提供的视频生成方法进行详细说明。
[0022]请参见图2，为本申请实施例提供了一种视频生成方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤S10
‑
S50。
[0023]S10，获取表征第一光线的第一信息。
[0024]S20，多次获取目标对象的多个第一关键点的第二信息。其中，第二信息包括关键点的空间坐标和关键点的特征。
[0025]S30，根据第一信息和多次获取的第二信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：获取表征第一光线的第一信息；多次获取目标对象的多个第一关键点的第二信息，所述第二信息包括关键点的空间坐标和关键点的特征；根据所述第一信息和多次获取的所述第二信息，分别生成对应于所述第一光线的多个第一关键点融合特征；将所述第一信息与多个所述第一关键点融合特征，配对地多次输入预训练的神经光场NeLF模型，从而获得所述目标对象的多个静态图像，其中，所述多个静态图像的数量和多次获取第一关键点的第二信息的次数相等，每次由所述第一信息和一个第一关键融合特征配对后输入所述NeLF模型；将所述多个静态图像合成为视频。2.如权利要求1所述的方法，其特征在于，所述根据所述第一信息和多次获取的所述第二信息，分别生成对应于所述第一光线的多个第一关键点融合特征，包括：针对所述第一信息和每次获取的第二信息，从多个第一关键点中确定与所述第一光线相关联的至少一个第二关键点；对所述第一信息和所述至少一个第二关键点的第二信息进行注意力计算，获取所述第一关键点融合特征。3.如权利要求1或2所述的方法，其特征在于，所述获取表征第一光线的第一信息，包括：所述第一信息为表征所述第一光线的多个采样点的信息；或者，所述第一信息为表征所述第一光线的向量的信息。4.如权利要求3所述的方法，其特征在于，在所述第一信息为表征所述第一光线的多个采样点的信息时，所述从多个第一关键点中确定与所述第一光线相关联的至少一个第二关键点，包括：根据所述多个采样点与所述多个第一关键点的位置关系，从所述多个第一关键点中确定与所述多个采样点相关联的至少一个第二关键点。5.如权利要求3所述的方法，其特征在于，在所述第一信息为表征所述第一光线的向量的信息时，所述从多个第一关键点中确定与所述第一光线相关联的至少一个第二关键点，包括：根据所述向量与所述多个第一关键点的位置关系，从所述...

【专利技术属性】
技术研发人员：周彧聪，王志浩，杨斌，
申请(专利权)人：名之梦上海科技有限公司，
类型：发明
国别省市：