视频生成方法、装置、设备与计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种视频生成方法、装置、设备与计算机可读存储介质，该方法包括：获取表征第一光线的第一信息；多次获取目标对象的多个第一关键点的第二信息，第二信息包括关键点的空间坐标和关键点的特征；根据第一信息和多次获取的第二信息，分别生成对应于第一光线的多个第一关键点融合特征；将第一信息与多个第一关键点融合特征，配对地多次输入预训练的神经光场NeLF模型，从而获得目标对象的多个静态图像，其中，多个静态图像的数量和多次获取第一关键点的第二信息的次数相等，每次由第一信息和一个第一关键融合特征配对后输入NeLF模型；将多个静态图像合成为视频。将多个静态图像合成为视频。将多个静态图像合成为视频。

【技术实现步骤摘要】
视频生成方法、装置、设备与计算机可读存储介质


[0001]本专利技术涉及人工智能
，尤其涉及视频生成方法、装置、设备与计算机可读存储介质。

技术介绍

[0002]近年来提出的神经光场是目前解决新视角合成问题的一个有力工具。传统的神经辐射场(NeRF，Neural Radiance Fields)是利用多层感知机(MLP，Multi
‑
Layer Perceptron)神经网络去隐式地学习一个静态的三维(3D，3Dimensions)场景。针对每一个静态3D场景，需要提供大量的已知相机参数的图片，来训练神经网络。训练好的神经网络，可以实现从任意角度渲染出图片的结果。
[0003]NeRF用的神经网络(11层的MLP)本身很小，但是渲染一个像素需要采集一条光线上的很多点(例如，上百个)，这导致渲染一张图的计算量非常大。此外，通过NeRF仅能够重建静态的3D图像，而针对NeLF的动态的3D视频的重建，可以理解地直接加入时间参数实现，类似于现有的NeRF的实现方式。
[0004]然而，基于NeRF进行视频生成，需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：获取表征第一光线的第一信息；多次获取目标对象的多个第一关键点的第二信息，所述第二信息包括关键点的空间坐标和关键点的特征；根据所述第一信息和多次获取的所述第二信息，分别生成对应于所述第一光线的多个第一关键点融合特征；将所述第一信息与多个所述第一关键点融合特征，配对地多次输入预训练的神经光场NeLF模型，从而获得所述目标对象的多个静态图像，其中，所述多个静态图像的数量和多次获取第一关键点的第二信息的次数相等，每次由所述第一信息和一个第一关键融合特征配对后输入所述NeLF模型；将所述多个静态图像合成为视频。2.如权利要求1所述的方法，其特征在于，所述根据所述第一信息和多次获取的所述第二信息，分别生成对应于所述第一光线的多个第一关键点融合特征，包括：针对所述第一信息和每次获取的第二信息，从多个第一关键点中确定与所述第一光线相关联的至少一个第二关键点；对所述第一信息和所述至少一个第二关键点的第二信息进行注意力计算，获取所述第一关键点融合特征。3.如权利要求1或2所述的方法，其特征在于，所述获取表征第一光线的第一信息，包括：所述第一信息为表征所述第一光线的多个采样点的信息；或者，所述第一信息为表征所述第一光线的向量的信息。4.如权利要求3所述的方法，其特征在于，在所述第一信息为表征所述第一光线的多个采样点的信息时，所述从多个第一关键点中确定与所述第一光线相关联的至少一个第二关键点，包括：根据所述多个采样点与所述多个第一关键点的位置关系，从所述多个第一关键点中确定与所述多个采样点相关联的至少一个第二关键点。5.如权利要求3所述的方法，其特征在于，在所述第一信息为表征所述第一光线的向量的信息时，所述从多个第一关键点中确定与所述第一光线相关联的至少一个第二关键点，包括：根据所述向量与所述多个第一关键点的位置关系，从所述...

【专利技术属性】
技术研发人员：周彧聪，王志浩，杨斌，
申请(专利权)人：名之梦上海科技有限公司，
类型：发明
国别省市：