使用一个或更多个神经网络进行视频合成制造技术

本发明专利技术公开了使用一个或更多个神经网络进行视频合成，具体公开了用于合成一致的图像或视频的装置、系统和技术。在至少一个实施例中，一个或更多个神经网络被用于至少部分地基于一个或更多个第一图像的一个或更多个点云表示来生成一个或更多个第二图像。表示来生成一个或更多个第二图像。表示来生成一个或更多个第二图像。

【技术实现步骤摘要】
使用一个或更多个神经网络进行视频合成


[0001]至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新颖技术来训练神经网络的处理器或计算系统。

技术介绍

[0002]随着越来越多的媒体内容被数字化生成，并且随着用于呈现该内容的技术不断提高，存在相应的期望来改善该内容的质量。例如，机器学习可以用于基于所捕获的针对源三维世界的输入视频来生成照片级逼真的视频，例如可能涉及运动捕获技术。然而，先前在这种视频生成上的尝试是不一致的，使得所生成的视频的对象和元素的颜色和外观将随着时间以及通过相机和通过视角而变化，这降低了观看或以其他方式消费所生成内容的总体体验。
附图说明
[0003]将参照附图描述根据本公开的各个实施例，在附图中：
[0004]图1示出了根据至少一个实施例的用于获取视频内容的系统；
[0005]图2示出了根据至少一个实施例的视频合成系统；
[0006]图3示出了根据至少一个实施例的图像合成系统的组件；
[0007]图4示出了根据至少一个实施例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络来至少部分地基于一个或更多个第一图像的一个或更多个点云表示生成一个或更多个第二图像。2.根据权利要求1所述的处理器，其中所述一个或更多个电路进一步用于至少部分地基于分配给所述一个或更多个第一图像的相应像素的颜色，将颜色分配给所述一个或更多个点云表示或一个或更多个运动向量表示的一个或更多个部分。3.根据权利要求2所述的处理器，其中所述一个或更多个第一图像和所述一个或更多个第二图像是使用图像编码器网络以及图像生成器网络生成的，所述图像编码器网络用于对所述一个或更多个第一图像的先前生成的图像进行编码，所述图像生成器网络用于至少部分地基于由所述图像编码器网络输出的所述一个或更多个第二图像的向量表示来生成所述一个或更多个第二图像的下一个生成的图像。4.根据权利要求3所述的处理器，其中所述图像生成器网络包括转换块和放大层的序列，所述转换块用于基于一个或更多个输入来生成图像，并且每个转换块包括转换层序列，所述序列中的至少一个转换层用于接收通过将所述一个或更多个点云表示投影到所述下一个生成的图像的下一个视角上而生成的引导图像作为输入。5.根据权利要求4所述的处理器，其中所述转换层序列中的至少一个转换层用于接收由标签嵌入网络生成的一个或更多个样式嵌入作为输入，所述标签嵌入网络接收级联的语义数据作为输入，所述语义数据包括从一个或更多个输入图像确定的分段数据、深度数据、姿态数据或边缘数据中的至少一个。6.根据权利要求4所述的处理器，其中所述转换块的所述转换层序列中的至少一个转换层用于接收由流嵌入网络生成的一个或更多个流嵌入作为输入，所述流嵌入网络接收光流数据和所述一个或更多个第一图像的先前生成的图像作为输入。7.一种系统，包括：一个或更多个处理器，用于使用一个或更多个神经网络来至少部分地基于一个或更多个第一图像的一个或更多个点云表示生成一个或更多个第二图像。8.根据权利要求7所述的系统，其中所述一个或更多个处理器进一步用于至少部分地基于分配给所述一个或更多个第一图像的相应像素的一个或更多个颜色，将一个或更多个颜色分配给所述一个或更多个点云表示的一个或更多个部分。9.根据权利要求8所述的系统，其中所述一个或更多个第一图像和所述一个或更多个第二图像是使用图像编码器网络以及图像生成器网络生成的，所述图像编码器网络用于对所述一个或更多个第一图像的先前生成的图像进行编码，所述图像生成器网络用于至少部分地基于由所述图像编码器网络输出的所述一个或更多个第二图像的向量表示来生成所述一个或更多个第二图像的下一个生成的图像。10.根据权利要求9所述的系统，其中所述图像生成器网络包括转换块和放大层的序列，所述转换块用于基于一个或更多个输入来生成图像，并且每个转换块包括转换层序列，所述序列中的至少一个转换层用于接收通过将所述一个或更多个点云表示投影到所述下一个生成的图像的下一个视角上而生成的引导图像作为输入。11.根据权利要求10所述的系统，其中所述转换层序列中的至少一个转换层用于接收由标签嵌入网络生成的一个或更多个样式嵌入作为输入，所述标签嵌入网络接收级联的语
义数据作为输入，所述语义数据包括从一个或更多个输入图像确定的分段数据、深度数据、姿态数据或边缘数据中的至少一个。12.根据权利要求10所述的系统，其中所述转换块的所述转换层序列中的至少一个转换层用于接收由流嵌入网络生成的一个或更多个流嵌入作为输入，所述流嵌入网络接收光流数据和所述一个或更多个第一图像的先前生成的图像作为输入。13.一种方法，包括：使用一个或更多个神经网络来至少部分地基于一个或更多个第一图像的一个或更多个点云表示生成一个或更多个第二图像。14.根据权利要求13所述的方法，还包括：至少部分地基于分配给所述一个或更多个第一图像的相应像素的一个或更多个颜色，将一个或更多个颜色分配给所述一个或更多个点云表示的一个或更多个部分。15.根据权利要求14所述的方法，其中所述一个或更多个第一图像和所述一个或更多个第二图像是使用图像编码器网络以及图像生成器网络生成的，所述图像编码器网络用于对所述一个或更多个第一图像的先前生成的图像进行编码，所述图像生成器网络用于至少部分地基于由所述图像编码器网络输出的所述一个或更多个第二图像的向量表示来生成所述一个或更多个第二图像的下一个生成的图像。16.根据权利要求15所述的方法，其中所述图像生成器网络包括转换块和放大层的序列，所述转换块用于基于一个或更多个输入来生成图像，并且每个转换块包括转换层序列，所述序列中的至少一个转换层用于接...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：辉达公司，
类型：发明
国别省市：