使用一个或更多个神经网络生成对象运动的图像制造技术

本公开涉及使用一个或更多个神经网络生成对象运动的图像。描述了用于重建一个或更多个图像的装置、系统和技术。在至少一个实施例中，一个或更多个神经网络用于至少部分地基于指示一个或更多个对象的运动的输入来生成所述一个或更多个对象的一个或更多个图像。述一个或更多个对象的一个或更多个图像。述一个或更多个对象的一个或更多个图像。

【技术实现步骤摘要】
使用一个或更多个神经网络生成对象运动的图像


[0001]至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新技术训练神经网络的处理器 或计算系统。

技术介绍

[0002]图像内容越来越能够以高质量和逼真的方式生成。然而，生成逼真的视频内容会是复杂的，并且可能允许有限的动作被表示。例如，参考视频或分割可以被用于指示对象应该如何移动，但之后合成视频仅限于该类型的移动。这些方法中的许多也仅限于特定对象，并且不允许针对图像或视频数据中的各种其他对象的运动生成。
附图说明
[0003]根据本公开的各种实施例将参照附图进行描述，其中：
[0004]图1示出了根据至少一个实施例的用于生成图像序列的系统；
[0005]图2A和图2B示出了根据至少一个实施例的用于将潜码(latent code) 应用于运动表示的组件；
[0006]图3示出了根据至少一个实施例的具有图像生成的增强的使用；
[0007]图4A和图4B示出了根据至少一个实施例的用于生成一个或更多个图 像的过程；
[0008]图5示出了根据至少一个实施例的用于生成或提供图像内容的系统的 组件；
[0009]图6A示出了根据至少一个实施例的推理和/或训练逻辑；
[0010]图6B示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图7示出了根据至少一个实施例的示例数据中心系统；
[0012]图8示出了根据至少一个实施例的计算机系统的框图；
[0013]图9示出了根据至少一个实施例的计算机系统的框图；
[0014]图10示出了根据至少一个实施例的计算机系统；
[0015]图11示出了根据至少一个实施例的计算机系统；
[0016]图12A示出了根据至少一个实施例的计算机系统；
[0017]图12B示出了根据至少一个实施例的计算机系统；
[0018]图12C示出了根据至少一个实施例的计算机系统；
[0019]图12D示出了根据至少一个实施例的计算机系统；
[0020]图12E和图12F示出了根据至少一个实施例的共享编程模型；
[0021]图13示出了根据至少一个实施例的示例性集成电路和相关联的图形 处理器；
[0022]图14A至图14B示出了根据至少一个实施例的示例性集成电路和相关 联的图形处理器；
[0023]图15A至图15B示出了根据至少一个实施例的附加的示例性图形处理 器逻辑；
[0024]图16示出了根据至少一个实施例的计算机系统；
[0025]图17A示出了根据至少一个实施例的并行处理器；
[0026]图17B示出了根据至少一个实施例的分区单元；
[0027]图17C示出了根据至少一个实施例的处理集群；
[0028]图17D示出了根据至少一个实施例的图形多处理器；
[0029]图18示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0030]图19示出了根据至少一个实施例的图形处理器；
[0031]图20示出了根据至少一个实施例的处理器的微架构；
[0032]图21示出了根据至少一个实施例的深度学习应用处理器；
[0033]图22示出了根据至少一个实施例的示例神经形态处理器的框图；
[0034]图23和图24示出了根据一个或更多个实施例的图形处理器的至少部 分；
[0035]图25示出了根据至少一个实施例的图形处理器核心的至少部分；
[0036]图26A至图26B示出了根据至少一个实施例的图形处理器核心的至少 部分。
[0037]图27示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0038]图28示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0039]图29示出了根据至少一个实施例的并行处理单元(“PPU”)的存储 器分区单元；
[0040]图30示出了根据至少一个实施例的流式多处理器；
[0041]图31是根据至少一个实施例的高级计算管线的示例数据流图；
[0042]图32是根据至少一个实施例的用于在高级计算管线中训练、调适、 实例化和部署机器学习模型的示例系统的系统示意图；
[0043]图33A示出了根据至少一个实施例的用于训练机器学习模型的过程 的数据流图；以及
[0044]图33B是根据至少一个实施例的利用预训练的注释模型来增强注释 工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0045]在至少一个实施例中，一个或更多个神经网络可用于生成图像(包括 视频或其他此类)数据，如图1的系统100所示。在至少一个实施例中， 该图像数据可以包括一个或更多个对象的表示，一个或更多个对象可以位 于要渲染的场景中。在至少一个实施例中，可以渲染后续图像数据，使得 当跨图像(例如，视频帧)序列进行显示或渲染时，这些一个或更多个对 象将看起来从一个位置或方向移动到另一个位置或方向。在至少一个实施 例中，可以训练一个或更多个神经网络以生成这些图像108，使得该运动 看起来很自然，使得人从一个地点移动到另一个地点可以看起来像走 (walk)、跑(run)、爬(crawl)或做另一种类型的运动以沿着这些地点 之间的路径移动。
[0046]在至少一个实施例中，用户能够控制该运动的一个或更多个方面。在 至少一个实施例中，可以提供界面，该界面可以使用户能够输入期望运动 的指示，例如控制在图像空间上的光标的位置。在至少一个实施例中，该 光标102的位置，或可通过键盘、控制杆(joystick)、触摸屏或其他此类 输入机件提供的其他此类输入，可在时间上被追踪。在至少一个实施例中， 对于要渲染的图像序列，应用程序可以为要渲染的每个单独帧确定该运动 输入的位置。在至少一个实施例中，可以训练神经网络以生成在该位置处 的特定对象的图像。在至少一个实施例中，该神经网络还可以在每一帧中 以与自然运动对应的姿势生
成该对象，使得当该序列以确定的显示速率显 示时，该对象将看起来在这些图像中真实地移动。在至少一个实施例中， 所渲染的运动类型可以至少部分地取决于运动的速度或路径，因为慢的运 动可能导致人被渲染以小步走，而快的运动可能导致人被渲染为以较大的 步走、慢跑(jog)、跑或快速奔跑(sprint)。在至少一个实施例中，运动 的路径可以使该人在被渲染时也执行其他动作，例如跳跃(jump)、蹦跳 (skip)或停止。
[0047]在至少一个实施例中，可以在时间点或时间段接收每个对象的位置信 息102，其中该输入可以在一维空间、二维空间或三维空间中提供。在至 少一个实施例中，该位置信息可以是关于要渲染的环境或场景的坐标系， 或者是关于确定的图像空间。在至少一个实施例中，可以使用合适的编码 器(例如经过训练的神经网络)对该位置信息进行编码，以生成第一潜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络以至少部分地基于指示一个或更多个对象的运动的输入来生成所述一个或更多个对象的一个或更多个图像。2.根据权利要求1所述的处理器，其中指示所述一个或更多个对象的运动的所述输入至少包括由用户指示的运动的路径、方向或速度。3.根据权利要求2所述的处理器，其中所述一个或更多个电路进一步用于生成表示在一个或更多个时间点的所述运动的一个或更多个潜码或时间傅里叶特征。4.根据权利要求3所述的处理器，其中所述一个或更多个神经网络进一步用于使用所述一个或更多个潜码或时间傅里叶特征来生成所述一个或更多个图像。5.根据权利要求1所述的处理器，其中所述一个或更多个神经网络进一步用于通过接收所述一个或更多个对象的参考信息或编码到潜在空间中的采样特征来确定所述一个或更多个对象。6.根据权利要求1所述的处理器，其中所述一个或更多个图像与视频序列的帧对应。7.一种系统，包括：一个或更多个处理器，用于使用一个或更多个神经网络至少部分地基于指示一个或更多个对象的运动的输入来生成所述一个或更多个对象的一个或更多个图像。8.根据权利要求7所述的系统，其中指示所述一个或更多个对象的运动的所述输入至少包括由用户指示的运动的路径、方向或速度。9.根据权利要求8所述的系统，其中所述一个或更多个处理器进一步用于生成表示在一个或更多个时间点的所述运动的一个或更多个潜码或时间傅里叶特征。10.根据权利要求9所述的系统，其中所述一个或更多个神经网络进一步用于使用所述一个或更多个潜码或时间傅里叶特征来生成所述一个或更多个图像。11.根据权利要求7所述的系统，其中所述一个或更多个神经网络进一步用于通过接收所述一个或更多个对象的参考信息或编码到潜在空间中的采样特征来确定所述一个或更多个对象。12.根据权利要求7所述的系统，其中所述一个或更多个图像与视频序列的帧对应。13.一种方法，包括：使用一个或更多个神经网络以至少部分地基于指示一个或更多个对象的运动的输入来生成所述一个或更多个对象的一个或更多个图像。14.根据权利要求13所述的方法，其中指示所述一个或更多个对象的运动的所述输入至少包括由用户指示的运动的路径、方向或速度。15.根据权利要求14所述的方法，进一步包括：生成表示在一个或更多个时间点的所述运动的一个或更多个潜码或时间傅里叶特征。16.根据权利要求15所述的方法，其中所述一个或更多个神经网络进一步用于使用所述一个或更多个潜码或时间傅里叶特征来生成所述一个或更多个图像。17.根据...

【专利技术属性】
技术研发人员：王鼎钧，T，
申请(专利权)人：辉达公司，
类型：发明
国别省市：