使用一个或更多个神经网络的视图生成制造技术

呈现了用于生成图像的装置、系统和技术。在至少一个实施例中，一个或更多个神经网络用于至少部分地基于具有一个或更多个不同视点的一个或更多个第二图像来生成一个或更多个第一图像。第一图像。第一图像。

【技术实现步骤摘要】
【国外来华专利技术】使用一个或更多个神经网络的视图生成
[0001]相关申请的交叉引用
[0002]本申请要求于2021年1月5日提交的题为“使用一个或更多个神经网络的视图生成”的美国非临时专利申请序列号17/141,430的优先权，该申请的全部内容并入本文并用于所有目的。


[0003]至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新技术训练神经网络的处理器或计算系统。

技术介绍

[0004]随着对在线游戏和数字体验的兴趣不断增加，人们对能够查看其他用户体验的兴趣也相应增加。这可以包括观看参与游戏会话的玩家的视频或流，例如可能是锦标赛或日常比赛的一部分。在许多情况下，这些观众可以获得提供给各个玩家的会话的视图，例如可以使视图能够看到一个或更多个玩家正在观看。观看者可以选择在这些视图之间切换以获得来自不同玩家的不同视角。然而，这样的视图对于那些观看者可能不是最佳的，因为观看者可能不希望被限制于特定玩家的视角。然而，从一组固定的视频剪辑或片段生成不同的视图可能难以执行，至少部分是由于剪辑之间缺乏本地化或上下文，以及游戏会话中缺少信息。
附图说明
[0005]将参照附图描述根据本公开的各个实施例，在附图中：
[0006]图1A、1B、1C、1D、1E和1F示出了根据至少一个实施例的游戏会话的图像；
[0007]图2示出了根据至少一个实施例的用于生成观众视图的系统；
[0008]图3示出了根据至少一个实施例的观众视图生成过程的图像；/>[0009]图4A和4B示出了根据至少一个实施例的用于生成图像的过程；
[0010]图5示出了根据至少一个实施例的用于生成图像的系统；
[0011]图6A示出了根据至少一个实施例的推理和/或训练逻辑；
[0012]图6B示出了根据至少一个实施例的推理和/或训练逻辑；
[0013]图7示出了根据至少一个实施例的示例数据中心系统；
[0014]图8示出了根据至少一个实施例的计算机系统；
[0015]图9示出了根据至少一个实施例的计算机系统；
[0016]图10示出了根据至少一个实施例的计算机系统；
[0017]图11示出了根据至少一个实施例的计算机系统；
[0018]图12A示出了根据至少一个实施例的计算机系统；
[0019]图12B示出了根据至少一个实施例的计算机系统；
[0020]图12C示出了根据至少一个实施例的计算机系统；
[0021]图12D示出了根据至少一个实施例的计算机系统；
[0022]图12E和图12F示出了根据至少一个实施例的共享编程模型；
[0023]图13示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0024]图14A
‑
14B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0025]图15A
‑
15B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0026]图16示出了根据至少一个实施例的计算机系统；
[0027]图17A示出了根据至少一个实施例的并行处理器；
[0028]图17B示出了根据至少一个实施例的分区单元；
[0029]图17C示出了根据至少一个实施例的处理集群；
[0030]图17D示出了根据至少一个实施例的图形多处理器；
[0031]图18示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0032]图19示出了根据至少一个实施例的图形处理器；
[0033]图20示出了根据至少一个实施例的处理器的微架构；
[0034]图21示出了根据至少一个实施例的深度学习应用处理器；
[0035]图22示出了根据至少一个实施例的示例神经元形态处理器；
[0036]图23和图24示出了根据至少一个实施例的图形处理器的至少部分；
[0037]图25示出了根据至少一个实施例的图形处理器核心的至少部分；
[0038]图26A
‑
26B示出了根据至少一个实施例的图形处理器核心的至少部分；
[0039]图27示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0040]图28示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0041]图29示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0042]图30示出了根据至少一个实施例的流式多处理器；
[0043]图31是根据至少一个实施例的用于高级计算管线的示例数据流程图；
[0044]图32是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；
[0045]图33A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图；以及
[0046]图33B是根据至少一个实施例的用预先训练的注释模型增强注释工具的客户端
‑
服务器架构的示例说明。
具体实施方式
[0047]在至少一个实施例中，一个或更多个用户可以参与电子体验，例如可以包括视频游戏、虚拟现实(AR)、增强现实(AR)、混合现实(MR)或其他此类体验，这可以通过本地或在线网络或作为网络系统的一部分来体验。在至少一个实施例中，这样的体验本质上不一定是电子的，但可能涉及环境中多个活动者的视频捕获。在至少一个实施例中，这可以包括在线游戏会话中的一个或更多个玩家，其中其他观众可能希望通过一个或更多个视频剪辑或流来观看该游戏会话，这些视频剪辑或流可以在该游戏会话期间或之后可用。在至少一个实施例中，在给定的时间点或时间段，该会话中可能有三个玩家。在至少一个实施例中，这
些玩家中的每一个都可以接收该游戏会话的玩家特定视图，这可以通过界面、监视器、耳机、护目镜或其他此类显示或呈现机制来显示。在至少一个实施例中，这些特定于玩家的视图中的每一个都可以从与该玩家相关联的视点或该玩家的化身(例如第一人称或第三人称视图)生成。在至少一个实施例中，第一玩家可以接收第一玩家视图100，第一玩家视图100以第三人称视图显示玩家1的玩家化身102，如图1A所示。在至少一个实施例中，第二玩家可以接收第二玩家视图110，第二玩家视图110以第三人称视图显示玩家2的玩家化身112，如图1B所示。在至少一个实施例中，第三玩家可以接收第三玩家视图120，第三玩家视图120在第三人称视图中显示玩家3的玩家化身122，如图1C所示。在至少一个实施例中，这些视图中的每一个对于每个玩家来说可能是最佳的，或者至少是合适的，因为它提供了与该玩家特别相关的视图或视角。在至少一个实施例中，每个玩家还可以具有修改所提供的视图的选项，例如在第一人称视图和第三人称视图之间改变。
[0048]在至少一个实施例中，另一个人可能希望从不同的设备观看该游戏会本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络以至少部分地基于具有一个或更多个不同视点的一个或更多个第二图像来生成一个或更多个第一图像。2.如权利要求1所述的处理器，其中所述一个或更多个第二图像是环境中的一个或更多个活动者的视频帧，并且其中所述一个或更多个第一图像是表示在一个或更多个时间点的所述环境的观众视图的视频帧，其中所述观众视图包括所述环境中的所述一个或更多个活动者的一个或更多个表示。3.如权利要求1所述的处理器，其中所述一个或更多个神经网络包括三维卷积神经网络(3D
‑
CNN)，用于对所述一个或更多个第二图像中的运动进行分类。4.如权利要求3所述的处理器，其中所述一个或更多个神经网络包括一个或更多个相交变分自动编码器(VAE)，用于将所述一个或更多个第二图像的特征和所分类的运动编码到一个或更多个潜在空间。5.如权利要求4所述的处理器，其中所述一个或更多个电路进一步用于对所述一个或更多个潜在空间进行采样以确定所述一个或更多个第二图像中表示的一个或更多个活动者的一个或更多个活动者轨迹。6.如权利要求5所述的处理器，其中所述一个或更多个神经网络包括两阶段生成对抗网络(GAN)，用于至少部分地基于从所述一个或更多个活动者轨迹确定的交互来生成所述一个或更多个第一图像。7.一种系统，包括：一个或更多个处理器，用于使用一个或更多个神经网络以至少部分地基于具有一个或更多个不同视点的一个或更多个第二图像来生成一个或更多个第一图像。8.如权利要求7所述的系统，其中所述一个或更多个第二图像是环境中的一个或更多个活动者的视频帧，并且其中所述一个或更多个第一图像是表示在一个或更多个时间点的所述环境的观众视图的视频帧，其中所述观众视图包括所述环境中的所述一个或更多个活动者的一个或更多个表示。9.如权利要求7所述的系统，其中所述一个或更多个神经网络包括三维卷积神经网络(3D
‑
CNN)，用于对所述一个或更多个第二图像中的运动进行分类。10.如权利要求9所述的系统，其中所述一个或更多个神经网络包括一个或更多个相交变分自动编码器(VAE)，用于将所述一个或更多个第二图像的特征和所分类的运动编码到一个或更多个潜在空间。11.如权利要求10所述的系统，其中所述一个或更多个处理器进一步用于对所述一个或更多个潜在空间进行采样以确定所述一个或更多个第二图像中表示的一个或更多个活动者的一个或更多个活动者轨迹。12.如权利要求11所述的系统，其中所述一个或更多个神经网络包括两阶段生成对抗网络(GAN)，用于至少部分地基于从所述一个或更多个活动者轨迹确定的交互来生成所述一个或更多个第一图像。13.一种方法，包括：使用一个或更多个神经网络以至少部分地基于具有一个或更多个不同视点的一个或更多个第二图像来生成一个或更多个第一图像。
14.如权利要求13所述的方法，其中所述一个或更多个第二图像是环境中的一个或更多个活动者的视频帧，并且其中所述一个或更多个第一图像是表示在一个或更多个时间点的所述环境的观众视图的视频帧，其中所述观众视图包括所述环境中的所述一个或更多个活动者的一个或更多个表示。15.如权利要求13所述的方法，其中所述一个或更多个神经网络包括三维卷积神经网络(3D
‑
CNN)，用于对所述一个或更多个第二图像中的运动进行分类。16.如权利要求15所述的方法，其中所述一个或更多个神经网络包括一个或更多个相交变分自动编码器(VAE)，用于将所述...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：辉达公司，
类型：发明
国别省市：