使用一个或更多个神经网络来处理三维图像的层的技术制造技术

本公开涉及用于识别三维图形图像的一个或更多个层以生成二维表示的装置、系统和技术。在至少一个实施例中，识别三维图形图像的一个或更多个层以生成一个或更多个二维表示。一个或更多个层以生成一个或更多个二维表示。一个或更多个层以生成一个或更多个二维表示。

【技术实现步骤摘要】
【国外来华专利技术】使用一个或更多个神经网络来处理三维图像的层的技术
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月2日提交的标题为“使用一个或更多个神经网络处理三维图像的层的技术(Techniques to process layers of a three
‑
dimensional image using one ormore neural networks)”的美国专利申请第16/890941号的优先权，该申请的全部公开内容以引用方式并入本文以用于所有目的。


[0003]至少一个实施例涉及用于识别三维图像的层以生成二维表示的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新技术识别三维图像的层以生成二维表示的处理器或计算系统。

技术介绍

[0004]识别三维图像的层以生成二维表示可以使用相当数量的存储器、时间或计算资源。用于识别三维图像的层以生成二维表示的存储器、时间或计算资源的量被改进。
附图说明
[0005]图1示出了根据至少一个实施例的网络架构的图；
[0006]图2示出了根据至少一个实施例的确定和处理图像层的图；
[0007]图3示出了根据至少一个实施例的U
‑
Net的图；
[0008]图4示出了根据至少一个实施例的用于从样本确定和过滤层的过程的示例；
[0009]图5示出了根据至少一个实施例的训练网络的过程的示例；
[0010]图6示出了根据至少一个实施例的对路径跟踪的图像去噪的过程的示例；
[0011]图7A示出了根据至少一个实施例的推理和/或训练逻辑；
[0012]图7B示出了根据至少一个实施例的推理和/或训练逻辑；
[0013]图8示出了根据至少一个实施例的神经网络的训练和部署；
[0014]图9示出了根据至少一个实施例的示例数据中心系统；
[0015]图10A示出了根据至少一个实施例的自主车辆的示例；
[0016]图10B示出了根据至少一个实施例的图10A的自主车辆的相机位置和视野的示例；
[0017]图10C是根据至少一个实施例的示出图10A的自主车辆的示例系统架构的框图；
[0018]图10D是根据至少一个实施例的示出用于一个或更多个基于云的服务器与图10A的自主车辆之间的通信的系统的图；
[0019]图11是根据至少一个实施例的示出计算机系统的框图；
[0020]图12是根据至少一个实施例的示出计算机系统的框图；
[0021]图13示出了根据至少一个实施例的计算机系统；
[0022]图14示出了根据至少一个实施例的计算机系统；
[0023]图15A示出了根据至少一个实施例的计算机系统；
[0024]图15B示出了根据至少一个实施例的计算机系统；
[0025]图15C示出了根据至少一个实施例的计算机系统；
[0026]图15D示出了根据至少一个实施例的计算机系统；
[0027]图15E和图15F示出了根据至少一个实施例的共享编程模型；
[0028]图16示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0029]图17A和图17B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0030]图18A和图18B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0031]图19示出了根据至少一个实施例的计算机系统；
[0032]图20A示出了根据至少一个实施例的并行处理器；
[0033]图20B示出了根据至少一个实施例的分区单元；
[0034]图20C示出了根据至少一个实施例的处理集群；
[0035]图20D示出了根据至少一个实施例的图形多处理器；
[0036]图21示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0037]图22示出了根据至少一个实施例的图形处理器；
[0038]图23是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
[0039]图24示出了根据至少一个实施例的深度学习应用程序处理器；
[0040]图25是根据至少一个实施例的示出了示例神经形态处理器的框图；
[0041]图26示出了根据一个或更多个实施例的图形处理器的至少部分；
[0042]图27示出了根据一个或更多个实施例的图形处理器的至少部分；
[0043]图28示出了根据一个或更多个实施例的图形处理器的至少部分；
[0044]图29是根据至少一个实施例的图形处理器的图形处理引擎的框图；
[0045]图30是根据至少一个实施例的图形处理器核心的至少部分的框图；
[0046]图31A和图31B示出了根据至少一个实施例的线程执行逻辑，其包括图形处理器核心的处理元件的阵列；
[0047]图32示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0048]图33示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0049]图34示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0050]图35示出了根据至少一个实施例的流式多处理器；
[0051]图36是根据至少一个实施例的高级计算管线的示例数据流图；
[0052]图37是根据至少一个实施例的用于在高级计算管线中训练、适应、实例化和部署机器学习模型的示例系统的系统图；
[0053]图38包括根据至少一个实施例的用于处理成像数据的高级计算管线的示例图示；
[0054]图39A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流图；
[0055]图39B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流图；
[0056]图40A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图；以及
[0057]图40B是根据至少一个实施例的利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0058]在至少一个实施例中，路径跟踪是通过跟踪每个像素内的多条光线路径(可以被标记为样本)来准确地模拟计算机图形中的光传输的渲染技术。在至少一个实施例中，可以称为蒙特卡罗路径跟踪的路径跟踪是渲染三维场景的图像的计算机图形处理。在至少一个实施例中，利用路径跟踪来渲染场景的三维模型的图像。在至少一个实施例中，采样以渲染来自场景的图像的每个像素。在至少一个实施例中，用于渲染来自场景的图像的像素的每个像素(spp)的样本数量可根据所述场景的复杂度和照明配置而变化。
[0059]在至少一个实施例中，利用具有层嵌入网络的神经去噪器来对蒙特卡罗路径跟踪的图像进行去噪。在至少一个实施例中，去噪、降噪和/或其变型是指从图像中去除图像噪声的过程。在至少一个实施例中，图像噪声本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络来识别三维图形图像的一个或更多个层以生成所述三维图形图像的一个或更多个二维表示。2.根据权利要求1所述的处理器，其中，所述一个或更多个电路，用于使用所述一个或更多个神经网络以：获得所述一个或更多个二维表示的像素的多个样本；将所述多个样本划分成所述一个或更多个层；将对应滤波器应用于所述一个或更多个层中的每一层，从而生成一个或更多个滤波器输出；以及合成所述一个或更多个滤波器输出以确定所述像素的一个或更多个特性。3.根据权利要求2所述的处理器，其中，所述一个或更多个神经网络用于划分所述多个样本是使用卷积神经网络来确定所述一个或更多个层中的每个层的相应权重。4.根据权利要求2所述的处理器，其中，所述一个或更多个神经网络进一步用于使用全连接网络从所述多个样本中确定多个样本嵌入，其中，所述多个样本嵌入将至少被用于将所述多个样本划分成所述一个或更多个层。5.根据权利要求4所述的处理器，其中，所述一个或更多个神经网络进一步用于：使用U
‑
net从所述多个样本嵌入中确定一个或更多个上下文特征；生成所述一个或更多个层中的第一层的第一权重，作为将所述多个样本被划分成所述一个或更多个层的结果；以及至少部分地基于所述多个样本嵌入和所述第一权重来生成用于所述一个或更多个层中的所述第一层的第一滤波器。6.根据权利要求2所述的处理器，其中：所述一个或更多个滤波器输出包括对于所述一个或更多个层中的每一层的：辐射、权重和占用率；以及所述一个或更多个神经网络用于在所述一个或更多个层的相应层、相应辐射和相应占用率上使用阿尔法合成，以确定所述像素的所述一个或更多个特性。7.根据权利要求2所述的处理器，其中，所述一个或更多个特性包括所述像素的颜色。8.一种机器可读介质，其上存储有一组指令，当由一个或更多个处理器执行该组指令时，使所述一个或更多个处理器使用一个或更多个神经网络来至少识别三维图形图像的一个或更多个层，以生成所述三维图形图像的一个或更多个二维表示。9.根据权利要求8所述的机器可读介质，其中，所述一个或更多个处理器用于使用所述一个或更多个神经网络以：获得用于所述一个或更多个二维表示的像素的样本组；从所述样本组生成嵌入组；处理所述嵌入组以生成上下文数据组；至少部分地基于所述嵌入组和所述上下文数据组将所述样本组划分成所述一个或更多个层；对于所述一个或更多个层，至少部分地基于划分所述一个或更多个样本的结果生成对应的一个或更多个滤波器；将所述对应的一个或更多个滤波器应用于所述一个或更多个层以生成一个或更多个
滤波器输出；以及合成所述一个或更多个滤波器输出以确定所述像素的一个或更多个特性。10.根据权利要求9所述的机器可读介质，其中：所述一个或更多个神经网络用于将所述样本组划分成所述一个或更多个层是用于确定所述一个或更多个层的权重组；以及所述一个或更多个神经网络用于至少部分地基于所述权重组生成所述一个或更多个滤波器输出。11.根据权利要求9所述的机器可读介质，其中：所述样本组中的样本包括辐射数据和特征引导组；以及所述嵌入组通过对所述样本组应用全连接网络将被生成。12.根据权利要求11所述的机器可读介质，其中，所述特征引导组包括以下各项中的至少一项：法线；深度；反照率；镜面颜色；或镜面粗糙度。13.根据权利要求9所述的机器可读介质，其中，所述一个或更多个滤波器输出包括：层辐射；层权重；以及层占有率。14.一种系统，包括：一个或更多个处理器，用于使用一个或更多个神经网络来识别三维图形图像的一个或更多个层，以生成所述三维图形图像的一个或更多个二维表示；以及一个或更多个存储器，用于存储所述一个或更多个神经网络。15.根据权利要求14所述的系统，其中，所述一个或更多个处理器用于使用所述一个或更多个神经网络以：获得所述一个或更多个二维表示的像素的样本组；变换所述样本组以生成嵌入组；处理所述嵌入组以生成上下文数据组；至少部分地基于所述嵌入组和所述上下文数据组将所述样本组划分成所述一个或更多个层；对于所述一个或更多个层，至少部分地基于划分所述一个或更多个样本的结果生成对应的一个或更多个滤波器；将所述对应的一个或更多个滤波器应用于所述一个或更多个层以生成一个或更多个滤波器输出；以及合成所述一个或更多个滤波器输出以确定所述像素的一个或更多个特性。16.根据权利要求15所述的系统，其中：通过所述一个或更多个神经网络中的第一神经网络变换所述样本组；
用所述一个或更多个神经网络中的第二神经网络处理所述嵌入组；以及用所述一个或更多个神经网络中的第三神经网络来划分所述样本组。17.根据权利要求16所述的系统，其中：所述第一神经网络是第一全连接网络；所述第二神经网络是U
‑
net；以及所述第三神经网络是第二全连接网络。18.根据权利要求17所述的系统，其中，所述U
‑
net包括一个或更多个跳跃连接。19.根据权利要求15所述的系统，其中，所述一个或更多个处理器用于使用所述一个或更多个神经网络中的相应神经网络来生成所述对应的一个或更多个滤波器中的相应滤波器。20.根据权利要求14所述的系统，其中，超参数定义在所述一个或更多个...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：辉达公司，
类型：发明
国别省市：