使用一个或更多个神经网络进行图像增强制造技术

本发明专利技术公开了使用一个或更多个神经网络进行图像增强，具体提出了用于生成应用了一个或更多个视觉效果的图像的装置、系统和技术。在至少一个实施例中，一个或更多个视觉效果被应用于其分辨率小于第一分辨率的一个或更多个图像，并且那些视觉效果针对其分辨率大于或等于第一分辨率的的一个或更多个图像进行近似。似。似。

【技术实现步骤摘要】
使用一个或更多个神经网络进行图像增强
[0001]本申请是2021年9月2日提出的第202111027910.5号中国专利申请的分案申请。


[0002]至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新颖技术来训练神经网络的处理器或计算系统。

技术介绍

[0003]图像和视频内容越来越多地以更高的分辨率和在更高质量的显示器上生成和显示。在这些更高的分辨率下生成这些内容的方法往往是非常资源密集型的，这对于资源容量有限的设备来说可能是有问题的。此外，视频内容往往需要以目标或最小帧率显示，以这样的帧率生成高分辨率的内容可能很困难。通常，所产生的内容的质量会受到这些和其他限制的制约。
附图说明
[0004]将参照附图描述根据本公开的各个实施例，在附图中：
[0005]图1A和图1B示出了根据至少一个实施例的生成的图像；
[0006]图2A和图2B示出了根据至少一个实施例的图像后处理的方法；
[0007]图3示出了根据至少一个实施例的用于提供生成的图像内容的系统的组件；
[0008]图4示出了根据至少一个实施例的用于增强图像的过程；
[0009]图5示出了根据至少一个实施例的用于将视觉效果应用于图像的过程；
[0010]图6A示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图6B示出了根据至少一个实施例的推理和/或训练逻辑；
[0012]图7示出了根据至少一个实施例的示例数据中心系统；
[0013]图8示出了根据至少一个实施例的计算机系统；
[0014]图9示出了根据至少一个实施例的计算机系统；
[0015]图10示出了根据至少一个实施例的计算机系统；
[0016]图11示出了根据至少一个实施例的计算机系统；
[0017]图12A示出了根据至少一个实施例的计算机系统；
[0018]图12B示出了根据至少一个实施例的计算机系统；
[0019]图12C示出了根据至少一个实施例的计算机系统；
[0020]图12D示出了根据至少一个实施例的计算机系统；
[0021]图12E和图12F示出了根据至少一个实施例的共享编程模型；
[0022]图13示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0023]图14A
‑
14B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0024]图15A
‑
15B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0025]图16示出了根据至少一个实施例的计算机系统；
[0026]图17A示出了根据至少一个实施例的并行处理器；
[0027]图17B示出了根据至少一个实施例的分区单元；
[0028]图17C示出了根据至少一个实施例的处理集群；
[0029]图17D示出了根据至少一个实施例的图形多处理器；
[0030]图18示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0031]图19示出了根据至少一个实施例的图形处理器；
[0032]图20示出了根据至少一个实施例的处理器的微架构；
[0033]图21示出了根据至少一个实施例的深度学习应用处理器；
[0034]图22示出了根据至少一个实施例的示例神经形态处理器；
[0035]图23和图24示出了根据至少一个实施例的图形处理器的至少部分；
[0036]图25示出了根据至少一个实施例的图形处理器核心的至少部分；
[0037]图26A
‑
26B示出了根据至少一个实施例的图形处理器核心的至少部分；
[0038]图27示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0039]图28示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0040]图29示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0041]图30示出了根据至少一个实施例的流式多处理器；
[0042]图31是根据至少一个实施例的用于高级计算管线的示例数据流程图；
[0043]图32是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；
[0044]图33A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图；以及
[0045]图33B是根据至少一个实施例的用于利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0046]在至少一个实施例中，图像或视频生成系统可以以第一分辨率生成图像或视频内容，第一分辨率可以是比一个或更多个目标输出分辨率更低的分辨率。在至少一个实施例中，这可对应于图1A的较低分辨率图像100。在至少一个实施例中，这种较低分辨率的生成可以减少处理需求，这可以使得能够更快地在具有较少资源(例如，处理器或存储器)需求的设备上生成内容。在至少一个实施例中，该较低分辨率内容随后可被升尺度(upscale)，以生成较高分辨率图像110，用于以目标分辨率输出。在至少一个实施例中，这可包括从1080p或1440p分辨率变为4K或8K分辨率。在至少一个实施例中，该升尺度还可以接受有锯齿(aliased)输入，例如图像100，并产生同样是上采样、抗锯齿的升尺度后的图像110。在至少一个实施例中，这可以使用诸如来自NVIDIA公司的深度学习超级采样(DLSS)2.0之类的过程来执行。在至少一个实施例中，此升尺度和抗锯齿的处理可基于低分辨率有锯齿图像100产生高质量、高分辨率输出图像110，其可显著降低对视频卡或其他图形处理硬件的需求。
[0047]在至少一个实施例中，至少一些量的后处理可用于向生成的图像添加效果、增强
或扩充。在至少一个实施例中，这可以包括诸如图1B的经后处理输出图像120中所示的效果和增强。在至少一个实施例中，后处理可以添加诸如围绕明亮对象的泛光(bloom)122、镜头光晕(lens flare)124、运动模糊126、或者其他效果，例如可以包括颜色校正、锐化、滤波、色差、镜头畸变、色彩毛刺(chromatic glitch)、或界面元素的添加。在至少一个实施例中，后处理还可以例如通过添加图形用户界面(GUI)或平视显示器(HUD)元素(如可以包括健康数据128、时钟元素130、弹药状态132或其他此类信息)来增强图像。在至少一个实施例中，希望该附加内容具有与该图像中的其他内容相同的分辨率、清晰度和图像质量。
[0048]在至少一个实施例中，可对高分辨率抗锯齿图像110执行此后处理。然而，在至少一个实施例中，这可能需要比可用的更多的处理或资源容量，或者可能无法满足时序要求，尤其是对于较高的分辨率或帧速率。在至少一个实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使一个或更多个视觉效果被应用于其分辨率小于第一分辨率的一个或更多个图像，并在所述一个或更多个视觉效果已被应用于所述一个或更多个图像后，将所述一个或更多个图像升尺度到大于或等于所述第一分辨率的分辨率。2.根据权利要求1所述的处理器，其中所述一个或更多个视觉效果使用一个或更多个神经网络进行近似。3.根据权利要求1所述的处理器，其中所述一个或更多个视觉效果包括添加泛光、颜色校正、运动模糊、镜头光晕、锐化、滤波、色差、镜头畸变、色彩毛刺或界面元素。4.根据权利要求1所述的处理器，其中为其分辨率小于所述第一分辨率的所述一个或更多个图像确定第一参数化函数，以及其中基于所述第一参数化函数确定第二参数化函数，并且所述第二参数化函数用于近似针对其分辨率大于或等于所述第一分辨率的所述一个或更多个图像的一个或更多个视觉效果。5.根据权利要求4所述的处理器，其中所述一个或更多个电路进一步用于在所述一个或更多个视觉效果被近似后，对其分辨率大于或等于所述第一分辨率的所述一个或更多个图像应用一个或更多个增强。6.根据权利要求1所述的处理器，其中所述一个或更多个电路进一步用于将其分辨率小于所述第一分辨率的所述一个或更多个图像降尺度到由渲染引擎生成的初始有锯齿图像的分辨率。7.一种系统，包括：一个或更多个处理器，用于使一个或更多个视觉效果被应用于其分辨率小于第一分辨率的一个或更多个图像，并在所述一个或更多个视觉效果已被应用于所述一个或更多个图像后，将所述一个或更多个图像升尺度到大于或等于所述第一分辨率的分辨率。8.根据权利要求7所述的系统，其中所述一个或更多个视觉效果使用一个或更多个神经网络进行近似。9.根据权利要求7所述的系统，其中所述一个或更多个视觉效果包括添加泛光、颜色校正、运动模糊、镜头光晕、锐化、滤波、色差、镜头畸变、色彩毛刺或界面元素。10.根据权利要求7所述的系统，其中为其分辨率小于所述第一分辨率的所述一个或更多个图像确定第一参数化函数，以及其中基于所述第一参数化函数确定第二参数化函数，并且所述第二参数化函数用于近似针对其分辨率大于或等于所述第一分辨率的所述一个或更多个图像的一个或更...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：辉达公司，
类型：发明
国别省市：