使用一个或更多个神经网络的图像上采样制造技术

本公开涉及使用一个或更多个神经网络的图像上采样。本公开提供了用于重建一个或更多个图像的装置、系统和技术。在至少一个实施例中，一个或更多个神经网络用于至少部分地基于一个或更多个亮度值对一个或更多个图像进行上采样。上采样。上采样。

【技术实现步骤摘要】
使用一个或更多个神经网络的图像上采样


[0001]至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新技术训练神经网络的处理器或计算系统。

技术介绍

[0002]图像和视频内容越来越多地以更高的分辨率生成和显示，并使用改进的颜色数据，以实现更高质量的显示。在许多用例中，图像或视频帧由应用程序或渲染引擎以第一分辨率生成，该分辨率将被临时上采样到第二(更高的)分辨率。不幸的是，从应用程序或渲染引擎提供的信息可能是有限的或不可靠的，或者可以使用特定的方法或目标来确定，这可能导致上采样图像或视频帧中的伪影。
附图说明
[0003]将参考附图描述根据本专利技术的各种实施例，其中：
[0004]图1示出了根据至少一个实施例的示例性时间上采样管道；
[0005]图2A和2B示出了根据至少一个实施例的使用不同曝光值生成的上采样图像；
[0006]图3A和3B示出了根据至少一个实施例为不同曝光值生成的图；
[0007]图4A、4B和4C示出了根据至少一个实施例的用于生成图像的过程；
[0008]图5示出了根据至少一个实施例的用于生成或提供图像内容的系统的组件；
[0009]图6A示出了根据至少一个实施例的推理和/或训练逻辑；
[0010]图6B示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图7示出了根据至少一个实施例的示例数据中心系统；
[0012]图8示出了根据至少一个实施例的计算机系统；
[0013]图9示出了根据至少一个实施例的计算机系统；
[0014]图10示出了根据至少一个实施例的计算机系统；
[0015]图11示出了根据至少一个实施例的计算机系统；
[0016]图12A示出了根据至少一个实施例的计算机系统；
[0017]图12B示出了根据至少一个实施例的计算机系统；
[0018]图12C示出了根据至少一个实施例的计算机系统；
[0019]图12D示出了根据至少一个实施例的计算机系统；
[0020]图12E和图12F示出了根据至少一个实施例的共享编程模型；
[0021]图13示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0022]图14A
‑
14B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0023]图15A
‑
15B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0024]图16示出了根据至少一个实施例的计算机系统；
[0025]图17A示出了根据至少一个实施例的并行处理器；
[0026]图17B示出了根据至少一个实施例的分区单元；
[0027]图17C示出了根据至少一个实施例的处理集群；
[0028]图17D示出了根据至少一个实施例的图形多处理器；
[0029]图18示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0030]图19示出了根据至少一个实施例的图形处理器；
[0031]图20示出了根据至少一个实施例的处理器的微架构；
[0032]图21示出了根据至少一个实施例的深度学习应用处理器；
[0033]图22示出了根据至少一个实施例的示例神经形态处理器；
[0034]图23和图24示出了根据至少一个实施例的图形处理器的至少部分；
[0035]图25示出了根据至少一个实施例的图形处理器核心的至少部分；
[0036]图26A
‑
26B示出了根据至少一个实施例的图形处理器核心的至少部分；
[0037]图27示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0038]图28示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0039]图29示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0040]图30示出了根据至少一个实施例的流式多处理器；
[0041]图31是根据至少一个实施例的用于高级计算管线的示例数据流程图；
[0042]图32是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；
[0043]图33A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图；以及
[0044]图33B是根据至少一个实施例的用于利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0045]在至少一个实施例中，放大过程(例如基于深度学习的超采样或超分辨率过程)可以用于提高一个或更多个图像的分辨率，例如序列或视频流中的图像或视频帧。在至少一个实施例中，图1中示出了一个该系统100的组件。在至少一个实施例中，可以使用渲染器102、渲染引擎或此类系统的其他此类内容生成器生成诸如视频游戏内容或动画的内容。在至少一个实施例中，渲染器102可以接收序列的一个或更多个帧的输入，并且可以使用至少部分基于该输入修改的存储内容104(例如，地图和图形资产)生成图像或视频帧。在至少一个实施例中，该渲染器102可以是渲染管道的一部分，例如可以利用诸如Epic Games，Inc.的Unreal Engine 4之类的渲染软件，该渲染软件可以提供诸如延迟着色、全局照明、照明半透明、后处理和使用向量场的图形处理单元(GPU)粒子模拟等功能。在至少一个实施例中，对于完整、高分辨率图像的这种复杂渲染所需的处理量使得难以渲染这些视频帧以满足当前帧速率，例如至少每秒60帧(fps)。在至少一个实施例中，渲染器102可替代地用于以低于一个或更多个最终输出分辨率的分辨率生成渲染图像106，例如，以满足时序要求并减少处理资源要求。在至少一个实施例中，可以使用放大器108(或上采样器)处理该低分辨率渲染图像106，以生成上缩放图像110，其以等于(或至少更接近)目标输出分辨率的分辨率表示低分辨率渲染图像106的内容。
[0046]在至少一个实施例中，放大器系统108(可以采用服务、系统、模块或设备的形式)可以用于放大视频或动画序列的各个帧。在至少一个实施例中，要执行的放大量可以取决于渲染图像的初始分辨率和显示器的目标分辨率，例如从1080p到4k分辨率。在至少一个实施例中，可以作为上采样处理的一部分执行附加处理，如可以包括抗混叠和时间平滑。在至少一个实施例中，可以利用适当的重建滤波器，例如可以涉及滤波器，例如各向异性高斯滤波器或动态滤波器网络(DFN)。在至少一个实施例中，上采样处理可以考虑可在每帧的基础上应用的亚像素抖动。
[0047]在至少一个实施例中，深度学习可用于推断序列的这些上采样的视频帧。在至少一个实施例中，时间重建可用于以组合方式提供抗混叠和超分辨率。在至少一个实施例中，来自视频帧的相应序列的信息可以用于推断更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络至少部分地基于一个或更多个亮度值对一个或更多个图像进行上采样。2.根据权利要求1所述的处理器，其中所述一个或更多个亮度值包括为所述一个或更多个图像中的至少当前输入图像计算的一个或更多个曝光值。3.根据权利要求2所述的处理器，其中所述一个或更多个曝光值用于缩小所述一个或更多个图像中的所述当前输入图像和先前上采样图像的颜色范围。4.根据权利要求3所述的处理器，其中所述一个或更多个电路进一步用于使用所述一个或更多个神经网络来推理至少所述当前输入图像和所述先前上采样图像的对应像素的混合权重。5.根据权利要求3所述的处理器，其中所述一个或更多个电路进一步用于增加至少部分地基于所述当前输入图像和所述先前上采样图像的所述混合权重生成的一个或更多个输出图像的颜色范围。6.根据权利要求3所述的处理器，其中所述混合权重应用于来自所述当前输入图像和所述先前上采样图像的颜色值，并且其中所述颜色值部分地使用利用渲染应用程序提供的曝光值所确定的值的累积来确定。7.一种系统，包括：一个或更多个处理器，用于使用一个或更多个神经网络至少部分地基于一个或更多个亮度值对一个或更多个图像进行上采样。8.根据权利要求7所述的系统，其中所述一个或更多个亮度值包括为所述一个或更多个图像中的至少当前输入图像计算的一个或更多个曝光值。9.根据权利要求8所述的系统，其中所述一个或更多个曝光值用于缩小所述一个或更多个图像中的所述当前输入图像和先前上采样图像的颜色范围。10.根据权利要求9所述的系统，其中所述一个或更多个处理器进一步用于使用所述一个或更多个神经网络来推理至少所述当前输入图像和所述先前上采样图像的对应像素的混合权重。11.根据权利要求9所述的系统，其中所述一个或更多个处理器进一步用于增加至少部分地基于所述当前输入图像和所述先前上采样图像的所述混合权重生成的一个或更多个输出图像的颜色范围。12.根据权利要求9所述的系统，其中所述混合权重应用于来自所述当前输入图像和所述先前上采样图像的颜色值，并且其中所述颜色值部分地使用利用渲染应用程序提供的曝光值确定的值的累积来确定。13.一种方法，包括：使用一个或更多个神经网络至少部分地基于一个或更多个亮度值对一个或更多个图像进行上采样。14.根据权利要求13所述的方法，其中所述一个或更多个亮度值包括为所述一个或更多个图像的至少当前输入图像计算的一个或更多个曝光值。15.根据权利要求14所述的方法，还包括：使用所述一个或更多个曝光值来缩小所述一个或更多个图像中的所述当前输入图像
和先前上采样图像的颜色范围，使用为所述两个或更多个图像生成的多个运动向量来确定所述运动。16.根据权利要求15所述的方法，还包括：使用所述一个或更多个神经网络来推理至少所述当前输入图像和所述先前上采样图像的对应像素的混合权重。17.根据权利要求15所述的方法，还包括：增加至少部分地基于所述当...

【专利技术属性】
技术研发人员：L，
申请(专利权)人：辉达公司，
类型：发明
国别省市：