用于基于神经网络的图像生成的像素混合制造技术

公开了用于基于神经网络的图像生成的像素混合，具体提出了用于生成一个或更多个图像的装置、系统和技术。在至少一个实施例中，来自两个或更多个图像的两个或更多个像素至少部分地基于来自这两个或更多个图像的区域的这两个或更多个像素的距离进行混合，其中像素颜色基本相似。色基本相似。色基本相似。

【技术实现步骤摘要】
用于基于神经网络的图像生成的像素混合


[0001]至少一个实施例涉及用于生成图像内容的处理资源。例如，至少一个 实施例涉及用于根据本文描述的各种新技术混合来自两个或更多个图像的 两个或更多个像素的处理器或计算系统。

技术介绍

[0002]图像和视频内容越来越多地以更高分辨率生成和在更高质量的显示 器上显示。生成更高质量内容的方法通常是非常资源密集型的，特别是对 于现代帧速率，这对于资源容量有限的设备来说可能是个问题。混合序列 中的当前帧数据和先前帧数据可以通过提供帧之间的像素数据的一些时间 平滑来帮助提高该内容的质量，但是确定最佳混合权重是具有挑战性的， 并且使用不正确的混合权重会产生有许多噪声或有不期望的伪影的图像。
附图说明
[0003]将参考附图描述根据本公开的各个实施例，其中：
[0004]图1A、图1B和图1C示出了根据至少一个实施例的一对图像中的像 素的颜色值的变化；
[0005]图2A、图2B和图2C示出了根据至少一个实施例的可以应用于一对 图像的基于距离的混合方法；
[0006]图3示出了根据至少一个实施例的用于混合序列中的一对图像的颜色 值的过程；
[0007]图4A和图4B示出了根据至少一个实施例的用于混合图像的过程；
[0008]图5示出了根据至少一个实施例的用于提供图像内容的系统的组件；
[0009]图6A示出了根据至少一个实施例的推理和/或训练逻辑；
[0010]图6B示出了根据至少一个实施例的推理和/或训练逻辑；/>[0011]图7示出了根据至少一个实施例的示例数据中心系统；
[0012]图8示出了根据至少一个实施例的计算机系统；
[0013]图9示出了根据至少一个实施例的计算机系统；
[0014]图10示出了根据至少一个实施例的计算机系统；
[0015]图11示出了根据至少一个实施例的计算机系统；
[0016]图12A示出了根据至少一个实施例的计算机系统；
[0017]图12B示出了根据至少一个实施例的计算机系统；
[0018]图12C示出了根据至少一个实施例的计算机系统；
[0019]图12D示出了根据至少一个实施例的计算机系统；
[0020]图12E和图12F示出了根据至少一个实施例的共享编程模型；
[0021]图13示出了根据至少一个实施例的示例性集成电路和相关联的图形 处理器；
[0022]图14A
‑
14B示出了根据至少一个实施例的示例性集成电路和相关联 的图形处理
器；
[0023]图15A
‑
15B示出了根据至少一个实施例的附加的示例性图形处理器 逻辑；
[0024]图16示出了根据至少一个实施例的计算机系统；
[0025]图17A示出了根据至少一个实施例的并行处理器；
[0026]图17B示出了根据至少一个实施例的分区单元；
[0027]图17C示出了根据至少一个实施例的处理集群；
[0028]图17D示出了根据至少一个实施例的图形多处理器；
[0029]图18示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0030]图19示出了根据至少一个实施例的图形处理器；
[0031]图20示出了根据至少一个实施例的处理器的微架构；
[0032]图21示出了根据至少一个实施例的深度学习应用处理器；
[0033]图22示出了根据至少一个实施例的示例神经形态处理器；
[0034]图23和图24示出了根据至少一个实施例的图形处理器的至少部分；
[0035]图25示出了根据至少一个实施例的图形处理器核心的至少部分；
[0036]图26A
‑
26B示出了根据至少一个实施例的图形处理器核心的至少部 分；
[0037]图27示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0038]图28示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0039]图29示出了根据至少一个实施例的并行处理单元(“PPU”)的存储 器分区单元；
[0040]图30示出了根据至少一个实施例的流式多处理器；
[0041]图31是根据至少一个实施例的用于高级计算管线的示例数据流程图；
[0042]图32是根据至少一个实施例的用于在高级计算管线中训练、适配、 实例化和部署机器学习模型的示例系统的系统图；
[0043]图33A示出了根据至少一个实施例的用于训练机器学习模型的过程 的数据流程图；以及
[0044]图33B是根据至少一个实施例的用于利用预训练的注释模型来增强 注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0045]在至少一个实施例中，图像序列可以由渲染引擎或其他这样的内容生 成器生成。在至少一个实施例中，这些图像可以对应于视频序列的视频帧， 例如动画序列、虚拟现实、增强现实、混合现实或游戏内容。在至少一个 实施例中，一个或更多个对象可以呈现出序列图像之间的一个或更多个变 化，例如可以对应于位置、姿态或方向的变化，这可能是由对象的运动或 提供该对象的视图的虚拟相机的运动引起的。在至少一个实施例中，这可 以对应于对象102从初始帧100中的第一位置到后续帧110中的第二位置 的运动，如图1A所示。在至少一个实施例中，依次呈现这些图像然后将 导致该对象102看起来好像该对象102正在跨显示器运动或其他此类呈现。 在至少一个实施例中，将这些帧显示为被渲染的可导致看起来不平滑或不 自然的明显运动，因为对象102的位置在帧之间可能存在急剧变化。在至 少一个实施例中，可以尝试使用像素值的混合或插值来平滑该运动。
[0046]在至少一个实施例中，可以将混合应用于各个像素的颜色值，如图1B 中的重叠帧
的视图120所示。在至少一个实施例中，所确定的像素的颜色 数据可以包括诸如色度、RGB(红
‑
绿
‑
蓝)颜色值或光度(例如，luma(光 亮度))值之类的数据，它们表示像素的亮度(brightness)而不是其最终 颜色值，其中luma通常与色度颜色值组合以生成最终像素值。在至少一个 实施例中，在任一帧中在该对象的区域之外存在白色像素区域，并且这些 像素不需要混合，因为这些颜色值在这两个帧之间是一致的。在至少一个 实施例中，像素的另一区域124对应于两个帧中的该对象，使得这些像素 的颜色值也将一致，从而也不需要混合。在至少一个实施例中，可以将混 合应用于所有像素的颜色值，但是混合不会改变在这些初始帧和后续帧之 间已经一致的这些像素的颜色值。
[0047]在至少一个实施例中，在该示例中存在两个区域122、124，其中针对 这两个图像中的对应像素的颜色值不同，如图1B的重叠图像120所示。 在至少一个实施例中，第一区域122将具有来自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于至少部分地基于来自两个或更多个图像的区域的两个或更多个像素的距离来混合来自所述两个或更多个图像的所述两个或更多个像素，在所述两个或更多个图像中像素颜色基本相似。2.根据权利要求1所述的处理器，其中所述两个或更多个图像是图像序列中的相邻图像，并且其中所述两个或更多个像素与所述两个或更多个图像中的相关像素位置相对应。3.根据权利要求1所述的处理器，其中所述区域包括具有在确定的一致阈值或一致范围内一致的颜色值的相关像素。4.根据权利要求1所述的处理器，其中所述两个或更多个像素用于使用混合算法来混合，所述混合算法用于产生作为所述距离的函数的一个或更多个混合因子。5.根据权利要求4所述的处理器，其中所述混合算法包括一个或更多个用户可调参数，用于控制所述一个或更多个混合因子的值。6.根据权利要求1所述的处理器，其中所述一个或更多个电路进一步用于在基于光流或几何运动数据中的至少一个对所述两个或更多个图像应用误差校正之后，混合所述两个或更多个像素。7.一种系统，包括：一个或更多个处理器，用于至少部分地基于来自两个或更多个图像的区域的两个或更多个像素的距离来混合来自所述两个或更多个图像的所述两个或更多个像素，在所述两个或更多个图像中像素颜色基本相似。8.根据权利要求7所述的系统，其中所述两个或更多个图像是图像序列中的相邻图像，并且其中所述两个或更多个像素与所述两个或更多个图像中的相关像素位置相对应。9.根据权利要求7所述的系统，其中所述区域包括具有在确定的一致阈值或一致范围内一致的颜色值的相关像素。10.根据权利要求7所述的系统，其中所述两个或更多个像素用于使用混合算法来混合，所述混合算法用于产生作为所述距离的函数的一个或更多个混合因子。11.根据权利要求10所述的系统，其中所述混合算法包括一个或更多个用户可调参数，用于控制所述一个或更多个混合因子的值。12.根据权利要求7所述的系统，其中所述一个或更多个电路进一步用于在基于光流或几何运动数据中的至少一个对所述两个或更多个图像应用误差校正之后，混合所述两个或更多个像素。13.一种方法，包括：至少部分地基于来自两个或更多个图像的区域的两个或更多个像素的距离来混合来自所述两个或更多个图像的所述两个或更多个像素，在所述两个或更多个图像中像素颜色基本相似。14.根据权利要求13所述的方法，其中所述两个或更多个图像是图像序列中的相邻图像，并且其中所述两个或更多个像素与所述两个或更多个图像中的相关像素位置相对应。15.根据权利要求13所述的方法，其中所述区域包括具有在确定的一致阈值或一致范围内一致的颜色值的相关像素。16.根据权利要求13所述的方法，其中所述两个或更多个像素用于使用混合算法来混
合，所述混合算法用于产生作为所述距离的函数的...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：辉达公司，
类型：发明
国别省市：