基于深度的图像锐化制造技术

像素深度信息用于确定在使用锐化滤波器时应用到邻近像素的权重。评估邻近像素深度之间的差异，并且像素深度超过阈值的像素被赋予比其他像素小的权重。可以使用经调整的像素颜色生成锐化掩模。色生成锐化掩模。色生成锐化掩模。

【技术实现步骤摘要】
【国外来华专利技术】基于深度的图像锐化
[0001]相关申请的交叉引用
[0002]本申请要求于2021年2月2日提交的题为“基于深度的图像锐化(Depth Based Image Sharpening)”的美国非临时专利申请序号17/165,085的优先权，其全部内容并入本文并用于所有目的。

技术介绍

[0003]锐化可以通过提供更多对比度并使图像的某些部分突出或以其他方式吸引观看者的注意力来增强图像的外观。许多锐化技术是基于颜色的，因为确定给定像素周围的像素的平均颜色，然后调整给定像素。某些技术可以获取输入图像，创建图像的模糊副本，然后减去模糊副本以获得锐化掩模，将锐化掩模应用于输入图像。虽然这些技术可能有用，但不同边缘的颜色可能会渗入相邻像素，导致光晕或轮廓化效果，这可能会使用户不愉快，从而降低图像看起来的真实程度。
附图说明
[0004]将参照附图描述根据本公开的各种实施例，其中：
[0005]图1示出了根据至少一个实施例的包括相对于背景的对象的图像；
[0006]图2A示出了根据至少一个实施例的具有轮廓的锐化图像；
[0007]图2B示出了根据至少一个实施例的用于锐化图像的标记；
[0008]图3A示出了根据至少一个实施例的锐化图像；
[0009]图3B示出了根据至少一个实施例的用于锐化图像的标记；
[0010]图4示出了根据至少一个实施例的用于图像锐化的系统图；
[0011]图5示出了根据至少一个实施例的用于调整图像中的像素颜色的示例过程；
[0012]图6示出了根据至少一个实施例的用于确定像素颜色调整的示例过程；
[0013]图7示出了根据至少一个实施例的示例数据中心系统；
[0014]图8示出了根据至少一个实施例的计算机系统；
[0015]图9示出了根据至少一个实施例的计算机系统；
[0016]图10示出了根据一个或更多个实施例的图形处理器的至少部分；以及
[0017]图11示出了根据一个或更多个实施例的图形处理器的至少部分。
具体实施方式
[0018]根据各种实施例的方法提供基于深度的图像锐化，其中像素深度被用于确定在锐化过程期间是否使用了相邻像素。图像文件，例如视频图像的帧，可以包括用于形成图像文件的图像的像素信息，其可以包括深度值。深度值可用于确定像素之间的相对关系，其中在深度上彼此更接近的图像比彼此更远离的图像更有可能相关。因此，图像中特征之间的边缘处的像素(例如与背景天空相对的特征)可能会从锐化中移除，或者可能会在锐化过程中减少权重，以减少像素之间的渗色效应，这可能会降低特征的光晕或轮廓化的可能性。图1
示出了可以使用一种或更多种锐化技术来锐化的示例图像100。在该示例中，图像100由多个像素102形成，每个像素102可以具有数据，例如表示由像素呈现的颜色的强度或值。在该示例中，图像100包括与背景106相对的结构104，该背景106可以是天空的一部分。结构104包括各种组件，例如由砖110和顶部组件112形成的墙组件108。在该示例中，顶部组件112包括与形成墙的砖110不同的图案114或纹理。在至少一个实施例中，结构104对于图像100内表示的场景可能是重要的，因此，锐化或以其他方式强调结构104可能是有利的。可以使用诸如非锐化掩模、高通滤波器、拉普拉斯锐化、双边滤波器、三边滤波器等锐化技术。
[0019]图2A示出了锐化图像200的示例，其可以包括与图像100相似的特征。在该示例中，锐化滤波器已应用于图像200，使得光晕202或轮廓出现在背景106和结构104的顶部组件112之间。该光晕202可能是滤波器的结果，其中来自相邻像素的颜色可能会相互渗透，这可能会放大颜色差异。例如，为了锐化基础图像，生成模糊副本(例如，已使用一种或更多种模糊方法(例如高斯模糊)模糊的图像)并且从原始图像中减去该模糊副本以确定锐化量，这可以生成如图2B所示的图像掩模。这发生在已处理图像中的每个像素上。以某个像素为例，如果模糊图像比原始图像更亮，例如由于颜色之间的泄漏，则锐化后的输出会变得更暗。换句话说，从原始版本到模糊版本的颜色变化在锐化输出中被反转。仅作为示例，假设像素具有大约50百分率(％)的亮度，则模糊副本上的相同像素可能更暗，例如由于相邻像素的泄漏而导致大约40％。因此，锐化算法可以测量这种变化，在这个示例中是亮度降低10％，并且作为响应，通过将亮度增加一定百分比的差异来做相反的事情。因此，如果模糊副本上的像素比底色亮，则锐化后的输出将变得比底色暗。
[0020]锐化算法的逆响应在图2B所示的掩模220中进一步示出。在该示例中，第一轮廓222被表示为与第二轮廓224相比变暗的部分。如上所述，第一和第二轮廓222、224之间的差异是由于图像中的相邻像素之间的颜色泄漏导致的亮度过度校正的结果。这样的过校正转化为锐化的图像200，导致光晕或轮廓202。本公开的实施例可以通过以下方式来克服该问题：评估与像素相关联的深度值，并且然后忽略与所选像素相距超过阈值距离的像素，或通过应用权重使得随着像素深度的差异增加，像素的影响会降低。
[0021]图3A示出了结合本文描述的一种或更多种基于深度的锐化技术的示例锐化图像300。在该示例中，在顶部组件112和背景106之间形成了清晰的轮廓。例如，当与图1中的图像相比时，顶部组件112和背景106之间的轮廓缺失以说明锐化过程的改进。此外，当与图2A相比时，没有光晕202。
[0022]图3B示出了结合本文所述的一种或更多种基于深度的锐化技术的示例掩模320。如图所示，当与图2B相比时，轮廓222、224被柔化和/或消除。这表示相邻像素之间的渗色减少，例如，当相邻像素的深度值达到或超过阈值时，像素被移除或以其他方式降低值(由于加权等)以减少它们的影响。因此，上面提到的过度校正问题不适用于掩模320，因此，不会延续到锐化图像300。
[0023]图4示出了可用于实现基于深度的锐化过程的一个或更多个特征的示例图像处理环境400。在至少一个实施例中，图像处理环境400被结合到图像处理流程中或集成到其他图像处理软件中。此外，图像处理环境400可以与静止图像或图像流一起使用，例如从视频馈送中提取为帧的图像。
[0024]在该示例中，输入图像数据402被提供给基于深度的锐化系统404。例如，图像数据
402可以作为视频馈送流式传输到系统404，例如在游戏会话期间或与自主或半自主车辆相关联，以及其他选项。系统404可以通过处理器执行存储在存储器上的指令，并且可以包括一个或更多个计算机实现的步骤作为一个或更多个算法的一部分。在至少一个实施例中，提取模块406从图像数据402中提取信息。例如，图像数据402可以包括像素数据408，其包括形成图像数据402的每一帧的每一像素的信息。在至少一个实施例中，像素数据408包括诸如像素位置、像素颜色和像素深度等信息以及其他信息。系统404可以使用该信息来选择用于锐化的各种像素。
[0025]深度模块410可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：确定与第一像素相对应的第一像素深度；确定与第二像素相对应的第二像素深度；确定与所述第二像素相对应的权重，所述权重至少部分地基于所述第一像素深度与所述第二像素深度之间的差异；以及至少部分地基于所述权重和第二像素颜色来调整第一像素颜色。2.根据权利要求1所述的计算机实现的方法，其中所述权重至少部分地基于深度阈值。3.根据权利要求1所述的计算机实现的方法，还包括：对所述第一像素和所述第二像素应用锐化滤波器。4.根据权利要求1所述的计算机实现的方法，其中所述第二像素在所述第一像素的阈值线性距离内。5.根据权利要求1所述的计算机实现的方法，还包括：至少部分地基于所述第二像素颜色、所述权重和所述第一像素颜色来确定经调整的第二像素颜色。6.根据权利要求5所述的计算机实现的方法，还包括：至少部分地基于所述经调整的第二像素颜色和所述第二像素颜色调整所述第一像素颜色。7.根据权利要求1所述的计算机实现的方法，其中与所述第二像素相对应的所述权重与所述第一像素深度与所述第二像素深度之间的差异直接成正比。8.根据权利要求1所述的计算机实现的方法，还包括：接收图像数据流；以及从所述流中选择图像帧。9.根据权利要求1所述的计算机实现的方法，还包括：将经调整的第一像素颜色提供给锐化滤波器用于计算掩模。10.一种处理器，包括：一个或更多个处理单元，用于接收像素集群的图像信息，确定与第一像素相对应的第一像素深度，确定与第二像素相对应的第二像素深度，至少部分地基于所述第一像素深度和所述第二像素深度确定阈值深度，并在所述第二像素深度小于所述阈值深度时对所述像素集群应用锐化滤波器。11.根据权利...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：辉达公司，
类型：发明
国别省市：