【技术实现步骤摘要】
本公开涉及像素块的自适应锐化，例如用于超分辨率技术。
技术介绍
1、术语‘超分辨率’是指例如通过估计图像的较高分辨率版本的外观来对图像进行上采样以增强图像的表观视觉质量的技术。当实施超分辨率时，系统将尝试找到较低分辨率输入图像的较高分辨率版本，所述较高分辨率版本在最大限度上是合理的并且与所述较低分辨率输入图像一致。超分辨率是一个具有挑战性的问题，因为对于较低分辨率输入图像中的每个贴片，存在可与其对应的大量潜在较高分辨率贴片。换句话说，超分辨率技术正尝试解决不适定问题，因为尽管存在解决方案，但它们不是唯一的。
2、超分辨率有重要的应用。其可用于提高图像的分辨率，由此提高观察者感知的图像的‘质量’。此外，超分辨率可以用作图像生成过程中的后处理步骤，由此允许以较低分辨率(通常更简单且更快)生成图像，同时仍产生高质量、高分辨率的图像。图像生成过程可以是例如使用相机的图像捕获过程。替代地，图像生成过程可以是其中例如图形处理单元(gpu)的计算机渲染虚拟场景的图像的图像渲染过程。与使用gpu直接渲染高分辨率图像相比，允许gpu渲染低分辨率图像，然后应用超分辨率技术对渲染图像进行上采样以产生高分辨率图像，有可能显著减少gpu的时延、带宽、功耗、硅面积和/或计算成本。gpu可以实施任何合适的渲染技术，例如光栅化或光线跟踪。例如，gpu可以渲染960×540图像(即，具有布置成960列和540行的518,400个像素的图像)，然后可以在水平和竖直维度上对所述图像进行2倍上采样(称为‘2倍上采样’)，以产生1920×1080图像(即，具
3、图1示出了上采样过程。具有相对低分辨率的输入图像102由处理模块104处理以产生具有相对高分辨率的输出图像106。输入图像102和输出图像106中的每个黑点表示像素。在图1所示的示例中，处理模块104应用2倍上采样，使得输出图像106的像素行和像素列是输入图像102的两倍。在其它示例中，可以应用不同的上采样倍数(非2倍)。
4、在一些系统中，处理模块104可以实施神经网络，对输入图像102进行上采样以产生上采样输出图像106。实施神经网络可以产生高质量的输出图像，但通常需要高性能计算系统(例如，具有大型、强大的处理单元和存储器)来实施神经网络。此外，需要训练神经网络，并且取决于训练，神经网络可能仅适合于处理一些输入图像。因此，由于处理时间、时延、带宽、功耗、存储器使用、硅面积和计算成本的原因，实施用于执行图像上采样的神经网络可能是不合适的。这些效率考虑因素在一些装置中尤其重要，例如计算和带宽资源有限的小型电池供电装置，例如移动电话和平板电脑。
5、因此，一些系统不使用神经网络来对图像执行超分辨率，而是使用更常规的处理模块。例如，一些系统将问题分成两个阶段：(i)上采样和(ii)自适应锐化。例如使用双线性上采样可以花费较少地执行上采样阶段，而自适应锐化阶段可以用于锐化图像，即减少因上采样引入的模糊。图2是通过在处理的两个阶段中执行上采样和自适应锐化来执行超分辨率的过程的流程图。
6、在步骤s202中，在处理模块104处接收输入图像。图1示出了其中输入图像具有布置在6×6输入像素块中的36个像素的简化示例，但在更现实的示例中，输入图像可以是960×540图像。输入图像可以是另一形状和/或大小。
7、在步骤s204中，处理模块104使用例如双线性上采样过程对输入图像进行上采样。双线性上采样是本领域中已知的，并且在两个维度上使用相邻输入像素的线性插值来在输入像素之间的位置处产生输出像素。例如，当实施2倍上采样时：(i)为了产生在同一行中的两个输入像素之间的中间的输出像素，确定这两个输入像素的平均值；(ii)为了产生在同一列中的两个输入像素之间的中间的输出像素，确定这两个输入像素的平均值；以及(iii)为了产生与输入像素中的任一个不在同一行或同一列中的输出像素，确定四个最接近的输入像素的平均值。在步骤s204中产生的上采样图像存储在处理模块104内的一些存储器中。
8、在步骤s206中，处理模块104将自适应锐化应用于上采样图像以产生输出图像。输出图像是锐化的上采样图像。通过将自适应内核应用于上采样图像中的上采样像素的区域来实现自适应锐化，其中内核的权重基于内核所应用到的上采样图像的上采样像素的局部区域进行调整，使得根据局部上下文将不同锐化水平应用于上采样像素的不同区域。
9、在步骤s208中，从处理模块104输出锐化的上采样图像106。
10、实施超分辨率的系统的一般目的是：(i)高质量输出图像，即，考虑到低分辨率输入图像，输出图像在最大限度上是合理的，(ii)低时延，使得快速生成输出图像，(iii)根据例如功率、带宽和硅面积的资源的低成本处理模块。
技术实现思路
1、提供本
技术实现思路
是为了以简化形式介绍下文在具体实施方式中进一步描述的一系列概念。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用以限制所要求保护的主题的范围。
2、提供了一种对执行处理的输入像素块应用自适应锐化以确定输出像素块的方法，所述方法包括：
3、基于所述输入像素块获得非锐化处理像素块，所述非锐化处理像素块用于表示所述输出像素块的非锐化版本；
4、基于所述输入像素块获得锐化处理像素块，所述锐化处理像素块用于表示所述输出像素块的锐化版本；
5、确定所述输入像素块的一个或多个对比度指示；以及
6、通过执行以下各项的相应加权和来确定所述输出像素块的所述输出像素中的每一个：(i)所述非锐化处理像素块中的对应非锐化处理像素和(ii)所述锐化处理像素块中的对应锐化处理像素，
7、其中所述加权和的所述权重基于所述输入像素块的所确定的一个或多个对比度指示。
8、所述处理可以是上采样，其中所述非锐化处理像素可以是非锐化上采样像素，并且其中所述锐化处理像素可以是锐化上采样像素。
9、可以使用输入像素窗口来确定所述输入像素块的所述一个或多个对比度指示，其中所述输入像素窗口至少覆盖由所述输出像素块表示的区域。
10、所述输入像素块的所述一个或多个对比度指示可以是所述输入像素块的单个对比度指示，其中用于确定所述输出像素块的所述输出像素的所述加权和的所述权重可以基于所述单个对比度指示。所述输入像素块的所述一个或多个对比度指示可包括所述输入像素块的多个对比度指示，其中对于所述输出像素块的所述输出像素中的每一个，用于确定所述输出像素的所述加权和的所述权重可以基于所述多个对比度本文档来自技高网...
【技术保护点】
1.一种对执行上采样的输入像素块应用自适应锐化以确定输出像素块的方法，所述方法包括：
2.根据权利要求1所述的方法，其中进行以下项中的任一项：
3.根据任一前述权利要求所述的方法，其中使用输入像素窗口来确定所述输入像素块的所述一个或多个对比度指示，其中所述输入像素窗口至少覆盖由所述输出像素块表示的区域。
4.根据任一前述权利要求所述的方法，其中所述确定所述输入像素块的一个或多个对比度指示包括：
5.根据权利要求1至3中任一项所述的方法，其中所述确定所述输入像素块的一个或多个对比度指示包括确定输入像素值在输入像素窗口内的标准偏差或方差，其中所述输入像素窗口至少覆盖由所述输出像素块表示的区域。
6.根据任一前述权利要求所述的方法，还包括基于所述输入像素块的所确定的一个或多个对比度指示来确定所述加权和的所述权重，其中所述确定所述权重包括确定两个权重：第一权重w非锐化和第二权重w锐化，并且其中所述非锐化上采样像素乘以所述加权和中的所述第一权重w非锐化，并且其中所述锐化上采样像素乘以所述加权和中的所述第二权重w锐化。
8.根据权利要求6所述的方法，其中w非锐化+w锐化＝1，并且其中通过将w锐化设置为大于1来应用锐度提升。
9.根据权利要求6至8中任一项所述的方法，其中对于可能的对比度指示的大部分范围：(i)当所指示的对比度相对较高时，所述第一权重w非锐化大于所述第二权重w锐化，并且(ii)当所指示的对比度相对较低时，所述第一权重w非锐化小于所述第二权重w锐化。
10.根据权利要求6至9中任一项所述的方法，其中如果所述对比度指示低于指示所述输入像素块基本上平坦的阈值，则确定所述第一权重w非锐化大于零，并且确定所述第二权重w锐化为零。
11.根据任一前述权利要求所述的方法，其中所述获得锐化上采样像素块包括通过对所述输入像素块实施锐化技术来确定所述锐化上采样像素块。
12.根据任一前述权利要求所述的方法，其中所述获得非锐化上采样像素块包括通过对所述输入像素块执行双线性上采样来确定所述非锐化上采样像素块。
13.根据任一前述权利要求所述的方法，其中所述获得非锐化上采样像素块包括确定所述非锐化上采样像素块，其中所述非锐化上采样像素中的至少一个是对角像素，其中对角像素处于不在所述输入像素块中的输入像素的任何行或任何列中的位置，其中所述确定所述非锐化上采样像素块包括：
14.根据任一前述权利要求所述的方法，其中所述获得锐化上采样像素块包括确定所述锐化上采样像素块，其中所述锐化上采样像素中的至少一个是对角像素，其中对角像素处于不在所述输入像素块中的输入像素的任何行或任何列中的位置，其中所述确定所述锐化上采样像素块包括：
15.根据权利要求13或14所述的方法，其中所述使用所述所确定的图像梯度指示来确定指示对角内核的权重的一个或多个加权参数包括：
16.根据权利要求13至15中任一项所述的方法，其中所述将所述对角内核应用于所述输入像素块的输入像素包括：
17.根据权利要求13至16中任一项所述的方法，其中使用所述输入像素块的所述所确定的图像梯度指示来确定所述输入像素块的所述一个或多个对比度指示。
18.根据任一前述权利要求所述的方法，其中：
19.一种处理模块，所述处理模块被配置成对执行上采样的输入像素块应用自适应锐化以确定输出像素块，所述处理模块包括：
20.一种计算机可读代码，所述计算机可读代码被配置成使得在运行所述代码时执行根据权利要求1至18中任一项所述的方法。
21.一种集成电路定义数据集，所述集成电路定义数据集当在集成电路制造系统中被处理时，将所述集成电路制造系统配置成制造根据权利要求19所述的处理模块。
...【技术特征摘要】
1.一种对执行上采样的输入像素块应用自适应锐化以确定输出像素块的方法，所述方法包括：
2.根据权利要求1所述的方法，其中进行以下项中的任一项：
3.根据任一前述权利要求所述的方法，其中使用输入像素窗口来确定所述输入像素块的所述一个或多个对比度指示，其中所述输入像素窗口至少覆盖由所述输出像素块表示的区域。
4.根据任一前述权利要求所述的方法，其中所述确定所述输入像素块的一个或多个对比度指示包括：
5.根据权利要求1至3中任一项所述的方法，其中所述确定所述输入像素块的一个或多个对比度指示包括确定输入像素值在输入像素窗口内的标准偏差或方差，其中所述输入像素窗口至少覆盖由所述输出像素块表示的区域。
6.根据任一前述权利要求所述的方法，还包括基于所述输入像素块的所确定的一个或多个对比度指示来确定所述加权和的所述权重，其中所述确定所述权重包括确定两个权重：第一权重w非锐化和第二权重w锐化，并且其中所述非锐化上采样像素乘以所述加权和中的所述第一权重w非锐化，并且其中所述锐化上采样像素乘以所述加权和中的所述第二权重w锐化。
7.根据权利要求6所述的方法，其中w非锐化和w锐化都在0至1的范围内，并且其中w非锐化+w锐化＝1。
8.根据权利要求6所述的方法，其中w非锐化+w锐化＝1，并且其中通过将w锐化设置为大于1来应用锐度提升。
9.根据权利要求6至8中任一项所述的方法，其中对于可能的对比度指示的大部分范围：(i)当所指示的对比度相对较高时，所述第一权重w非锐化大于所述第二权重w锐化，并且(ii)当所指示的对比度相对较低时，所述第一权重w非锐化小于所述第二权重w锐化。
10.根据权利要求6至9中任一项所述的方法，其中如果所述对比度指示低于指示所述输入像素块基本上平坦的阈值，则确定所述第一权重w非锐化大于零，并且确定所述第二权重w锐化为零。
11.根据任一前述权利要求...
【专利技术属性】
技术研发人员：J·伊姆伯，J·海沃德，K·比茨，
申请(专利权)人：想象技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。