用于图像升频的像素自适应内插算法制造技术

一种使用像素自适应内插算法来提供图像升频的方法和设备。对于每个像素定位，所述算法确定是使用高质量定标器算法(例如，多相滤波器)还是定向内插器来确定像素值。对适当的内插算法的确定基于像素是否被确定为边缘。如果像素被确定为边缘，则像素自适应内插算法可使用定向内插器来处理像素；否则，利用定标器算法处理像素。

【技术实现步骤摘要】

技术介绍
考虑到日益增加的更高分辨率和更大屏幕尺寸显示技术的需求，传统图像内容可以通过日益增加的更大的缩放因子来进行升频(upscale)。此外，将要升频的图像内容不仅包括自然影像而且更经常地包括计算机图形和合成影像。当利用典型用于升频自然影像的图像处理技术来升频该内容时，这种计算机生成的图像内容可退化(degrade)，并且会引入伪像。此外，用于通过大的缩放因子来升频图像内容并输出高质量内容的现有图像处理技术可用计算机加强，但并不适用于实时和硬件实现。 【附图说明】 通过阅读以下说明及所附权利要求和通过参考下列附图，本专利技术实施例的各种优点将对所属领域的技术人员显而易见，其中: 图1是说明用于处理和显示图像和视频信号的示例性系统的框图； 图2A和2B是说明通过缩放因子N来升频图像数据帧的示例性升频电路的框图； 图3是说明示例性系统一维定标器的框图； 图4A说明用于去鸣振滤波器的示例性伪码； 图4B说明图4A的示例性代码的变量； 图5A说明用于通过正被内插的像素的边缘的2W+1潜在方向； 图5B、5C和说明用于计算正被内插的像素的可能边缘方向的基于SAD的度量的示例性像素； 图5E说明计算第一内插方向Dl的示例性方法； 图6说明用于分析和组合逻辑的示例性伪码； 图7说明升频图像数据帧的示例性方法； 图8说明处理像素定位以确定升频的像素值的示例性方法； 图9说明对于像素定位确定是选择基于高质量缩放算法的第一内插还是选择基于方向内插算法的第二内插的示例性方法； 图10说明本公开的系统的示例性实施例；以及 图11是根据实施例的具有小形状因子的系统的示例的框图。 【具体实施方式】 本公开的各种实现可提供更少计算密集型设备和方法，来通过大缩放因子升频包含自然影像和计算机生成影像(如计算机图形和合成影像)的图像内容以提供高质量图像内容。本公开的设备和方法可使用像素自适应内插算法来提供实时、高质量图像升频。对于每个像素定位，此算法可以确定是使用高质量定标器算法(例如多相滤波器)还是定向内插器来确定像素值。确定适当的内插算法可基于像素是否被确定为边缘。如果像素被确定为边缘，则像素自适应内插算法可使用定向内插器来处理像素；否则，像素能够使用高质量定标器算法处理。 图1说明处理和显示图像和视频信号的示例性系统100。系统100包括图像数据源102、输入帧缓冲器104、具有升频电路108的视频处理装置106、主处理器114、输出帧缓冲器110和显示装置112。 例如，图像数据源102可包括电视调谐器、DVD驱动、计算机硬盘驱动、网络接口、有线电视机顶盒、数字视频磁带录音机、个人录像机等中的一个或多个。 输入帧缓冲器104可与图像数据源102耦合以储存由图像数据源102提供的一个或多个图像数据帧。 视频处理装置106可与输入帧缓冲器耦合并处理输入图像信号，如通过升频电路108升频输入图像信号。 主处理器114可与视频处理装置106耦合。主处理器114可以是通用微处理器、微控制器之类，并且可控制视频处理装置106和/或系统100的其它方面。 输出帧缓冲器110可与视频处理装置106耦合来储存从视频处理装置106输出的已处理(例如，升频)的图像数据帧。 显示装置112 (例如CRT、平面直角显示器、液晶显示器等)可与输出帧缓冲器110耦合来显示由输出帧缓冲器110提供的图像信号。 图2A说明用以通过缩放因子N升频图像数据帧的图1的示例性升频电路108。升频电路108包括高质量一维(“1D”)定标器210a、210b (例如ID多相定标器)；定向内插器215a，215b ;分析和组合逻辑220a、220b和转换器225a、225b。 图2B说明用以通过缩放因子N升频图像数据帧的图1的另一示例性升频电路108，。在图2B中，ID定标器210a、21b被高质量二维(“2D”)定标器210c所替代。 高质量ID定标器210a、210b或2D定标器210c可以是保存或试图保存输入图像中的细节同时最小化在升频后的输出中的可视伪像的任何定标器。在一些实现中，高质量ID定标器210a、210b,或2D定标器210c可以包括基于以下任何函数或方法的内插器:力口窗sine、双三次的、兰索斯法、样条、高阶统计、最小二乘法、小波、像素技术、偏微分析方程和分形。 在一些实现中，ID定标器210a、210b或2D定标器210c可以基于在Berenguer等人的美国专利号7，542，053 ( “053专利”)中公开的多相滤波器的任何实现。 在一些实现中，ID定标器210a、210b或2D定标器210c可以包括基于比最近邻和双线性内插更复杂的方法的内插器。 如图3所示，在一些实现中，ID定标器210a、210b或2D定标器210c可以包括多相滤波器310，例如在053专利中公开的多相滤波器的任何实现和去鸣振滤波器315。 正如上述讨论的，将要升频的图像内容不仅包括自然影像而且渐增地包括计算机图形和合成影像。可降阶该计算机生成的图像内容，并且当利用典型地用于升频自然影像的图像处理技术升频该内容时，可引入伪像(例如，鸣振伪像)。鸣振伪像为可视伪像，其中输出图像好似围绕高对比度边缘具有重复的边缘。当利用典型地用于升频自然影像的图像处理技术处理边缘结构时，在边缘结构上由高频损失会引起该鸣振伪像。去鸣振滤波器315被配置为最小化此鸣振伪像。 图4A说明用于去鸣振滤波器的示例性伪码，其中变量“右窗”、“左窗”和“中心像素”分别为正被内插的像素的第一、第二和第三组周围像素。图4B说明示例性的“右窗”、“左窗”和“中心像素”。 返回图2A，定向内插器215a、215b被配置来检测直线边缘和它们的方向，并且沿着边缘利用线性内插来保存边缘。 在一些实现中，定向内插器215a、215b测试大量预定方向来检测直线边缘。在一些实现中，定向内插器215a、215b可以是美国专利号7，554，559中公开的定向内插器的任何实现。 在一些实现中，定向内插器215a、215b识别需要执行内插所沿的方向，之后使用线性内插来创造新的像素。 参考图5A，在一些实现中，基于SAD的度量(例如在美国专利号7，554，559中公开的SAD)的绝对差之和被用于对经过正被内插的像素的边缘来计分和排列2W+1潜在方向。基于SAD的度量可以是在正被内插的像素附近的明显的2D窗上计算的空间相关性测量。参考图5B、5C和在一些实现中，对于给定方向d和三对窗(502，506)、(508,510),(514，516)，用于将正被内插的像素501的每个可能边缘方向的基于SAD的度量的计算使用两个终端像素P’和P”。基于SAD的度量(例如三对窗上的三个SAD的加权平均值)能够为全部潜在的2W+1方向进行计算，并且在数组中存储相应分数来以升序进行分类(例如，从最确信的内插方向到最不确信的)。具有最低分数的方向可确定边缘的定向。一旦边缘定向被确定，那么两个终端像素可作为输入像素来线性地内插。 定向内插器215a、215b输出定向内插的像素值(“Iv”)、第一内插方向(“D1”)和第二内插方法(“D2”)，其中第一内插方向为最可能本文档来自技高网...

【技术保护点】
一种像素内插方法，包括：升频图像帧，其中升频图像帧包括：利用定标器确定用于像素定位的第一内插值；利用定向内插器确定用于所述像素定位的第二内插值、用于所述像素定位的第一内插方向、以及用于所述像素定位的第二内插方向；以及确定是选择第一内插值还是第二内插值，其中确定是选择第一内插值还是第二内插值包括：确定所述第一内插方向和所述第二内插方向的一致性，确定所述第一内插方向的空间一致性，以及测量垂直撕裂和对角撕裂。

【技术特征摘要】
1.一种像素内插方法，包括:升频图像帧，其中升频图像帧包括:利用定标器确定用于像素定位的第一内插值；利用定向内插器确定用于所述像素定位的第二内插值、用于所述像素定位的第一内插方向、以及用于所述像素定位的第二内插方向；以及确定是选择第一内插值还是第二内插值，其中确定是选择第一内插值还是第二内插值包括:确定所述第一内插方向和所述第二内插方向的一致性，确定所述第一内插方向的空间一致性，以及测量垂直撕裂和对角撕裂。2.如权利要求1所述的方法，其中所述定标器是以下中的一个或多个:一维定标器、二维定标器和高质量定标器。3.如权利要求1所述的方法，其中用于像素定位的第一内插值是利用多相滤波器进行确定的。4.如权利要求1所述的方法，确定第一内插方向和第二内插方向的一致性包括:确定所述第一内插方向和所述第二内插方向之间的差的绝对值。5.如权利要求1所述的方法，确定第一内插方向的空间一致性包括:比较所述第一内插方向与用于另一像素定位的至少一个内插方向。6.一种用于内插像素的系统，包括: 图像数据源，用于提供至少一个图像数据帧； 输入帧缓冲器，用于存储所述图像数据帧； 升频电路，用于升频所述图像数据帧以产生升频后的图像数据帧；以及 输出帧缓冲器，用于存储所述升频后的图像数据帧； 其中所述升频电路包括: 定标器，用于确定用于像素定位的第一内插值； 定向内插器，用于确定用于所述像素定位的第二内插值、用于所述像素定位的第一内插方向、以及用于所述像素定位的第二内插方向；以及逻辑电路，用于选择第一内插值或第二内插值。7...

【专利技术属性】
技术研发人员：I·恩迪奥尔，J·E·卡尔维德斯，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US