用于增强图像质量的方法和设备技术

一种用于增强图像质量的方法，包括：通过上采样(S2，S3)从初始低分辨率图像(LRI)获得初始高分辨率图像(IHRI)；基于初始低分辨率图像(LRI)提供(S4)具有较低分辨率的至少一个下采样滤波图像(AIij，AIi’j’)；基于初始低分辨率图像(LRI)提供(S6)与所述下采样滤波图像具有相同分辨率的未滤波图像(LRI，UIi’j’)；从所述初始高分辨率图像(IHRI)中选择图块(PI)；在所述下采样滤波图像(AIij，AIi’j’)中找到(S8)与所选择的图块相似的子图块(PAk)；在所述未滤波图像(LRI，UIi’j’)中找到与所述子图块(PAk)局部相关联的父图块(PPk)；以及线性地组合(S14)父图块(PPk)，以形成增强质量的图块(EP)。最后，将通过重复地执行以上步骤所获得的增强质量的图块(EP)进行组合(S15)，以形成增强质量的高分辨率图像(EIp)。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于增强图像质量的技术，具体地，在给定的低分辨率(LR)图像中恢复丢失的高频细节的技术。这种技术具有相当大的商业利益，因为其允许在减小的存储空间中存储图像信息，并且减小了处理和/或发送图像信息所需的带宽。
技术介绍
对图像能够具有的细节的程度存在物理限制，因为其最高空间频率分量不能高于图像的每单位长度的像素数的一半。在该限制以下，图像的细节的程度可以根据所示出的主题、处理的质量等而不同。在以下描述中，我们将使用与上述物理上限相关的术语“分辨率”和与观看者在具体图像中感知到的细节量相关的“图像质量”来对这两方面进行区分。例如在本申请的附录中列出的文献[1]-[3]中所描述的传统的图像质量增强技术依赖以下事实：在视频数据中，后续图像的内容是部分重复的，并且在给定图像中丢失的高频信息可以从先前图像或后续图像取回，只要有足够的这些图像。因此，重构的高分辨率(HR)图像的质量很大程度地取决于LR图像中可用的数据量。然而，实际上，LR观察的数目不足、运动估计(配准)误差以及未知的点扩散函数(PSF)将这些多图像SR方法的应用限制到小的提升比，在一般条件下，该提升比小于2。
技术实现思路
本专利技术的目的在于提供一种方法和设备，通过所述方法和设备能够增强各单独图像的质量，而无需求助于图像序列中的先前图像或后续图像。一方面，通过包括以下步骤的一种方法来实现该目的：a)通过上采样从初始低分辨率图像获得初始高分辨率图像；b)基于初始低分辨率图像提供至少一个下采样滤波图像作为分辨率比初始高分辨率图像的分辨率低的辅助图像；c)基于初始低分辨率图像提供与所述至少一个下采样滤波图像具有相同分辨率的未滤波图像；d)从所述初始高分辨率图像选择图块(patch)；e)在所述至少一个下采样滤波图像中找到与所选择的图块相似的两个或更多个子图块(或孩子图块)；f)在所述未滤波图像中找到与所述子图块局部相关联的父图块；g)线性地组合父图块，以形成增强质量的图块；以及h)将通过重复地执行步骤d)至f)所获得的增强质量的图块进行组合，以形成增强质量的高分辨率图像。本专利技术基于以下构思：虽然两个不同的父图块通常不显示相同的对象(或对象的相同部分)，但是它们可以足够相似以允许通过组合合理选择的多个父图块来重构细节。换言之，如果图像中示出了颜色不同的两个区域之间的边界，例如，白色区域和黑色区域，则该边界将在图像中通过深浅不同的灰度的像素来表示，其中深浅(shade)取决于在像素内边界实际上位于何处，像素更趋向于白色侧还是黑色侧。可以基于显示出边界的其他区域的图块来更精确地判断像素内边界的位置，其中，边界像素的灰度深浅是不同的，因为对于这些像素而言边界的位置是不同的。如果所述至少一个辅助图像中的第一辅助图像与初始低分辨率图像具有相同的分辨率，则与所述第一辅助图像相关联的未滤波图像可以是初始低分辨率图像本身。在实践中经常出现的一个实施例中，通常会存在从同一初始低分辨率图像形成的多于一个的辅助图像，在这种情况下，所述辅助图像中的第二辅助图像可以具有比初始低分辨率图像的分辨率低的分辨率，并且通过将初始低分辨率图像下采样到第二辅助图像的分辨率来获得与所述第二辅助图像相关联的第二未滤波图像。在实施例中，通过对初始高分辨率图像进行下采样来获得每个辅助图像。上采样可以简单包括：将预定数量的像素插入初始低分辨率图像的两个相邻像素之间，并向这些像素分配标准值(例如0)或相邻像素之一的值。在这种情况下，低通滤波步骤确保如果辅助图像是通过下采样到初始低分辨率图像的分辨率而获得的，则这些辅助图像可以与原始低分辨率图像不同并且彼此不同。可以通过抑制上采样图像的空间频谱中的高频分量或者通过插值来执行低通滤波。在一个实施例中，在步骤e)中，对于所述至少一个辅助图像中的每个图块，评估与所选择的图块的相似度，并且仅保留预定数量的具有最高相似度的图块作为所述子图块。可以通过各种方式定义两个图块的相似度。一种常规方式是将两个图块的互相关用作它们相似度的度量。在步骤g)中，在一个实施例中，通过以下子步骤获得增强质量的图块：g1)通过向每个子图块分配线性系数来形成所述子图块的线性组合，使得该线性组合与所选择的图块的相似度高于最相似的单个子图块的相似度，以及g2)使用分配给各相应子图块的线性系数来形成父图块的线性组合。在步骤g1)中，可以通过迭代地执行以下步骤来确定线性系数：选择所述子图块之一，形成假想图块和所选择的子图块的线性组合，并且如果假想图块和子图块的叠加的相似度高于假想图块的相似度，则用假想图块和子图块的线性组合来替换假想图块。在第一次迭代中，可以任意选择假想图块；优选地，将子图块之一选择为假想图块。在步骤g1)的线性组合中，设置假想图块和子图块的线性系数以优化它们的线性组合与所选择的图块的相似度。如果子图块的线性组合的相似度不高于假想图块的相似度，则可以认为已找到最优值，并且迭代可以停止(即，终止)。可以采用假想图块的线性系数或子图块的所述线性组合的线性系数，作为随后步骤g)中的父图块的线性系数。备选地，可以通过使用假想图块的线性系数将父图块进行线性组合来形成第一临时增强质量的图块，并且可以通过使用所述假想图块和所述选择的子图块的线性组合的线性系数将父图块进行线性组合来形成第二临时增强质量的图块。如果第二临时增强质量的图块与步骤d)中选择的图块的相似度不高于第一临时增强质量的图块与步骤d)中选择的图块的相似度，则迭代停止(即，终止)。为了最小化迭代次数，在步骤g1)中，应当按照相似度的降序来选择子图块。如果通过将在先前步骤h)的执行中所获得的增强质量的高分辨率图像用作在后续步骤b)中的初始高分辨率图像来重复步骤b)至h)，则可以进一步改善图像质量。步骤b)至h)的重复次数应当优选地在3和5之间，因为重复次数再多，也无法实现增强质量的高分辨率图像的更多实质性改善了。从参考附图的实施例的以下描述，本专利技术的进一步特征和优点将变得清楚明白。附图说明图1是本专利技术的方法的流程图，图2示出了权利要求1的方法中所使用的各种图像之间的关系，以及图3是权利要求15的设备的框图。具体实施方式随后参照图1描述的从初始低分辨率图像形成增强质量高分辨率图像的方法优选地在微处理器上执行，或者在具有大量并行处理器的微处理器系统中执行。在步骤S1，系统接收由例如n行和m列像素形成的初始低分辨率图像LRI。为简单起见，这里将假设图像LRI仅是黑白的，每个像素对应于指定其颜色深浅的一个整数。对本领域技术人员而言，广义到彩色图像是直接明了的。在步骤S2，通过将(i-1)个附加行插入LRI的任意两个相邻行之间并且通过将(j-1)个附加列插入LRI的任意两个相邻列之间，来按照因子i、j对图像LRI进行上采样，从而产生i×n行乘j×m列的图像，i和j是小的整数，其中至少一个大于1；在大多数实际实施例中，i＝j成立。通过对在S2获得的图像进行空间低通滤波，或者通过双线性或双立方插值，向插入的像素分配数据。以这种方式，在S3获得初始高分辨率图像IHRI。应当牢记的是，虽然该图像的物理分辨率比初始低分辨率图像LRI的分辨率高得多，但是细节程度不比LRI的好，并且可能甚至比本文档来自技高网...

【技术保护点】
一种用于增强图像质量的方法，包括以下步骤：a)通过上采样(S2，S3)从初始低分辨率图像(LRI)获得初始高分辨率图像(IHRI)；b)基于所述初始低分辨率图像(LRI)提供(S4)至少一个下采样滤波图像，作为分辨率比所述初始高分辨率图像(IHRI)的分辨率低的辅助图像(AIij，AIi’j，)；c)基于所述初始低分辨率图像(LRI)提供(S6)与所述至少一个下采样滤波图像具有相同分辨率的未滤波图像(LRI，UIi’j’)；d)从所述初始高分辨率图像(IHRI)中选择图块(PI)；e)在所述至少一个下采样滤波图像(AIij，AIi’j’)中找到(S8)与所选择的图块相似的两个或更多个子图块(PAk)；f)在所述未滤波图像(LRI，UIi’j’)中找到与所述子图块(PAk)局部相关联的父图块(PPk)；g)线性地组合(S14)父图块(PPk)，以形成增强质量的图块(EP)；以及h)将通过重复地执行步骤d)至f)所获得的增强质量的图块(EP)进行组合(S15)，以形成增强质量的高分辨率图像(EIp)。

【技术特征摘要】
【国外来华专利技术】2014.01.30 EP 14305136.5;2014.01.30 EP 14305135.71.一种用于增强图像质量的方法，包括以下步骤：a)通过上采样(S2，S3)从初始低分辨率图像(LRI)获得初始高分辨率图像(IHRI)；b)基于所述初始低分辨率图像(LRI)提供(S4)至少一个下采样滤波图像，作为分辨率比所述初始高分辨率图像(IHRI)的分辨率低的辅助图像(AIij，AIi’j，)；c)基于所述初始低分辨率图像(LRI)提供(S6)与所述至少一个下采样滤波图像具有相同分辨率的未滤波图像(LRI，UIi’j’)；d)从所述初始高分辨率图像(IHRI)中选择图块(PI)；e)在所述至少一个下采样滤波图像(AIij，AIi’j’)中找到(S8)与所选择的图块相似的两个或更多个子图块(PAk)；f)在所述未滤波图像(LRI，UIi’j’)中找到与所述子图块(PAk)局部相关联的父图块(PPk)；g)线性地组合(S14)父图块(PPk)，以形成增强质量的图块(EP)；以及h)将通过重复地执行步骤d)至f)所获得的增强质量的图块(EP)进行组合(S15)，以形成增强质量的高分辨率图像(EIp)。2.根据权利要求1所述的方法，其中，通过对所述初始高分辨率图像(IHRI)进行下采样(S4，S6)来获得所述至少一个辅助图像(AIij，AIi’j’)。3.根据权利要求1或2所述的方法，其中，所述至少一个辅助图像(AIij，AIi’j’)中的第一辅助图像(AIij)与所述初始低分辨率图像(LRI)具有相同的分辨率，并且与所述第一下采样滤波图像相关联的所述未滤波图像是所述初始低分辨率图像(LRI)。4.根据权利要求3所述的方法，其中，所述辅助图像中的第二辅助图像(AIi’j’)具有比所述初始低分辨率图像(LRI)的分辨率低的分辨率，并且通过将所述初始低分辨率图像(LRI)下采样到第二辅助图像的分辨率来获得(S6)第二未滤波图像(UIi’j’)。5.根据前述权利要求中任何一项所述的方法，其中，获得初始高分
\t辨率图像(IHRI)的步骤还包括：低通滤波步骤(S3)，具体地，插值。6.根据前述权利要求中任何一项所述的方法，其中，在步骤e)中，对于所述至少一个辅助图像(AIij，AIi’j’)中的每个图块(PA)，评估(S8)与所选择的图块的相似度，并且保留预定数量(K)的具有最高相似度的图块(PAk)作为所述子图块。7.根据权利要求6所述的方法，其中，步骤g)包括以下子步骤：g1)通过向每个子图块(PAk)分配线性系数来形成所述子图块(PAk)的线性组合(LC)，使得该线性组合(LC)与所选择的图块的相似度高于最相似的单个子图块(PA0)的相似度，以及g2)使用分配给各相应子图块(PAk)的线性系数来形成父图块(PPk)的线性组合。8.根据权利要求7所述的方法，其中，在步骤g1)中，通过迭代地执行以下步骤来确定线性系数：选择(S10)所述子图块(PAk)之一，形成假想图块(HP)和所选择的子图块(PAk)的线性组合，并且如果假想图块(HP)和子图块(PAk)的叠加的相似度高于假想图块(HP)的相似度，则用假想图块(HP)和子图块(PAk)的线性组合(LC)来替换(S13)假想图块(HP)。9.根据权利要求8所述的方法，其中，设置假想图块(HP)和子图块(PAk)的线性系数以优化它们的线性组合(LC)的相似度。10.根据权利要求8或9所述的方法，其中，如果子图块(PAk)的线性组合(LC)的相似度不高于假想图块(HP)的相似度，则迭代停止。11.根据权利要求8或9所述的方法，其中，假想图块(HP)是子图块(...

【专利技术属性】
技术研发人员：穆罕默德·图尔坎，多米尼克·托罗，菲利普·古约泰尔，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国;FR