使用迭代协同滤波的图像超分辨率的系统和方法技术方案

技术编号:19397267 阅读:33 留言:0更新日期:2018-11-10 05:10
公开了用于提供图像分辨率增强的系统和方法的各种技术。例如,一种方法包括:接收场景的原始图像(例如,可见光图像),其包括由像素坐标标识的图像像素;将原始图像的尺寸调整为更大的尺寸,其中经调整尺寸的图像被划分成第一多个参考块;通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率:将高频数据注入到经调整尺寸的图像中,从经调整尺寸的图像中提取满足相对于参考块的互相似条件的第一多个匹配块,并且基于参考块与第一多个匹配块之间的相关性来调整参考块的高频数据。还公开了一种被配置为执行这种方法的系统。

【技术实现步骤摘要】
【国外来华专利技术】使用迭代协同滤波的图像超分辨率的系统和方法相关申请的交叉引用本申请要求于2016年1月16日提交的题为“使用迭代协同滤波的图像超分辨率的系统和方法(SYSTEMSANDMETHODSFORIMAGESUPER-RESOLUTIONUSINGITERATIVECOLLABORATIVEFILTERING)”的美国临时专利申请No.62/279,743的权益,该申请的全部内容通过引用并入本文中。
本专利技术的一个或多个实施例总体涉及成像处理,更具体地,涉及例如增强图像的分辨率。
技术介绍
已经开发了超分辨率技术来增强成像系统或由这种系统捕获的图像的分辨率。然而,常规的超分辨率技术要么需要大量的训练时间和处理资源(例如,处理时间、内存空间、数据存储空间等),比如那些基于在字典中编译的外部训练数据的技术,要么产生差的分辨率增强质量,例如那些在同一图像中选择最佳匹配贴片(patch)以估计高频数据的技术。因此,常规的超分辨率技术不足以高效地显示将在真实的更高分辨率版本的图像中捕获的真实结构细节和清晰度。常规的超分辨率技术的这些缺点通常使它们不适合于具有有限处理资源的设备(比如安全摄像系统、便携式设备等)以实现期望的图像分辨率。因此,需要改进的超分辨率技术,用于在不消耗大量处理资源的情况下产生高质量的超分辨率图像。
技术实现思路
公开了用于增强图像的分辨率、清晰度和/或信噪比(SNR)以提供更清晰、更易于理解、视觉上更加令人愉悦、内容更丰富的图像和视频以供观看和进一步图像处理的系统和方法的各种技术。例如,在一个实施例中,一种方法包括:将原始图像的尺寸调整为更大的尺寸,经调整尺寸的图像具有大于原始图像的图像尺寸的图像尺寸,并且经调整尺寸的图像被分为第一多个参考块;通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率:将高频数据注入到经调整尺寸的图像;对于每个参考块,从经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第一多个匹配块;并且基于该参考块与第一多个匹配块之间的相关性来调整参考块的高频数据。根据本专利技术的实施例,可以使用各种技术来生成注入到经调整尺寸的图像中的高频数据。例如,可以基于经调整尺寸的图像的像素数据来生成高频数据。具体地,可以基于经调整尺寸的图像和原始图像之间的差来生成高频数据。除了调整参考块的高频数据之外,根据一个实施例的方法还调整第一多个参考块的高频数据。在这些实施例的一些中,该方法将参考块和第一多个匹配块的高频数据作为一组一起进行共同调整,以便保留该组中一致的高频数据的分量,同时去除该组中不一致的高频数据的分量。在这方面,参考块和第一多个匹配块被布置为形成像素的三维(3D)阵列。例如,匹配块和参考块可以在彼此的顶部上对齐以形成3D像素阵列的堆叠。然后对3D像素阵列执行3D变换。可以对3D像素阵列执行各种3D变换。3D变换可以包括以下各项中的至少一个:离散余弦变换、哈尔变换(HaarTransform)、恒等变换(IdentityTransform)或其任何组合。在一些实施例中,3D变换包括二维(2D)图像变换和一维(1D)图像变换。例如,2D图像变换可以应用于沿着3D像素阵列的第一维度和第二维度的像素值,并且1D图像变换可以应用于沿着3D像素阵列的第三维度。该方法还包括至少部分地基于对应的系数标准偏差来修改每个3D频谱中的至少一些谱系数,并且对3D频谱应用逆变换以生成用于经调整尺寸的图像的高分辨率估计。第一多个参考块可以是经调整尺寸的图像的不同的非重叠像素块,其中每个参考块包括多个连续像素。为参考块提取的匹配块具有与参考块相同的尺寸。另外,匹配块可以彼此部分重叠。根据本专利技术的实施例,可以使用各种技术为每个参考块识别并提取匹配块。例如,增量搜索方法可以适于识别针对参考块的匹配块。在增量搜索方法下,最初定义局部搜索区域。局部搜索区域是经调整尺寸的图像的一部分,其至少部分地围绕参考块。根据本专利技术的实施例的方法在所定义的局部搜索区域内进行搜索以识别满足互相似条件的若干匹配块,即,匹配块彼此互相似并且与相应的参考块互相似。在增量搜索方法下,如果识别的匹配块的数量小于预定阈值,则可以扩展搜索区域,并且在扩展的搜索区域内执行对匹配块的搜索。这样,可以在附加搜索区域中识别附加匹配块。搜索区域可以不断扩展,直到识别出的匹配块的数量达到阈值。一旦为对应的参考块识别出一组匹配块,就提取匹配块的图像数据或像素数据。要注意,在一些实施例中,可以在迭代地注入和调整高频数据之前针对每个参考块执行对匹配块的识别。在一些实施例中,该方法包括将经调整尺寸的图像划分为第二多个参考块,其中第二多个参考块中的每个参考块具有比第一多个参考块中的参考块小的尺寸。该方法还包括在增强经调整尺寸的图像的分辨率的至少一次迭代中,对于第二多个参考块中的每个参考块,从经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第二多个匹配块;并且基于参考块和第二多个匹配块之间的相关性来调整参考块的高频数据。与第一多个匹配块类似,参考块和第二多个匹配块的高频数据可以作为一组被共同调整,以便保留该组中一致的高频数据的分量,同时去除该组中不一致的高频数据的分量。在这方面,第二多个匹配块和参考块被布置为形成3D像素阵列。可以对3D像素阵列执行各种变换。根据本专利技术的一些实施例的方法可以对由第二多个匹配块创建的3D像素阵列执行与对由第一多个匹配块创建的3D像素阵列执行的变换不同的变换。此外,增强经调整尺寸的图像的分辨率的步骤可以根据需要迭代多次。在一些实施例中,可以在已经执行了多次增强分辨率的迭代之后修改第二多个参考块的尺寸。在另一实施例中,一种系统包括:图像接口,该图像接口被配置成接收原始图像;以及处理器,该处理器与图像接口通信耦合,并且被配置成用于将原始图像尺寸调整为更大的尺寸;通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率:将高频数据注入到经调整尺寸的图像;将经调整尺寸的图像分为第一多个参考块;对于每个参考块,从经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第一多个匹配块;并且基于参考块和第一多个匹配块之间的相关性来调整参考块的高频数据。本专利技术的范围由权利要求限定,这些权利要求通过引用并入到本部分中。通过考虑一个或多个实施例的以下详细描述,本领域技术人员将更加全面地理解本专利技术的实施例并且实现其附加优点。将参考将首先简要描述的附图。附图说明图1示出了根据本专利技术的实施例的成像系统的框图。图2示出了根据本专利技术的实施例的增强图像分辨率的过程的流程图。图3示出了根据本专利技术的各种实施例的迭代协同滤波。图4示出了根据本专利技术的各种实施例的在可扩展搜索区域内对匹配块的搜索。图5A-5C示出了根据本专利技术的实施例的对来自全局搜索、局部搜索和增量搜索的不同结果的比较。图6示出了根据本专利技术的实施例的两阶段协同滤波过程。图7示出了根据本专利技术的实施例的迭代协同滤波方法与若干其他图像增强方法之间的峰值信噪比性能的比较。图8示出了根据本专利技术的实施例的随迭代协同滤波中所使用的迭代次数变化的计算时间。通过参考下面的详细描述,可以最好地理解本专利技术的实施例及其优点。应当理解,相同的附图标记用于标识一个或多个附图中所示的相同元件。具体实施方式本文公开的方法和系统的各种实施例可用于提本文档来自技高网...

【技术保护点】
1.一种增强原始图像的分辨率的方法,所述方法包括:将所述原始图像的尺寸调整为更大的尺寸,将经调整尺寸的图像划分为第一多个参考块;通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率:将高频数据注入到经调整尺寸的图像中;针对所述第一多个参考块中的每个参考块进行以下操作:从经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第一多个匹配块;并且基于该参考块与所述第一多个匹配块之间的相关性来调整该参考块的高频数据。

【技术特征摘要】
【国外来华专利技术】2016.01.16 US 62/279,7431.一种增强原始图像的分辨率的方法,所述方法包括:将所述原始图像的尺寸调整为更大的尺寸,将经调整尺寸的图像划分为第一多个参考块;通过迭代地进行以下操作来增强经调整尺寸的图像的分辨率:将高频数据注入到经调整尺寸的图像中;针对所述第一多个参考块中的每个参考块进行以下操作:从经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第一多个匹配块;并且基于该参考块与所述第一多个匹配块之间的相关性来调整该参考块的高频数据。2.根据权利要求1所述的方法,还包括:针对所述第一多个参考块中的每个参考块,将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整,使得在所述组中一致的高频数据的分量得到保留,同时所述组中不一致的高频数据的分量被去除。3.根据权利要求2所述的方法,其中,将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整包括:使该参考块和所述第一多个匹配块在顶部彼此对齐以生成三维(3D)像素阵列;以及对所述3D像素阵列执行3D变换以生成相应的3D频谱。4.根据权利要求3所述的方法,其中,所述3D变换包括以下各项中的至少一个:离散余弦变换、哈尔变换和恒等变换。5.根据权利要求3所述的方法,其中,所述3D变换包括二维(2D)图像变换和一维(1D)图像变换。6.根据权利要求5所述的方法,其中,对所述3D像素阵列执行3D变换包括:将所述2D图像变换应用于沿着所述3D像素阵列的第一维度和第二维度的像素值;并且将所述1D图像变换应用于沿着所述3D像素阵列的第三维度的像素值。7.根据权利要求3所述的方法,其中,将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整还包括至少部分地基于对应的系数标准偏差来修改所述3D频谱中的每一个的至少一些频谱系数。8.根据权利要求7所述的方法,其中,将该参考块和所述第一多个匹配块的高频数据作为一组进行共同调整还包括:向所述3D频谱应用逆变换,以生成针对经调整尺寸的图像的高分辨率估计。9.根据权利要求1所述的方法,其中,所述第一多个参考块中的每个参考块是第一尺寸,其中所述方法还包括:将经调整尺寸的图像划分为第二多个参考块,其中,所述第二多个参考块中的每个参考块具有小于所述第一尺寸的第二尺寸;在增强经调整尺寸的图像的分辨率的至少一次迭代中,针对所述第二多个参考块中的每个参考块进行以下操作:从经调整尺寸的图像中提取满足相对于该参考块的互相似条件的第二多个匹配块;以及基于该参考块与所述第二多个匹配块之间的相关性来调整该参考块的高频数据。10.根据权利要求9所述的方法,还包括在执行增强经调整尺寸的图像的分辨率的第n次迭代之后修改所述第二尺寸。11.根据权利要求1所述的方法,还包括识别针对该参考块的所述第一多个匹配块。12.根据权利要求11所述的方法,其中,识别所述第一多个匹配块包括:定义局部搜索区域,该局部搜索区域是经调整尺寸的图像的一部分并且至少部分地包围该参考块;以及在所述局部搜索区域内识别满足相对于该参考块的互相似条件的多个匹配块。13.根据权利要求12所述的方法,其中,识别所述第一多个匹配块还包括:确定所识别的匹配块的数量小于预定阈值;扩展所述局部搜索区域;以及在扩展的局部搜索区域内识别满足相对于该参考块的互相似条件的附加匹配块。14.根据权利要求11所述的方法,其中,在增强经调整尺寸的图像的分辨率之前,执行识别所述第一多个匹配块的步骤。15.根据权利要求1所述的方法,还包括基于经调整尺寸的图像的像素数据来生成所述高频数据。16.根据权利要求15所述的方法,其中,生成所述高频数据还基于经调整尺寸的图像与所述原始图像之间的差。17.根据权利要求1所述的方法,其中,所述多个参考块是经调整尺寸的图像的不同的非重叠像素块,其中每个参考块包括多个连续像素。18.根据权利要求1所述的方法,其中,所述多个匹配块中的至少两个匹配块是部分重叠的。19.一种用于增强原始图像的分辨率的系统,所述系统包括:图像接口,该图像接口被配置成接收所述原始图像;以及处理器,该处理器与所述图像接口通信耦合并且被配置成进...

【专利技术属性】
技术研发人员:拉克什·梅赫塔凯伦·艾格亚扎瑞恩
申请(专利权)人:菲力尔系统公司无噪成像公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1