用于图像分辨率增强的系统和方法技术方案

公开了用于提供图像分辨率增强的系统和方法的各种技术。例如，一种方法包括：接收包括由像素坐标标识的图像像素的场景的参考图像(例如，可见光图像)；接收场景的较低分辨率目标图像(例如，红外图像)；将目标图像的大小调整为更大的尺寸；确定每个像素坐标的自适应形状邻域，其中自适应形状邻域从每个像素坐标延伸，使得在形状自适应邻域内的那些参考图像像素满足规则性条件；针对每个自适应形状邻域，基于自适应形状邻域内的那些目标图像像素确定局部估计；并且聚合与自适应形状邻域相关联的局部估计，以提供与具有提高的分辨率的目标图像相应的全局估计。还公开了一种被配置为执行这种方法的系统。

【技术实现步骤摘要】
【国外来华专利技术】用于图像分辨率增强的系统和方法相关申请交叉引用本申请要求于2016年1月8日递交的、名称为“SYSTEMSANDMETHODSFORIMAGERESOLUTIONENHANCEMENT(用于图像分辨率增强的系统和方法)”的美国临时专利申请No.62/276,800的权益，该美国临时专利申请的内容通过引用整体结合于此。
本专利技术的一个或多个实施例总体涉及成像处理，并且更具体地，例如，涉及增强图像的分辨率。
技术介绍
已经开发了超分辨率技术来增强由这种系统捕获的成像系统或图像的分辨率。然而，传统的超分辨率技术通常限于增强已经在图像中捕获的信息，例如，通过抑制噪声、抗锯齿或外插和内插像素信息。因此，传统的超分辨率技术不足以显示真实的结构细节和定义，这些细节和定义将在真正更高分辨率的图像版本中被捕获。传统超分辨率技术的这些缺点通常使得它们不适于实现期望的图像分辨率和定义，其中原始图像包含不充分的信息。例如，由一些成像传感器和设备(诸如红外(IR)成像传感器、光子混合器设备(PMD)或其他飞行时间(ToF)成像传感器、激光成像检测和测距(LIDAR)设备)产生的原生图像通常具有低分辨率、低清晰度和/或低信噪比(SNR)，这是因为这些传感器和设备工作的特定模态或光谱。虽然希望获得由这种成像传感器和设备捕获的图像的真实更高分辨率版本，但是传统的超分辨率技术可能并不合适。
技术实现思路
公开了用于增强图像的分辨率、清晰度和/或信噪比(SNR)以提供更清晰的、更易理解、更加视觉上令人愉悦的和更富内容的图像和视频用于查看和进一步图像处理的系统和方法的各种技术。例如，在一个实施例中，一种方法包括：接收场景的参考图像，该参考图像包括由像素坐标标识的参考图像像素；接收场景的目标图像，该目标图像的分辨率低于参考图像；将目标图像的大小调整为更大的图像尺寸，经大小调整的目标图像包括由相应的参考图像像素的像素坐标标识的目标图像像素；确定每个像素坐标的自适应形状邻域，其中自适应形状邻域从每个像素坐标延伸，使得在形状自适应邻域内的那些参考图像像素满足规则性条件(regularitycondition)；针对每个自适应形状邻域，基于自适应形状邻域内的那些目标图像像素确定局部估计；并且聚合与自适应形状邻域相关联的局部估计，以提供与具有提高的分辨率的目标图像相对应的全局估计。根据一些实施例，该方法还可以对作为三维(3-D)体积或点云图像的参考图像和目标图像执行，以增强目标3-D图像。根据一些实施例，参考图像可以是由可见光成像传感器捕获的可见光图像，并且目标图像可以是由红外(IR)成像传感器捕获的IR图像。在其他实施例中，参考图像可以由计算机断层扫描(CT)扫描仪或磁共振成像(MRI)设备捕获，并且目标图像由正电子发射断层扫描(PET)扫描仪、单光子发射计算机断层扫描(SPECT)扫描仪、超声成像设备捕获。可以使用根据本公开的实施例的各种技术来确定自适应形状邻域。例如，确定每个自适应形状邻域可以包括确定来自每个像素坐标的多个方向的线性范围(line-wiseextent)。在一些实施例中，每个自适应形状邻域可以是针对每个像素坐标确定的线性范围的多面体壳。可以至少通过根据统计方法从具有不同长度的LPA内核集合中选择局部多项式近似(LPA)内核来确定每个方向的线性范围，所选择的LPA内核的长度被确定为每个方向的线性范围。根据各种实施例，每个所选择的LPA内核可以是LPA内核集合中最长LPA内核，当所选择的LPA内核与沿相应方向和长度的那些参考图像像素进行卷积时，该最长LPA内核根据统计方法提供可接受的近似，并且用于选择LPA内核的统计方法可以包括置信区间的交集(ICI)方法。根据各种实施例确定的每个自适应形状邻域可以在多个方向上各向异性地延伸。对于3-D体积或点云图像，确定每个自适应形状邻域可以包括从每个像素坐标确定自适应尺寸立方体。可以使用根据本公开的实施例的各种技术来确定每个自适应形状邻域的局部估计。例如，在一些实施例中，确定每个自适应形状邻域的局部估计可以包括对在每个自适应形状邻域内的那些目标图像像素求平均，或者在一些实施例中，对每个自适应形状邻域内的那些目标图像像素进行滤波。对于一些实施例，对目标图像像素的滤波可以包括：对每个自适应形状邻域内的那些目标图像像素执行形状自适应变换，以获得对应于形状自适应变换的域中的那些目标图像像素的系数；以及修改(例如，通过阈值化进行收缩)形状自适应变换的域中的系数。形状自适应变换可以包括形状自适应离散余弦变换(SA-DCT)或其他适当的变换。根据一些实施例的局部估计的聚合可以包括根据与各个局部估计相关联的权重对局部像素估计求平均。权重可以与属于相应的自适应形状邻域的像素坐标的数量成反比，或者权重可以基于与相应的自适应形状邻域相关联的其他统计或定量属性。根据一些实施例，可以利用用作新目标图像的全局估计来重复自适应形状邻域的确定、局部估计的确定以及局部估计的聚合。例如，可以利用针对用于确定自适应形状邻域的规则性条件的增加的灵敏度来执行该重复，使得至少一些自适应形状邻域变得更小以适应在参考图像中捕获的比重复之前更精细的细节。根据一些实施例的方法还可以包括将全局估计与目标图像进行比较，并基于比较来调整全局估计，以去除或减少全局估计与目标图像之间的聚合像素值中的差异。根据一些实施例的方法可以包括用于以提高的分辨率进一步增强对应于目标图像的全局输出的操作。例如，该方法还可以包括从参考图像提取边缘信息，以及基于所提取的边缘信息锐化全局估计和/或将边缘信息叠加到全局估计上。在另一实施例中，一种系统包括：视频接口，被配置为接收图像数据或信号；与视频接口通信的处理器，被配置为：接收场景的参考图像，该参考图像包括由像素坐标标识的参考图像像素；接收场景的目标图像，该目标图像的分辨率低于参考图像；将目标图像的大小调整为更大的图像尺寸，经大小调整的目标图像包括由相应的参考图像像素的像素坐标标识的目标图像像素；确定每个像素坐标的自适应形状邻域，其中自适应形状邻域从每个像素坐标延伸，使得在形状自适应邻域内的那些参考图像像素满足规则性条件；针对每个自适应形状邻域，基于自适应形状邻域内的那些目标图像像素确定局部估计；并且聚合与自适应形状邻域相关联的局部估计，以提供对应于具有提高的分辨率的目标图像的全局估计；以及与处理器通信的存储器，并且被配置为存储全局估计。处理器还可以被配置为执行各种实施例的上述方法的各种操作。根据一些实施例，处理器可以被配置为对作为三维(3-D)体积或点云图像的参考和目标图像执行该方法的各种操作以增强目标3-D图像。根据一些实施例，该系统还可以包括：第一成像传感器，与视频接口进行通信并且被配置为捕获参考图像，以及第二成像传感器，与视频接口进行通信并且被配置为捕获目标图像。例如，第一成像传感器可以包括可见光(VL)成像传感器、紫外(UV)成像传感器或近红外(NIR)成像传感器，而第二成像传感器可以包括红外(IR)成像传感器、飞行时间(ToF)成像传感器、激光成像检测和测距(LIDAR)传感器或毫米波(MMW)成像传感器。在其他示例中，第一成像传感器可以包括计算机断层扫描(CT)扫描仪、磁共振成像(MRI)设备或具有相对本文档来自技高网...

【技术保护点】
1.一种方法，包括：接收场景的参考图像，所述参考图像包括由像素坐标标识的参考图像像素；接收所述场景的目标图像，所述目标图像的分辨率低于所述参考图像；将所述目标图像的大小调整为更大的图像大小，所述经调整大小的目标图像包括由相应的参考图像像素的像素坐标标识的目标图像像素；确定每个像素坐标的自适应形状邻域，其中，所述自适应形状邻域从所述每个像素坐标延伸，使得在所述形状自适应邻域内的那些参考图像像素满足规则性条件；针对每个自适应形状邻域，基于所述自适应形状邻域内的那些目标图像像素确定局部估计；以及聚合与所述自适应形状邻域相关联的所述局部估计，以提供对应于具有提高的分辨率的所述目标图像的全局估计。

【技术特征摘要】
【国外来华专利技术】2016.01.08 US 62/276,8001.一种方法，包括：接收场景的参考图像，所述参考图像包括由像素坐标标识的参考图像像素；接收所述场景的目标图像，所述目标图像的分辨率低于所述参考图像；将所述目标图像的大小调整为更大的图像大小，所述经调整大小的目标图像包括由相应的参考图像像素的像素坐标标识的目标图像像素；确定每个像素坐标的自适应形状邻域，其中，所述自适应形状邻域从所述每个像素坐标延伸，使得在所述形状自适应邻域内的那些参考图像像素满足规则性条件；针对每个自适应形状邻域，基于所述自适应形状邻域内的那些目标图像像素确定局部估计；以及聚合与所述自适应形状邻域相关联的所述局部估计，以提供对应于具有提高的分辨率的所述目标图像的全局估计。2.根据权利要求1所述的方法，其中：所述参考图像是由可见光成像传感器捕获的可见光图像；以及所述目标图像是由红外(IR)成像传感器捕获的IR图像。3.根据权利要求1所述的方法，其中：所述参考图像由计算机断层扫描(CT)扫描仪或磁共振成像(MRI)设备捕获；以及所述目标图像由正电子发射断层扫描(PET)扫描仪、单光子发射计算机断层扫描(SPECT)扫描仪、或超声成像设备捕获。4.根据权利要求1所述的方法，其中，所述参考图像和所述目标图像是三维(3D)体积或点云图像。5.根据权利要求4所述的方法，其中，确定每个自适应形状邻域包括从每个像素坐标确定8个八分圆的自适应大小立方体。6.根据权利要求1所述的方法，其中，每个自适应形状邻域在多个方向上各向异性地延伸。7.根据权利要求1所述的方法，其中，确定每个自适应形状邻域包括从每个像素坐标确定多个方向的线性范围。8.根据权利要求7所述的方法，其中，每个自适应形状邻域是针对每个像素坐标确定的线性范围的多边形壳。9.根据权利要求7所述的方法，其中，确定每个方向的所述线性范围包括根据统计方法从具有不同长度的局部多项式近似(LPA)内核集合中选择LPA内核，所选择的LPA内核的长度被确定为所述每个方向的线性范围。10.根据权利要求9所述的方法，其中，每个所选择的LPA内核是所述LPA内核集合中的最长LPA内核，当所选择的LPA内核与沿相应方向和长度的那些参考图像像素进行卷积时，所述最长LPA内核根据所述统计方法提供可接受的近似。11.根据权利要求9所述的方法，其中，用于选择LPA内核的所述统计方法包括置信区间的交集(ICI)方法。12.根据权利要求1所述的方法，其中，确定每个自适应形状邻域的所述局部估计包括对每个自适应形状邻域内的那些目标图像像素求平均。13.根据权利要求1所述的方法，其中，确定每个自适应形状邻域的所述局部估计包括对每个自适应形状邻域内的那些目标图像像素进行滤波。14.根据权利要求13所述的方法，其中，对所述目标图像像素的滤波包括：对每个自适应形状邻域内的那些目标图像像素执行形状自适应变换，以获得对应于所述形状自适应变换的域中的那些目标图像像素的系数；以及修改所述形状自适应变换的域中的所述系数。15.根据权利要求14所述的方法，其中，所述形状自适应变换包括形状自适应离散余弦变换(SA-DCT)。16.根据权利要求1所述的方法，其中，所述聚合包括根据与相应的局部估计相关联的权重对局部像素估计求平均。17.根据权利要求16所述的方法，其中，所述权重与属于相应的自适应形状邻域的像素坐标的数量成反比。18.根据权利要求1所述的方法，还包括利用所述全局估计作为所述目标图像，重复对所述自适应形状邻域的确定、对所述局部估计的确定以及对所述局部估计的聚合。19.根据权利要求18所述的方法，其中，利用针对用于确定所述自适应形状邻域的规则性条件的增加的灵敏度来执行所述重复，使得所述自适应形状邻域中的至少一些变得更小以适应在所述参考图像中捕获的比在所述重复之前更加精细的细节。20.根据权利要求1所述的方法，还包括：将所述全局估计与所述目标图像进行比较；以及基于所述比较来调整所述全局估计，以去除或减少所述全局估计与所述目标图像之间的聚合像素值的差异。21.根据权利要求1所述的方法，还包括：从所述参考图像提取边缘信息；以及基于所提取的边缘信息来锐化所述全局估计。22.根据权利要求1所述的方法，还包括：从所述参考图像提取边缘信息；以及将所述边缘信息叠加到所述全局估计上。23.一种系统，包括：视频接口，被配置为接收图像数据或信号；处理器，所述处理器与所述视频接口进行通信并被配置为：接收场景的参考图像，所述参考图像包括由像素坐标标识的参考图像像素；接收所述场景的目标图像，所述目标图像的分辨率低于所述参考图像；将所述目标图像的大小调整为更大的图像大小，所述经调整大小的目标图像包括由相应的参考图像像素的像素坐标标识的目标图像像素；确定...

【专利技术属性】
技术研发人员：A·弗伊，恩里克·桑切斯蒙杰，
申请(专利权)人：菲力尔系统公司，无噪成像公司，
类型：发明
国别省市：美国,US