基于使用结构相似性的图像匹配对计算机视觉预处理进行的控制制造技术

处理器计算输入图像的输入图像结构复杂性的衡量，并且搜索真实肯定的数据库以在数据库中查找表示在结构上与输入图像类似的真实肯定图像的一个或多个条目。处理器将输入图像的信号质量的衡量与从数据库中检索到的真实肯定图像中的一个真实肯定图像的信号质量的衡量进行比较，并且基于此比较来更新控制变量，由此改善计算机任务的性能，所述控制变量配置在由计算机视觉处理器处理输入图像之前要对输入图像执行的信号质量调节过程。还描述并要求保护其他实施例。

【技术实现步骤摘要】
本公开的一个方面涉及计算机视觉，更具体而言，涉及用于通过自动地调整预处理阶段的基本的图像调节操作的控制变量来改善计算机视觉系统的性能的技术。还描述了其他方面。
技术介绍
计算机视觉是计算机使用统计方法来处理或分析数字图像的组成像素以产生反映对图像中的内容的可视化理解的数值或符号信息的
计算机视觉任务的示例包括脸部检测或识别、通过姿态识别的用户交互，对象的自动检查、自主的车辆导航，检测事件(诸如，对人计数)以及组织信息(诸如，图像的数据库)。计算机视觉处理器具有计算上复杂的任务。然而，通过在预处理阶段执行对输入图像的某些基本的图像调节操作，可使那项任务变得更容易。例如，在一些情况下，使暗图像更亮且更锐利可以使其中的对象的边缘更容易由姿态识别处理器检测到。附图说明在所附附图的各图中以示例方式而非限制方式示出本公开的各方面，在附图中，同样的参考编号指示类似的元件。应当注意，在本公开中对“一”或“一个”实施例的引用不一定是指同一个实施例，并且它们表示至少一个实施例。此外，给定的附图可以用来示出多于一个的实施例的特征，并且并非附图中的所有元件对于给定的实施例都是必需的。图1是计算机视觉(CV)系统的框图。图2是执行用于填充真实肯定(true positive)数据库的过程的系统的框图。图3描绘了如何在服务器平台中实现CV系统的大部分。图4是其中可以实现CV系统的多个部分的最终用户平台的相关的硬
件组件的框图。具体实施方式现在参考所附附图来解释若干实施例。每当未清楚地定义在此描述的实施例的多个方面时，在此的本公开的范围不仅限于所示出的部分，所示出的部分仅用于说明目的。此外，尽管阐述了众多细节，但是应当理解，一些实施例可以在没有这些细节的情况下实施。在其他实例中，不详细地示出公知的电路、结构和技术以便不至于使对本描述的理解变得模糊。已经发现，仅处理被输入到计算机视觉系统的输入图像以判断它们是否过暗或过于模糊并据此调整它们的明度(brightness)或它们的颜色或灰度对比度不能一致地确保计算机视觉处理器(其对经调整的图像操作)将成功。实施例是可以帮助增加计算机视觉任务的成功的可能性的数字图像处理方法。处理输入图像以计算它的结构复杂性的衡量。随后，使用a)输入图像结构复杂性的衡量和b)真实肯定图像的结构复杂性的衡量，计算输入图像相对于真实肯定图像的结构相似性的衡量。真实肯定图像是已导致由计算机视觉处理器进行的令人满意的决策的图像。响应于指示了输入图像与真实肯定图像之间的足够的相似性(匹配)的结构相似性的衡量，执行输入图像的信号质量的衡量与匹配的真实肯定图像的信号质量的衡量之间的比较。基于那个比较来更新控制变量，所述控制变量配置在由计算机视觉处理器处理输入图像之前对输入图像执行的信号质量调节过程。这可以增加来自计算机视觉任务的令人满意的结果的可能性。另一实施例是图像处理系统，其中，结构相似性计算器从数据库中检索真实肯定结构复杂性度量，并且使用a)输入图像结构复杂性的衡量以及b)从数据库中检索到的一个或多个真实肯定结构复杂性度量来计算结构相似性度量。信号质量比较器执行输入图像的信号质量的衡量与从数据库中检索到的真实肯定信号质量度量之间的比较，并且可以根据此比较来更新控制变量，其中，控制变量配置计算机视觉系统的预处理器。图1是计算机视觉(CV)系统的框图，所述CV系统的部分(如下文
所述)执行图像处理方法，所述图像处理方法可以改善系统中的CV处理器4的决策的成功率。系统对输入数字图像序列进行操作。每一个输入图像可以直接从传感器(例如，作为数字静物相机或视频相机的部分)(未示出)接收，或可以从大容量存储设备(例如，静止图像文件数据库或电影文件数据库)(未示出)中检索。在由预处理器2调节之后(如下文中详细描述的那样，在这种情况下，预处理器2可以是任选的)，输入图像由CV处理器4处理。CV处理器4的任务可以是对象或形状检测或识别、姿态识别、对象的自动检查、自主车辆导航、检测事件(诸如，对人计数)、光学字符识别、道路标志检测、医学成像解释、监控算法以及组织信息(诸如，图像的数据库)。为了实现其任务，CV处理器4可以根据需要来执行诸如背景减除、旋转以及分段之类的操作以促进例如特征提取和决策。CV处理器4可以实现为神经网络或机器学习处理器。CV处理器4产生CV性能数据，该CV性能数据可包括在输入图像中被识别的特征或对象的像素坐标或定性指示，诸如，在室外或在室内，以及其任务已经被成功地执行(或其识别决策是正确的)的其置信度或可能性的指示。随后，CV性能数据可以由诸如用户交互应用和可视化理解应用之类的较高级别的功能(未示出)使用。CV处理器4对可以由预处理器2预处理的输入图像进行操作。后者可用于在由CV处理器4处理输入图像之前执行对输入图像的若干基本的数字图像调节(在此也被称为信号质量调节)过程。在此描述的预处理设计成使CV处理器4的任务更容易，或者如果需要改善CV任务的结果则甚至使CV处理器4的结果是可能的。信号质量调节过程中的每一个过程都可以被视为由相应的信号质量(SQ)处理器来执行。图1中的示例示出了四个此类处理器SQ_1、…SQ_4，但这仅是示例，因为可以有少到两个或多于四个的不同的信号质量处理器。SQ处理器可包括下列各项的任何合适的组合：噪声消减处理器、伽马(或对比度控制)处理器、锐度调整处理器以及照度(illumination)补偿或明度调整处理器。可以根据单个的“旋钮”(“knob”)或控制变量(在此也被称为“增益”变量)来调整信号质量调节过程中的每一个的强度。换言之，明度处理器、锐度处理器、对比度
处理器以及噪声消减处理器中的两个或更多个可分别由两个或更多个控制变量配置。应当指出的是，设置这些控制变量的方式不是以改善人的视觉或感知质量为目标而进行的，而是为调整图像的信号质量来进行的以使CV任务更容易。在一个实施例中，出于效率的原因，在正常操作期间，可禁用或关闭预处理器2中的SQ处理器中的一个或全部，直到CV任务以不令人满意的方式执行(例如，如由下文所描述的性能数据评估器3确定)为止，此时，可以启用或打开SQ处理器(以帮助改善CV处理器的性能)。实际上，在许多实例中，输入图像的质量足够好以使CV任务令人满意地对它们进行操作。然而，请注意，其他预处理操作(诸如，重新设定输入图像的尺寸以匹配CV处理器的输入处所需的格式)可以保持启用。已经发现，能够自动地配置预处理器2(特别是基本的图像调节(信号质量调节)处理器SQ_1…SQ_4处理器中的一个或多个)以改善后续的计算机视觉任务的性能是期望的。已经发现这些决策(即，如何调整预处理器2)取决于输入图像的特定内容，例如，风景、室外、室内、手、脸，或感兴趣的另一对象，等等。现在描述用于基于计算输入图像的结构复杂性的衡量并将其与“真实肯定”图像的该度量进行比较来作出此类决策的系统化方法。仍参考图1，提供了控制变量计算器5，该控制变量计算器5计算可以定义将由预处理器2中的每一个基本图像调节的块执行的改变的强度和方向的相应的控制变量或增益值。例如，控制变量SQ_1可以是具有-5到+5的范围的明度控制，其中，零指示没有明度处理将由SQ_1处理器对本文档来自技高网...

【技术保护点】
一种用于计算机视觉系统的图像处理方法，包括以下步骤：处理输入图像以计算所述输入图像的输入图像结构复杂性的衡量；使用真实肯定图像的a)所述输入图像结构复杂性的衡量以及b)真实肯定结构复杂性的衡量，计算所述输入图像相对于所述真实肯定图像的结构相似性的衡量，其中，所述真实肯定图像是已导致由计算机视觉处理器进行的正确的决策的图像；以及响应于指示足够的相似性的结构相似性的衡量而执行所述输入图像的信号质量的衡量与所述真实肯定图像的信号质量的衡量之间的比较，并且基于所述比较来更新配置在由计算机视觉处理器处理所述输入图像之前对所述输入图像执行的信号质量调节过程的控制变量。

【技术特征摘要】
2015.03.19 US 14/663,2421.一种用于计算机视觉系统的图像处理方法，包括以下步骤：处理输入图像以计算所述输入图像的输入图像结构复杂性的衡量；使用真实肯定图像的a)所述输入图像结构复杂性的衡量以及b)真实肯定结构复杂性的衡量，计算所述输入图像相对于所述真实肯定图像的结构相似性的衡量，其中，所述真实肯定图像是已导致由计算机视觉处理器进行的正确的决策的图像；以及响应于指示足够的相似性的结构相似性的衡量而执行所述输入图像的信号质量的衡量与所述真实肯定图像的信号质量的衡量之间的比较，并且基于所述比较来更新配置在由计算机视觉处理器处理所述输入图像之前对所述输入图像执行的信号质量调节过程的控制变量。2.如权利要求1所述的方法，其特征在于，所述输入图像结构复杂性的衡量包括输入图像颜色或灰度复杂性度量、输入图像明亮度复杂性度量以及输入图像空间复杂性度量。3.如权利要求2所述的方法，其特征在于，所述真实肯定结构复杂性的衡量包括真实肯定颜色或灰度复杂性度量、真实肯定明亮度复杂性度量以及真实肯定空间复杂性度量。4.如权利要求3所述的方法，其特征在于，结构相似性的衡量是下列各项中的两项或更多项的函数：所述输入图像和真实肯定颜色或灰度复杂性度量，ii)所述输入图像和真实肯定明亮度复杂性度量，以及，iii)所述输入图像和真实肯定空间复杂性度量。5.如权利要求1所述的方法，进一步包括以下步骤：访问具有多个条目的数据库，其中，每一个条目都包括与多个真实肯定信号质量度量相关联的多个真实肯定结构复杂性度量，其中，所述多个真实肯定结构复杂性度量是从相应的一个或多个真实肯定图像中导出的，并且所述多个真实肯定信号质量度量是从所述相应的一个或多个真实肯定图像中导出的，其中，访问所述数据库以在给定的条目中检索所述多个真实肯定结构复杂性度量中的一个或多个，并且其中，计算结构相似性的衡量使用a)从所述输入图像中导出的多个输入图像复杂性度量中的一个或多个，以及b)从所述数据库中的所述给定的条目中检索出的所述多个真实肯定结构复杂性度量中的所述一个或多个。6.如权利要求5所述的方法，其特征在于，所述多个输入图像复杂性度量包括输入图像颜色或灰度复杂性度量、输入图像明亮度复杂性度量以及输入图像空间复杂性度量，并且其中，计算结构相似性的衡量的步骤包括计算是下列各项的函数的结构相似性度量的步骤：a)下列各项中的两项或更多项：i)所述输入图像颜色或灰度复杂性度量，ii)所述输入图像明亮度复杂性度量，以及iii)所述输入图像空间复杂性度量，以及b)从所述数据库中的所述给定的条目中检索到的所述多个真实肯定结构复杂性度量中的对应的两个或更多个真实肯定结构复杂性度量。7.如权利要求1所述的方法，其特征在于，更新配置在由计算机视觉处理器处理所述输入图像之前对所述输入图像执行的信号质量调节过程的控制变量的步骤包括以下步骤：与a)所述真实肯定图像的信号质量的衡量比b)所述输入图像的信号质量的衡量大多少或小多少成比例地增大或减小所述控制变量。8.一种图像处理系统，包括：结构复杂性计算器，所述结构复杂性计算器用于计算输入图像的输入图像结构复杂性的衡量；信号质量计算器，所述信号质量计算器用于计算所述输入图像的信号质量的衡量；真实肯定的数据库，具有多个条目，其中，每一个条目都包括与多个真实肯定信号质量度量相关联的多个真实肯定结构复杂性度量；结构相似性计算器，所述结构相似性计算器用于在所述数据库的给定的条目中检索所述多个真实肯定结构复杂性度量中的一个或多个真实肯定结构复杂性度量，并使用a)输入图像结构复杂性的衡量以及b)从所述数据库中检索到的所述一个或多个真实肯定结构复杂性度量来计算结构相似性度量；以及信号质量比较器，所述信号质量比较器用于执行所述输入图像的信号质量的衡量与从所述数据库中检索到的真实肯定信号质量度量之间的比较，其中，所述信号质量比较器用于响应于指示了足够的相似性的所述结构相似性度量以根...

【专利技术属性】
技术研发人员：J·E·卡维迪斯，S·L·吴，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US