图像的感知分割制造技术

本发明专利技术的方法和系统实施例旨在提供对于数字编码的图像中的区域的自动化识别，所述区域对应于在数字编码的图像中捕获的场景的对象和特征，所述自动化识别是一种称为图像的“感知分割”的过程。首先通过各种区域识别或分割方法中任何一种来识别图像中的区域或片段。对于每个区域或片段，采用该区域或片段中的像素的特征来计算一个或多个片段特征。该片段特征又被用于将该区域或片段识别为属于特定类型的区域或片段，以及然后相应地将所述区域标注或标记为确定类型的区域或片段。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像处理，以及更具体地涉及识别对应于天空、人类面部、人类皮肤、 植被和图像内能够通过一个或多个计算度量或特性来识别的其他此类经常遭遇的类型的 区域的图像区域的方法和系统。
技术介绍
自动化图像处理在数十年来已经成为广泛研究的对象，以及图像处理方法已经被 广泛和有利地应用于很多问题领域。随着便宜的数字相机以及便宜且广泛可用的用于在消 费者之间传输数字图像以及用于通过因特网向消费者传输数字图像和视频的装置的到来， 在现代数字相机、个人计算机、工作站和其他消费者电子设备和系统中越来越频繁地包括 图像处理部件和系统。存在很多不同类型的图像处理方法和系统，且从在大型分布式高吞吐量计算机系 统上执行的工业图像处理系统到在手持式消费者电子设备中执行的图像处理例程的小集 合，图像处理系统在复杂性和费用上发生变化。很多图像处理方法和系统专用于二维照相 图像和视频帧的再现、复原和增强，而其他类型的图像处理系统则致力于为了广泛多种不 同的目的对数字图像和视频流中的对象和事件进行自动化辨识，所述广泛多种不同的目的 包括图像和视频分类、存储、和检索、自动化监测、自动化监视和跟踪系统，以及各种其他目 的。在图像和视频帧的复原和增强中以及对于自动化视觉系统，用于识别和标记图像 中特定类型的区域和特征的能力通常是有用的，且在某些应用中甚至可能是关键的。已经 开发了很多不同的方式和方法，例如用于辨识图像中的人类面部以及对应于天空和其他经 常遭遇的对象和特征的图像的区域。如在多数计算过程中那样，在用于应用图像处理技术 的计算开销和处理时间与图像和视频帧中的自动区域和对象识别的正确度、精度和鲁棒性 之间存在基本权衡。在某些情况下，需要高精度和正确度，而分析和处理的时间不那么重 要。在这些情况下，能够应用一个或多个计算上开支高且耗时的分析方法，以及可以重复分 析和处理并对根据不同技术所得的结果进行比较和对照以便获得最大可能正确度和精度。 在其他情况下，诸如在消费者电子设备中视频帧的实时处理中，能够专用于图像处理的计 算开销和时间的量非常受限，并且主要目标是在严格的时间和计算约束下获得所能获得的 最高精度和正确度。图像处理研究者、消费电子设备和图像处理系统的制造商和分销商、和 消费电子设备的用户以及图像和图像相关服务的消费者，均认识到对于下述图像处理方法 和系统的持续发展的需求，所述图像处理方法和系统能够提高自动化对象和特征辨识的正 确度和精度，以及能够以计算高效和时间高效的方式提供自动化对象和特征辨识。
技术实现思路
本专利技术的方法和系统实施例旨在提供对于数字编码的图像中的区域的自动化识 别，所述区域对应于在数字编码的图像中捕获的场景的对象和特征，所述自动化识别是一种称为图像的“感知(perc印tual)分割”的过程。首先通过各种区域识别或分割方法中任 何一种来识别图像中的区域或片段。对于每个区域或片段，采用该区域或片段中的像素的 特征来计算一个或多个片段特征。该片段特征又被用于将该区域或片段识别为属于特定类 型的区域或片段，以及然后相应地将所述区域标注或标记为确定类型的区域或片段。附图说明图1和图2示出本专利技术的一个图像处理方法的应用。图3提供了示出根据本专利技术一个实施例的、用于识别图像中特定类型的区域的一 种方式的控制流程图。图4示出典型的数字编码的图像。图5A-D示出四种不同的颜色模型。图6示出在图像的二维空间中和在三维RGB颜色空间中像素的相对位置的概念。图7示出包括暗方形区域的图像的部分。图8示出在连续数学中利用▽算子生成的梯度矢量的离散的基于图像的类似物 (analog)ο图9A-B示出二维矩阵中用于每个像素的一种类型的纹理度量的计算。图10示出与二维图像中的像素的四维矢量表示相关的某些计算。图11示出在两组矢量之间的距离或相似性的度量。图12A — C示出本专利技术的某些实施例使用的分割过程的初始迭代。图13A — C提供了示出被用作本专利技术的某些方法和系统实施例的第一步骤的用于 图像分割的一种方式的控制流程图。图14A — B示出图像中的天空区域的特定颜色特性。图15提供了用于在图3的步骤306中调用的例程“标记图像”的高级控制流程图。图16A-H提供了用于在图15的步骤1504中调用的例程“标记天空和雪”的控制 流程图。图17示出包括人类面部和人类皮肤区域的例示图像。图18示出包括图17中所示的图像中的面部的矩形区域。图19示出最初在图17中示出的图像的图18中所示的矩形区域中的像素的划分。图20A-D示出一种用于基于最近邻居的像素分类分配的方式。图21示出用于图18和19中所示的图像的矩形部分的最近邻居处理的结果。图22示出通过向图18、19和21中所示的图像的矩形区域应用面部特定颜色模型 所获得的面部皮肤图(map)。图23示出图27中所示的原始图像中的标记后的面部和皮肤片段。图M-27提供用于图15的步骤1506中调用的例程“标记面部和皮肤”的控制流 程图。图28A-B提供在两种不同类型的图像区域中的局部方向性的直方图。图四-31提供用于图15的步骤1508中调用的例程“标记植被”的控制流程图。图32示出像素特征的概念。图33示出各种类型的片段特征。8图34提供了用于表示本专利技术的一般实施例的一般感知分割方法的控制流程图。图35示出用于识别图像中的区域的例程。具体实施例方式本专利技术针对辨识和识别数字编码图像中与图像中捕获的场景中的特定类型的对 象和特征对应的对象和区域，所述对象和区域包括天空、人类面部、人类皮肤、植被以及其 他此类对象和区域。图1和2示出本专利技术的一种图像处理方法的应用。图1示出一个男人 坐在湖或水湾附近草坪上的公园长凳上的数字编码照片的视觉再现。图2示出图1中所示 的图像中对应于皮肤、天空和植被的区域的分类或标记。没有对对应于公园长凳和男人衣 着的图像的区域202以及对应于水的图像的区域204进行分类。但是，给定适当的特性集 以及采用特性集的方法，能够通过本专利技术的扩展实施例对对应于水、衣着、加工过的木头以 及其他此类对象和特征的图像区域另外进行分类。图像区域的分类或标记，诸如图2中所示的分类，对于广泛多种另外的图像处理 相关方法以及对于各种计算机视觉应用和图像规类应用来说是至关重要的。例如，图1中 所示的图像中的广阔的天空和植被区域的存在会允许将图像自动分类为室外场景。这种分 类在对于图像和视频的自动化存储和检索以及搜索中是有用的。作为另一示例，能够采用 各种图像处理技术来为消费者增强数字图像，包括锐化细节、执行以消除噪声以及图像捕 获相关像差的平滑操作、以及其他此类处理技术。通过将图像的区域适当地分类为对应于 皮肤、天空和植被，如图2中所示，能够对每个分类区域应用适于特定类型的对象和特征的 不同处理技术。例如，很多消费者更喜欢照片中经过平滑和蓝色归一化的天空，但是还更喜 欢植被区域被锐化以提供精细、明锐的细节。类似地，很多消费者更喜欢经过平滑的身体皮 肤和面部皮肤区域，以便削弱或去除图像捕获相关像差，包括色差、噪声和小细节，而同时 又更喜欢保留和增强某些提供关于情绪和表情的信息的面部特征(诸如眼睛)的精细细节。 因此，图像中区域的分类允许向那些区域应用区域类型特定图像增强方法。作为又一示例， 本文档来自技高网...

【技术保护点】
１．　一种感知分割系统，包括：计算机；以及一个或多个感知分割程序，其存储在所述计算机内并由所述计算机执行，所述感知分割程序：识别图像中的区域；对于每个识别的区域，为所述区域中的像素计算或获取一个或多个像素特征值中的每一个，使用为所述区域中的像素计算或获取的该一个或多个像素特征值，计算一个或多个区域特征值，以及使用所述一个或多个区域特征值，确定所述区域的区域类型并将所述区域类型与所述区域相关联；以及存储所述区域类型与区域的关联，以供在后续图像处理任务中使用。

【技术特征摘要】
【国外来华专利技术】1.一种感知分割系统，包括 计算机；以及一个或多个感知分割程序，其存储在所述计算机内并由所述计算机执行，所述感知分 割程序识别图像中的区域； 对于每个识别的区域，为所述区域中的像素计算或获取一个或多个像素特征值中的每一个， 使用为所述区域中的像素计算或获取的该一个或多个像素特征值，计算一个或多个区 域特征值，以及使用所述一个或多个区域特征值，确定所述区域的区域类型并将所述区域类型与所述 区域相关联；以及存储所述区域类型与区域的关联，以供在后续图像处理任务中使用。2.根据权利要求1所述的感知分割系统，其中，存储在所述计算机内并由所述计算机 执行的所述一个或多个感知分割程序通过如下步骤来识别图像中的区域识别第一组区域，所述第一组区域中的每个区域具有低于初始边缘度阈值的测量的边 缘度，其中，将边缘度测量为对于每个区域计算的平均梯度幅值；以及 迭代地，提升所述边缘度阈值，识别下一组区域，所述下一组区域中的每个区域具有低于当前边缘度阈值的测量的边 缘度；以及当对于任何区域对，该对区域的两个区域的相似度的度量大于阈值且该两个区域的邻 近度的度量大于邻近度阈值时，将所述下一组区域中的任何区域成对地与先前识别的区域 融合，直到图像的所有部分被合并到区域内。3.根据权利要求1所述的感知分割系统，其中，存储在计算机内并由所述计算机执行的所述一个或多个感知分割程序进一步通 过以下步骤来识别图像中的区域 迭代地，为图像中的每对区域计算两个区域之间的距离，以及将具有最小的计算的距离的高达最大数量的区域对融合到对应的单个区域内，直到获 得期望数量η个区域，η个得到的区域构成初始片段； 其中，所述图像被数字编码为像素的阵列；其中，每个像素与三个颜色模型分量以及计算为图像中的该像素的局部熵的纹理分量 相关联，所述三个颜色模型分量和所述纹理分量构成四维矢量的分量；以及其中，在两个区域之间的距离是马氏距离、平方马氏距离、或根据在为两个区域中的每 个区域计算的平均四维矢量之间的马氏距离计算的值。4.根据权利要求1所述的感知分割系统，其中，存储在计算机内且由所述计算机执行 的所述一个或多个感知分割程序通过如下步骤来识别图像中的区域为图像的每个像素计算局部梯度幅值；以及 选择具有最大的局部梯度幅值的像素作为分离区域的边界像素。5.根据权利要求1所述的感知分割系统，其中，存储在计算机内且由所述计算机执行 的所述一个或多个感知分割程序通过如下步骤来识别图像中的区域对于许多特定对象识别方法中的每种方法，应用所述对象识别方法来定位图像中特定类型的对象的出现；以及对通过所述对象识别方法识别的两个或更多对象的重叠的任何区域进行去模糊。6.根据权利要求1所述的感知分割系统，其中，与像素相关联的像素特征包括以下的 一个或多个一个或多个固有的像素特征，包括 灰度值，以及根据颜色模型指定像素的颜色的三个值； 一个或多个数值，其指定图像中像素的空间位置；根据所述像素和位于所述像素的邻域中的附加像素的像素特征值计算的数值；以及 通过将一个或多个固有的像素值与像素特征值的模型或分布进行比较所计算的数值。7.根据权利要求1所述的感知分割系统，其中，与片段或区域相关联的片段特征包括 以下的一个或多个根据在所述片段或区域中的像素的像素特征值计算的平均值、中值或其他数学值；为所述片段或区域计算的面积；为所述片段或区域计算的相对面积；指定图像中的所述片段或区域的位置的数值；指示图像中的区域的定向的一个或多个数值；为所述片段或区域计算的形态特性；通过将根据所述片段或区域中的像素的像素特征值所计算的值与模型或分布进行比 较所计算的值；根据所述像素和位于所述像素的邻域中的附加像素的像素特征值所计算的数值； 通过将一个或多个固有的像素值与像素特征值的模型或分布进行比较所计算的数值；以及根据所述片段或区域和位于所述片段或区域的邻域中的附加片段或区域的片段特征 值所计算的数值。8.根据权利要求1所述的感知分割系统，其中，存储在计算机内并由所述计算机执行的所述一个或多个感知分割程序为所述图 像计算全局统计量；其中，存储在计算机内并由所述计算机执行的所述一个或多个感知分割程序为图像的 每个片段或区域计算 每片段统计量，所述片段对应于图像的蓝色天空区域的概率P (蓝色天空)， 所述片段对应于图像的灰色天空区域的概率P (灰色天空)，以及 所述片段对应于图像的雪区域的概率P(雪)；以及其中存储在计算机内并由所述计算机执行的所述一个或多个感知分割程序使用所计 算的概率P(蓝色天空)、P(灰色天空)以及P(雪)识别和标记图像中对应于天空区域的片段。9.根据权利要求8所述的感知分割系统，其中，为片段计算的概率P(蓝色天空)与下述因素相关图像中所述片段的位置，片段 中的颜色，片段的尺寸，为所述片段计算的纹理，为所述片段计算的强度，以及所述片段内 沿着两条正交迹线的颜色变化与蓝色天空的期望颜色变化的对应性；其中，为片段计算的概率P(灰色天空)与下述因素相关图像中所述片段的...

【专利技术属性】
技术研发人员：R·伯格曼，H·纳赫利利，G·拉肯施泰因，
申请(专利权)人：惠普开发有限公司，
类型：发明
国别省市：US