超像素推进型自上而下图像识别方法和系统技术方案

本发明专利技术公开了超像素推进型自上而下图像识别方法和系统。提供了用于实现超像素推进型自上而下图像识别架构的系统和方法。该架构利用包含共有类似特性的连续像素区域的超像素。在此所述的特征提取方法提供用于分类模型建立的无冗余图像特征矢量。所提供的架构将数字图像区分成多个超像素。数字图像通过基于多个超像素的图像特征提取方法被表征。图像分类模型根据所提取的图像特征和地面真值标签被生成并随后被用来对其它数字图像进行分类。

【技术实现步骤摘要】

本公开涉及用于数字图像数据分类的系统和方法。
技术介绍
传统的计算机实现的自上而下(top-down)的图像识别方法基于从数字图像中的像素的子集中提取的特征来建立分类模型。具体像素的特征是从具体像素以及包含相邻像素的周边特征提取区域这两者中提取的。人类用表示每个像素或像素区域的分类的地面真值(ground truth)来标记被从其提取特征的数字图像。已标记图像随后与提取的特征相结合被用来建立用于对新图像的特征进行自动分类的模型。传统的自上而下的图像识别架构(framework)依赖于在模型训练阶段期间用于特征提取的随机确定的像素和特征提取区域。使用随机确定的像素的传统的特征提取技术容易实现，但是具有若干缺点。随机确定的特征提取区域有可能重叠，使得一些图像数据会被冗余采样。随机确定的特征提取区域可能不会覆盖整个图像，并且随后生成的模型因此会具有数据缺口。随机确定的特征提取区域还会遭受它们的组成像素的特性的不均匀的不利影响。在传统的自上而下的图像识别架构的分类阶段中，对包含百万像素的数字图像分类是费时的任务。
技术实现思路
在此公开了用于处理数字图像的方法和系统。符合本公开的一个实施例利用超像素推进型(superpixel boosted)特征提取技术和分类方法来实现超像素推进型自上而下图像识别架构。一种计算机实现的特征提取方法用于用于生成数字图像的分类模型，该方法由包括至少一个处理器和至少一个存储器的系统执行，该方法包括如下步骤由该系统基于像素特性来将数字图像区分成多个超像素，每个超像素包含多个像素；由该系统确定多个超像素的多个中心像素；由该系统表征多个超像素的多个中心像素；由该系统通过将多个中心像素的特征与多个地面真值相关联来生成分类模型，其中多个地面真值与多个图像分类相关联；以及由该系统输出用于对第二数字图像的像素中的所有像素或一些像素进行分类的分类模型。附图说明结合在该说明书中并构成其一部分的附图与描述一起用来说明在此所述的专利技术的原理。图I图示出用于在传统的自上而下的图像识别架构中使用的图像训练数据集的结构。图2图示出传统的特征提取技术中的随机确定的像素位置和特征提取区域。图3图示出符合在此所述的原理的用于在超像素推进型自上而下图像识别架构中使用的超像素图像训练数据集的示例性结构。图4是通过多个超像素区分的示例性超像素化图像。图5a至图5c图示出符合本公开的示例性超像素推进型特征提取技术。图6是图示出符合本公开的用于实现超像素推进型自上而下图像识别模型训练的示例性方法的步骤的流程图。图7是图示出符合本公开的用于实现超像素推进型自上而下图像识别分类的示例性方法的步骤的流程图。图8图示出用于实现所公开的方法和技术的示例性系统。具体实施例方式现在将详细参考附图中所图示的示例性实施例。只要可能，在整个附图和以下描述，相同的标号指代相同或类似的部分。这些实施例被充分详细地描述以使得本领域技术人员能够实行本专利技术，并且应当理解，在不偏离本专利技术的范围的情况下，可以利用其他实施例并且可以进行改变。因此，以下详细描述不应以限制性含义理解。这里所介绍的示例性超像素推进型图像识别技术可以是指用于说明目的的具体示例。应当理解，这些图像识别技术不限于用于任何特定类别或类型的数字图像。这里公开的示例性系统和方法使用超像素推进型图像识别架构来将自动或半自动特征提取的性能提高到传统的自上而下的图像识别结构的性能之上。超像素可以表征为共有类似特性(诸如颜色、纹理或亮度)的像素的无交集集合(disjoint collection)并且可以覆盖整个图像。超像素可以被用来更好地放置特征提取区域，或者它们本身可以用作特征提取区域。无交集超像素可以降低特征提取冗余。覆盖整个图像的超像素可以减少模型生成期间的数据缺口。包含共有类似特性的像素的超像素可以提高特征提取的特异性。 在分类任务期间，数字图像可以被逐超像素地分类，从而减少这样的任务所需要的时间。图I图示出用于在传统的自上而下的图像识别架构中使用的图像训练数据集100 的结构。图像训练数据集100可以包含已被操作员标记了地面真值150的多个数字训练图像101。每个地面真值150可以包含多个地面真值标签151。训练操作员可以检查包含数字训练图像101的多个像素的个别的像素或图像区域，并且基于个别的像素或区域的特性来指派地面真值150。操作员可以用多个地面真值150来标记将数字训练图像101的全部像素或一些像素，每个地面真值150包含多个标签151。数字训练图像101的已标记训练像素102中的全部或一些也可以由多个像素特征 110来表征，其中每个像素特征110具有不同的特征类型，诸如颜色类型或纹理特征类型。 每个像素特征110可以用多个特征描述符111来表征。表征每个像素的特征110和特征描述符111可以包含与像素本身有关的数据或者可以包含与局部或全局的相邻像素有关的数据。例如，指定的像素可以用颜色特征类型的颜色像素特征110来表征，颜色像素特征110可以包含多个颜色像素特征描述符111。颜色像素特征描述符111可以包含例如有关指定像素的颜色的信息或有关局部地或全局地在指定像素周边的像素的颜色的信息。已表征的数字训练图像101的已标记并已表征的训练像素102可以用将由图像识别架构利用的像素特征110中的全部或一些来表征。已表征像素102可以用多个特征110和多个地面真值150来表征，每一个地面真值150包含多个标签151。传统的图像特征提取技术可以从训练图像的像素102中的全部或一些中提取特征。 6图2图示出传统的特征提取技术中的随机确定的像素位置和特征提取区域201。 在传统的特征提取技术中，像素特征110被从随机采样的像素中提取来表征随机采样的像素。在传统的特征提取技术中，用来表征随机采样的像素的相邻像素通常来自方形特征提取区域201，如图2中所示。在图2中示出的传统的特征提取区域置换技术中，方形特征提取区域201以随机采样的像素为中心。传统的特征提取技术使用随机采样的像素以便降低从数字图像的所有像素中提取特征将需要的计算资源。如图2中所示，随机采样的方法具有若干缺点。因为特征提取区域201是随机安置的，因此它们可能相互重叠因而产生冗余，或者它们可能被安置得彼此相隔太远，并且因此无法从图像的特定部分收集信息。另外，提取区域201的随机放置忽视图像本身中的任何细节。图3图示出符合在此所述的原理的用于在超像素推进型自上而下图像识别架构中使用的超像素图像训练数据集300的示例性结构。在超像素推进型自上而下图像识别架构中，超像素训练图像301可以被区分为多个超像素303。如这里所使用的，超像素303表示共有类似特性的像素的连续的群组，类似特性诸如是颜色、纹理、亮度等。超像素303可以通过适当的图像分析技术来确定。例如，通过基于颜色和纹理分析来为图像的每个像素指派表示该像素位于目标边界的可能性的概率，可以确定超像素303。因此可以生成边界概率。随后，使用基于边界概率图的分段算法来确定最有可能的目标边界，从而可以生成超像素。图像所需要的超像素的数目可以基于例如纹理图像细节的分布的密度的不同而不同。超像素训练图像301的像素302可以用之前参考图I描述的特征110和地面真值 150来表征和标本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：王苏，戴声扬，中村章，大桥武史，横野顺，
申请(专利权)人：索尼公司，
类型：发明
国别省市：