使用边界位图对图像分类的改善制造技术

本文公开了用于用边界位图来改善图像分类的方法、系统、装置和制品。示例性公开的装置包括：轮廓引擎(110)，其用于：识别所述图像内的前景轮廓；基于所述前景轮廓的边界来生成边界框；以及生成识别前景的单元格和背景的单元格的编码的轮廓矩阵；卷积单元格选择器(112)，其用于对所述编码的轮廓矩阵进行卷积以生成卷积的位图矩阵；以及过滤单元格选择器(116)，其用于通过以下操作识别所述卷积的位图矩阵的合格块来改善图像分类效率：保留满足单元格保留门限的所述卷积的位图矩阵的第一相应单元格；以及去除不满足所述单元格保留门限的所述卷积的位图矩阵的第二相应单元格。

Improvement of image classification using boundary bitmap

This paper discloses methods, systems, devices and products for improving image classification with boundary bitmaps. Examples of disclosed devices include: a contour engine (110) for: recognizing the foreground contour in the image; generating a boundary box based on the boundary of the foreground contour; and generating a coded contour matrix for identifying the foreground cell and the background cell; and a convolution cell selector (112) for convoluting the coded contour matrix to generate a convolution bitmap. Matrix; and filter cell selector (116), which is used to improve image classification efficiency by identifying qualified blocks of the convoluted bitmap matrix through the following operations: retaining the first corresponding cell of the convoluted bitmap matrix satisfying the cell retention threshold; and removing the second corresponding cell of the convoluted bitmap matrix that does not satisfy the cell retention threshold.

【技术实现步骤摘要】
【国外来华专利技术】使用边界位图对图像分类的改善相关申请本专利要求享有于2016年6月6日提交的题为“SpeedImprovementofObjectRecognitionUsingBoundary-BitmapofHistogramofOrientedGradients”的序列号为62/346,065的美国临时申请的利益和优先权。序列号为62/346,065的美国临时申请的全部内容在此通过引用方式并入本文。
概括而言，本公开内容涉及图像分类，并且更具体而言，涉及用边界位图来改善图像分类的方法、系统和装置。
技术介绍
近年来，已经使用不同的方法实现了图像分类，所述方法包括定向梯度直方图(HoG)分类器。由示例性HoG分类器生成的特征描述符用于例如计算机视觉系统中以检测静态图像和/或视频中的人、动物和/或对象。一般而言，分类器被训练以借助于学习系统(例如，采用支持向量机(SVM)算法的学习系统)来检测这样的对象。因此，分类技术有时被称为HoG/SVM分类系统。附图说明图1是根据本公开内容的教导构造的用于用边界位图来改善图像分类的示例性分类加速器的示意图。图2A是用于生成用于由图1的示例性分类加速器实现的图像分类的描述符的示例性定向梯度直方图(HoG)过程的示意图。图2B是示例性网格的图示。图3是由图1的示例性分类加速器生成的示例性轮廓窗口的图示。图4是具有边界框以在图2的HoG过程期间裁减示例性HoG检测窗口的示例性HoG检测位图的图示。图5是由图1的示例性分类加速器生成的示例性编码的轮廓矩阵的图示。图6是由图1的示例性分类加速器生成的示例性卷积的位图矩阵的图示。图7是由图1的示例性分类加速器生成的示例性贡献块(CB)矩阵的图示。图8是由图1的示例性分类加速器生成的示例性合格块矩阵的图示。图9-12是表示示例性机器可读指令的流程图，所述指令可以被执行以实现图1的示例性分类加速器以用边界位图来改善图像分类。图13是被组织为执行图9-12的示例性机器可读指令以实现图1的示例性分类加速器的示例性处理器平台的框图。附图未按比例绘制。具体实施方式检测图像、视频和/或实况视频馈送(例如，流式传输视频)中的对象的工作经常用被训练以检测这样的对象的分类器来完成。在一些示例中，对象包括人脸、人类轮廓、动物、车辆和/或其他类型的对象。在一些示例中，定向梯度直方图(HoG)应用训练图像和学习系统以识别对象和/或以其他方式对对象进行分类。在一些示例中，HoG与支持向量机(SVM)结合应用以对图像中的对象进行分类(在本文中被称为HoG/SVM)。这样的方法的示例描述于NavneetDalal和BillTriggs的“Histogramsoforientedgradientsforhumandetection”，InternationalConferenceonComputerVisionandPatternRecognition(CVPR'05)，June2005，SanDiego，UnitedStates，IEEEComputerSociety，pp.886-893，2005，其全部内容在此通过引用方式并入本文。如以下更详细地描述的，HoG/SVM评估HoG检测窗口中的候选图像的一部分，并且计算特定单元格内的每个像素的梯度值，创建直方图，管理分组(binning)，将单元格描述符聚合成块描述符，并规范化与SVM分类器一起使用(馈入SVM分类器)的块描述符。一般而言，HoG促进候选图像的特征提取以产生一个或多个组合特征向量(HoG描述符)，其在被提供给传统SVM窗口分类器时，促进对象检测/辨识。图1示出了用于用边界位图来改善图像分类的示例性分类加速器100。在图1所示的示例中，分类加速器100包括图像数据接口102、边界位图引擎104和HoG/SVM引擎106。示例性分类加速器100经由网络134通信地连接到一个或多个SVM资源132。示例性边界位图引擎104包括示例性边界标识符108、示例性轮廓引擎110、示例性卷积单元格选择器112、示例性窗口引擎114、示例性过滤单元格选择器116、示例性过滤门限引擎118和示例性边界封装器120。在图1所示的示例中，HoG/SVM引擎106包括示例性梯度计算器122、示例性分组(bin)管理引擎124、示例性单元格描述符引擎126、示例性单元格描述符规范化器128和示例性分类接口130。响应于示例性图像数据接口引擎102获得和/或以其他方式检索候选图像，HoG/SVM引擎106的示例性梯度计算器122计算梯度值(例如，幅度梯度和定向梯度)。在该示例中，HoG/SVM引擎106实现用于计算梯度值的手段。然而，可以使用等同的结构来实现用于计算梯度值的手段。一般而言，通过评估局部强度梯度和/或边缘方向的分布，可以更好地表征候选图像内的局部对象。梯度|G|的幅度由示例性梯度计算器122以与示例性等式1一致的方式计算。|G|＝|Gx|+|Gy|＝|Gx+1-Gx-1|+|Gy+1-Gy-1|等式1在等式1的所示示例中，根据相邻像素的强度值来计算梯度|G|的幅度，并且通过示例性梯度计算器122以与示例性等式2一致的方式计算定向角θ。θ＝arctan(|Gy+1-Gy-1|/|Gx+1-Gx-1|)等式2在等式1和2的示例中，梯度计算器122实现用于计算梯度和定向角的手段。然而，可以使用等同的结构来实现用于计算梯度和定向角的手段。为了说明，图2A中示出了示例性HoG/SVM过程200。在图2A所示的示例中，示例性图像数据接口引擎102获取用于分析的候选图像，并且选择该图像的一部分作为HoG检测窗口202。图2A的示例性HoG检测窗口202是64像素宽×128像素高的(默认情况下，在该示例中)，但是可以替代地使用其他尺寸。图2A的示例中的示例性HoG检测窗口202的每个单元格204是2n×2n(其中，n>0且2n<最小窗口宽度/高度)的8×8像素网格，并且示例性梯度计算器122使用例如如以上描述的等式来计算它们的幅度和定向值。为了创建直方图，示例性分组管理引擎124将计算出的定向角(θ)分解和/或以其他方式分配到目标数量的分组中。在该示例中，分组管理引擎124实现用于分配的手段，但是其可以使用等同的结构来实现。在图2A所示的示例中，通过示例性分组管理引擎124来将0°至180°的范围分解成九个20°的分组。另外，示例性分组管理引擎124将每个强度值添加到与相应定向角相关联的相应分组以创建示例性HoG单元格描述符206(例如，将幅度匹配到定向的直方图)。图2A的示例性HoG单元格描述符206被表示为直方图并且包括九(9)个值，每个所述值具有最小值零，并且最大值是最大像素强度值的128倍。在该示例中，分组表示定向，分组的高度表示对应的定向角的幅度。示例性单元格描述符引擎126聚合2×2单元格块208的所有单元格描述符(直方图)206。注意到，因为单元格描述符引擎126使用单元格块208，所以不在示例性HoG检测窗口202的边缘上的任何HoG单元格204都将出现在四个不同的单元格块208中，以使得对应的单元格描述符206将在四个不同的块描述符210中被表示，如虚线箭头209所示。例如，图2B中的块1本文档来自技高网...

【技术保护点】
1.一种用于分析图像的装置，所述装置包括：轮廓引擎，其用于：识别所述图像内的前景轮廓；基于所述前景轮廓的边界来生成边界框；以及生成识别前景的单元格和背景的单元格的编码的轮廓矩阵；卷积单元格选择器，其用于对所述编码的轮廓矩阵进行卷积以生成卷积的位图矩阵；以及过滤单元格选择器，其用于通过以下操作识别所述卷积的位图矩阵的合格块来改善图像分类效率：保留满足单元格保留门限的、所述卷积的位图矩阵的第一相应单元格；以及去除不满足所述单元格保留门限的、所述卷积的位图矩阵的第二相应单元格。

【技术特征摘要】
【国外来华专利技术】2016.06.06 US 62/346,0651.一种用于分析图像的装置，所述装置包括：轮廓引擎，其用于：识别所述图像内的前景轮廓；基于所述前景轮廓的边界来生成边界框；以及生成识别前景的单元格和背景的单元格的编码的轮廓矩阵；卷积单元格选择器，其用于对所述编码的轮廓矩阵进行卷积以生成卷积的位图矩阵；以及过滤单元格选择器，其用于通过以下操作识别所述卷积的位图矩阵的合格块来改善图像分类效率：保留满足单元格保留门限的、所述卷积的位图矩阵的第一相应单元格；以及去除不满足所述单元格保留门限的、所述卷积的位图矩阵的第二相应单元格。2.根据权利要求1所述的装置，其中，所述过滤单元格选择器用于通过以下操作来生成贡献块矩阵：用保留指示符来对所述贡献块矩阵的所述第一相应单元格进行编码，以及用丢弃指示符来对所述贡献块矩阵的所述第二相应单元格进行编码。3.根据权利要求2所述的装置，还包括边界封装器，其用于识别所述保留指示符中的相应保留指示符的外周边，以生成合格块矩阵。4.根据权利要求3所述的装置，还包括分类接口，其用于用所述合格块矩阵来掩蔽检测窗口，所述掩蔽用于减少要在图像分类中处理的块的数量。5.根据权利要求1所述的装置，还包括分类接口，其用于将所述卷积的位图矩阵的所保留的第一相应单元格提供给定向梯度分类器的直方图。6.根据权利要求1所述的装置，还包括窗口引擎，其用于：将全一矩阵内核卷积到所编码的轮廓的相应单元格；以及计算用于所编码的轮廓的所述相应单元格的所述全一矩阵内核内的前景单元格的总和。7.根据权利要求6所述的装置，其中，所述卷积单元格选择器用于用所述卷积的位图矩阵的相应单元格中的所述总和来对所述卷积的位图矩阵进行编码。8.根据权利要求1所述的装置，其中，所述单元格保留门限包括基于矩阵内核大小或重叠步长中的至少一个的值。9.根据权利要求2、5、6或8中任一项所述的装置，还包括分组管理引擎，其用于分配所述图像的定向角以形成图像幅度的直方图。10.根据权利要求2、5、6或8中任一项所述的装置，还包括单元格描述符引擎，其用于将图像单元格的直方图聚合到所述图像的相应块。11.根据权利要求2、5、6或8中任一项所述的装置，还包括边界封装器，其用于识别所述图像的边界位图区域，所述边界位图区域指示要参与图像分类的减少数量的图像单元格。12.一种用于分析图像的方法，所述方法包括：通过用处理器来执行指令，识别所述图像内的前景轮廓；通过用所述处理器来执行指令，基于所述前景轮廓的边界来生成边界框；通过用所述处理器来执行指令，生成用于识别前景的单元格和背景的单元格的编码的轮廓矩阵；通过用所述处理器来执行指令，对所述编码的轮廓矩阵进行卷积以生成卷积的位图矩阵；通过用所述处理器来执行指令，通过以下操作识别所述卷积的位图矩阵的合格块来改善图像分类效率：(a)保留满足单元格保留门限的、所述卷积的位图矩阵的第一相应单元格，以及(b)去除不满足所述单元格保留门限的、所述卷积的位图矩阵的第二相应单元格。13.根据权利要求12所述的方法，还包括通过以下操作来生成贡献块矩阵：用保留指示符来对所述贡献块矩阵的所述第一相应单元格进行编码，以及用丢弃指示符来对所述贡献块矩阵的所述第二相应单元格进行编码。14.根据权利要求13所述的方法，还包括：识别所述保留指示符中的相应保留指示符的外周边，以生成合格块矩阵。15.根据权利要求14所述的方法，还包括：用所述合格块矩阵来掩蔽检测窗口，所述掩蔽用于减少要在图像分类中处理的块的数量。16.根据权利要求12所述的方法，还包括：将所述卷积的位图矩阵的所保留的第一相应单元格提供给定向梯度分类器的直方图。17.根据权利要求12所述的方法，还包括：将全一矩阵内核卷积到所编码的轮廓的相应单元格；以及计算用于所编码的轮廓的所述相应单元格的所述全一矩阵内核内的前景单元格的总和。18.根据权利要求17所述的方法，还包括：用所述卷积的位图矩阵的相应单元格中的所...

【专利技术属性】
技术研发人员：D·莫洛尼，A·德加尼，
申请(专利权)人：线性代数技术有限公司，
类型：发明
国别省市：爱尔兰,IE