检测图像中的对象的方法、装置，及包括该装置的系统制造方法及图纸

提供一种在待检测图像中检测特定对象的方法，包括：特征获取步骤，用于获取待检测图像的图像特征；和，检测步骤，用于利用与不同尺寸的检测窗口中的至少一部分检测窗口相对应的多种尺寸的分类器，根据所述获取的图像特征对所述待检测图像的不同尺寸的检测窗口进行检测，以便确定在待检测图像中是否存在特定对象并给出所述特定对象在所述待检测图像中的位置。还提供进行对象检测的装置及其包含该装置的系统。本发明专利技术的在待检测图像中检测特定对象的方法、装置及系统可改善对象检测的精确度，并且此外还能提高对象检测的速度。

【技术实现步骤摘要】

本专利技术总体上来说涉及图像处理的
，更具体地说，本专利技术涉及检测图 像 中的特定对象的方法、装置，以及包括该对象检测装置的系统。
技术介绍
一般说来，图像可分为静态图像和动态视频图像。在动态视频图像或者静态图像 中检测目标(即特定对象)有两类方法，第一类是采用静态图像特征建立区分目标与背景 的分类器，用该分类器来在图像中检测目标或对象。对于动态视频图像则对每一帧视为一 幅静态图像进行检测。第二类是结合图像的静态特征与视频图像的帧间相关性、运动、声音 等信息来检测视频图像中的特定对象。其中上述第一类静态的方法是在图像中进行特定对 象检测的基础。^t Viola P, Jones M J, Rapid Object Detection Using a Boosted Cascade of Simple Features，，，Proc. of International Conference on Computer Vision and Pattern Recognition，2001，1 :511_518 (参考文献1 )中，釆用类哈尔(Haar-Iike)矩形 特征来检测静态图像中的目标，用boost (提升)的方法自动挑选釆用的特征。在 Viola P, Jones M J, Snow D, Detecting pedestrian using patterns of motion and appearance”，Computer Vision，2003. 734-741 (参考文献2)中，对于视频 中的行人，Viola认为人的运动具有独特的特征，从帧间差分图和变形的差分图中可以提取 关于运动的方向幅度的特征，与静态特征一起进行训练从而得到分类器，但不能用于镜头 运动的情况。在Lienhart R,Maydt J. ,An extended set of Haar-Iike features for rapid object detection”，IEEE ICIP，2002 (参考文献3)中将静态图像的矩形特征进行推广， 加入倾斜45度的多边形等特征，这些Haar-Iike特征和矩形特征一样，都是对矩形块内所 有像素的特征量求取总和，并不考虑块内的特征分布情况。在 N. Dalal, B. Triggs, Histograms of Oriented Gradients for Human Detection，，，Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005 :886_893 (参考文献4)中采用方向性梯度直方图(HOG)的 特征检测图像中的行人，对目标各个位置都求取梯度，对各方向的梯度求和并求取区域之 间的梯度总和比例作为特征，采用SVM(支持向量机)进行训练。由于直方图具有统计的意 义，能够适应目标在小范围和角度内的变化。在 N. Dalai, B.Triggs, and C. Schmid, Human Detection Using Oriented Histograms of Flow and Appearance, , Proc. European Conference on Computer Vision, 2006 (参考文献5)中对视频的光流场取方向性直方图特征来获取行人的运动特征，结合 静态的方向性梯度直方图来检测。方向性梯度直方图也是基于矩形块的特征，统计块内特 征的总和，并计算块之间的特征分配比例，同样也不考虑块内特征的分布情况。在 Qiang Zhu, Shai Avidan, Mei-Chen Yeh, Kwang-Ting Cheng，“ Fast HumanDetection Using a Cascade of Histograms of Oriented Gradients ,Proc.IEEE Conf. Computer Vision and Pattern Recognition, vol. 2, pp. 1491-1498, 2006 (参考文献6) 中给出了一种使用可变尺寸HOG特征的快速检测方法。这种方法先计算各方向梯度的积分 图，然后从积分图计算简化的HOG特征。该方法在检测不同尺寸的人的时候，采用改变特征 尺寸的办法而不是改变图像尺寸的办法。这样的做法实际上人为地改变了分类器，会造成 性能的损失。此外，该检测方法处理QVGA需要200ms左右，实时性不是很理想。顺便提及， QVGA是一种固定分辨率的英文缩写，Q是Quarter，即四分之一的意思；QVGA意指VGA的四 分之一尺寸，就是在屏幕上输出的分辨率是240X320像素。此外，由于分类器没有完美的性能，可能在没有对象的位置给出检测到对象的错 误响应，或者在一个对象周围给出多个检测响应，这就需要采用后处理方法来去除错误响 应和合并重复响应。在现有的对象检测方法中，通常确定利用分类器处理后得到的一系列 检测窗口之间的重叠度。然后，根据所确定的检测窗口之间的重叠度来对这些检测窗口进 行后处理以得到特定对象在待检测图像中的存在及其位置。具体而言，如果两个检测窗口 之间的重叠度小于一个预定的阈值，则认为该两个检测窗口与同一个特定对象有关，于是 将它们合并成一个与该特定对象相关的检测窗口。但是，这种方法的处理精度较低。此外， 这种方法对于在待检测图像中的特定对象存在部分重叠的情形效果也不佳。因为可能将与 不同的特定对象相对应的检测窗口判断为是与同一个特定对象相对应的检测窗口而进行 合并，从而无法将相互重叠的多个特定对象准确地区分开来。在作者为Navneet Dalal，名 称为〃 Finding people in images and videos，发表于2006年7月的博士论文中给出 了基于mean shift的后处理方法。该方法主要通过常用的寻找波峰的方法进行后处理，但 是对于靠近甚至部分重叠的对象(人)区分能力仍然较弱，且处理复杂，系统处理负荷重。 通过网址 http://lear. inrialpes. fr/pubs/2006/Dal06/Dalal-phd06. pdf 可获得该论文 的详细内容，其细节在此不再赘述。
技术实现思路
鉴于上述相关技术的现状，本专利技术的一个目的在于提供在图像中检测特定对象的 方法，本专利技术的其他目的在于提供在图像中检测特定对象的相关装置和系统。本专利技术所提 供的在图像中检测特定对象的方法、相关装置和系统可在对象检测的精确度方面获得改 善，并且此外，还可提高对象检测的速度，从而改善实时性。根据本专利技术的第一方面，提供一种在待检测图像中检测特定对象的方法，包括特 征获取步骤，用于获取待检测图像的图像特征；和，检测步骤，用于利用与不同尺寸的检测 窗口中的至少一部分检测窗口相对应的多种尺寸的分类器，根据所述获取的图像特征对所 述待检测图像的不同尺寸的检测窗口进行检测，以便确定在待检测图像中是否存在特定对 象并给出所述特定对象在所述待检测图像中的位置。根据本专利技术的第二方面，提供一种在待检测图像中检测特定对象的装置，包括特 征获取单元，本文档来自技高网...

【技术保护点】
一种在待检测图像中检测特定对象的方法，包括：特征获取步骤，用于获取待检测图像的图像特征；和检测步骤，用于利用与不同尺寸的检测窗口中的至少一部分检测窗口相对应的多种尺寸的分类器，根据所述获取的图像特征对所述待检测图像的不同尺寸的检测窗口进行检测，以便确定在待检测图像中是否存在特定对象并给出所述特定对象在所述待检测图像中的位置。

【技术特征摘要】
CN 2009-4-24 200910137371.3一种在待检测图像中检测特定对象的方法，包括特征获取步骤，用于获取待检测图像的图像特征；和检测步骤，用于利用与不同尺寸的检测窗口中的至少一部分检测窗口相对应的多种尺寸的分类器，根据所述获取的图像特征对所述待检测图像的不同尺寸的检测窗口进行检测，以便确定在待检测图像中是否存在特定对象并给出所述特定对象在所述待检测图像中的位置。2.如权利要求1所述的方法，其中，所述多种尺寸的分类器中的每一种尺寸的分类器 都具有与其尺寸相对应的样本图像库。3.如权利要求1或2所述的方法，还包括通过对所述多种尺寸的分类器中特定尺寸的分类器进行转换而得到与所述多种尺寸 的分类器不同的其他尺寸的分类器。4.如权利要求3所述的方法，其中，所述转换是加倍或分割处理。5.如权利要求1或2所述的方法，其中，在所述特征获取步骤中，预先产生所述待检测 图像的、与所述不同尺寸的检测窗口相关的所有尺寸的单元区域中至少一部分单元区域的 图像特征，由此构建所述待检测图像的图像特征集，使得可从所述图像特征集中获得所述 不同尺寸的检测窗口的图像特征中的至少一部分图像特征，其中，所述图像特征集包括所 述至少一部分单元区域的图像特征的值以及这些单元区域在所述待检测图像的整个区域 中的位置。6.如权利要求5所述的方法，其中，所述至少一部分单元区域包括所述待检测图像的 整个区域中至少一种特定尺寸的基本单元区域，以及，所述的构建待检测图像的图像特征 集的处理包括获得所述基本单元区域的图像特征，在所获得的该基本单元区域的图像特征的基础上 获得所述至少一部分单元区域中尺寸大于该基本单元区域的尺寸的单元区域的图像特征， 由此构建待检测图像的图像特征集。7.如权利要求6所述的方法，其中，通过如下方式中的至少一种来构建所述图像特征集将所述基本单元区域的图像特征经过多次简单相加得到尺寸是该基本单元区域的任 意整数倍的单元区域的图像特征；和将所述基本单元区域的图像特征经过多次迭代相加得到尺寸是该基本单元区域的任 意整数倍的单元区域的图像特征。8.如权利要求7所述的方法，其中，所述的多次迭代相加的处理包括将所述基本单元区域的图像特征经过简单相加获得尺寸大于该基本单元区域的尺寸 的第一单元区域的图像特征，将该第一单元区域的图像特征经过简单相加获得尺寸大于该 第一单元区域的尺寸的第二单元区域的图像特征，以此方式进行迭代相加，以便获得尺寸 是该基本单元区域的任意整数倍的单元区域的图像特征。9.如权利要求1或2所述的方法，其中，所述检测步骤中执行的确定在待检测图像中是 否存在特定对象并给出所述特定对象在所述待检测图像中的位置的处理包括对于通过根据所述获取的图像特征对所述待检测图像的不同尺寸的检测窗口进行检 测而得到的所有检测窗口中的n个候选检测窗口，通过聚类的方式进行合并处理，以便获得至少一个合并检测窗口，其中，所述候选检测窗口的权重大于预定的第一阈值T1，且n是 大于或等于1的自然数。10.如权利要求9所述的方法，其中，通过聚类的方式对所述n个候选检测窗口进行的 所述合并处理包括将所述n个候选检测窗口中的任意一个作为初始待合并检测窗口 wjiiode，从该n个候 选检测窗口中包含的其他所有候选检测窗口中选择出与该初始待合并检测窗口之间的相 似度差异小于预定的第二阈值T2的第m个候选检测窗口 w_m，并对该候选检测窗口 w_m与 该待合并检测窗口 wjnode进行第一轮合并过程以获得第一轮合并检测窗口，m是小于或等 于n的自然数；以迭代的方式执行合并过程，直到所获得的合并检测窗口不能再与该n个候选检测窗 口中未经合并的候选检测窗口合并为止，由此获得一个合并检测窗口，其中，将前一轮合并 过程得到的合并检测窗口作为本轮合并过程的待合并检测窗口，对该待合并检测窗口以及 该n个候选检测窗口中包含的未经合并的候选检测窗口中的、与该待合并检测窗口之间的 相似度差异小于所述预定的第二阈值T2的一个候选检测窗口进行本轮合并过程，以得到 本轮合并检测窗口 ；和如果该n个候选检测窗口中存在未经合并的候选检测窗口，则分别以所述未经合并 的候选检测窗口中的每一个作为初始待合并检测窗口，按所述迭代的方式执行所述合并过 程，以便获得至少一个合并检测窗口。11.如权利要求10所述的方法，其中，所述待合并检测窗口wjiiode与所述第m个候选 检测窗口 w_m之间的相似度差异S通过以下公式来计算 其中，所述待合并检测窗口 wjnode与所述第m个候选检测窗口 w_m满足下列关系 其中，(x_mode,y_mode)表示待合并检测窗口 wjnode的中心点在待检测图像中的绝对 位置坐标，r_mode表示待合并检测窗口 wjiidoe的高度或宽度相对于预定的标准高度或宽 度的比例，height_mode和widthjiiode分别是待合并候选检测窗口 w_mode的高度和宽度， (x_m,y_m)表示所述候选检测窗口 w_m的中心点在待检测图像中的绝对位置坐标，r_m表示 候选检测窗口 w_m的高度或宽度相对于所述标准高度或宽度的比例，height_m和width_m 分别是所述候选检测窗口 的高度和宽度。12.如权利要求11所述的方法，其中，通过将所述待合并检测窗口 wjiiode与所述第m 个候选检测窗口 进行合并过程获得的合并检测窗口的参数通过以下公式来计算 其中，公式左边的x-mode，yjnode和rjiiode表示通过合并过程获得的合并检测窗口的 参数，公式右边的x-mode，yjnode和r_mode表示待合并检测窗口的参数，pjnode和p_m分 别是待合并检测窗口 w_mode和所述第m个候选检测窗口 w_m的权重。13.如权利要求10所述的方法，其中，通过聚类的方式对所述n个候选检测窗口进行的 所述合并处理包括按照位置和尺寸相近的条件，将所述n个候选检测窗口划分为至少一个合并范围，以 及，对于每一个合并范围分别进行所述合并过程以获得至少一个合并检测窗口，其中，满足下列条件的第i个候选检测窗口 和第j个候选检测窗口 作为具有 相近的位置和尺寸的候选检测窗口而被划分到同一个合并范围中 |x_i_x_j| < difx ~k r_i, y_i-y_j < dify * r_j, |log(r_i)-log(r_j)| < difr其中，(x_i，y_i)和(X_j，y_j)分别表示候选检测窗口 和的中心点在待检测 图像中的绝对位置坐标，r_i和r_j分别表示候选检测窗口 和的高度或宽度相对 于所述标准高度或宽度的比例，difx, dify和difr是分别与x，y和r相关的常数，i，j是 大于或等于1的自然数，并且i彡n，j彡n ；以及其中，在对每一个合并范围分别进行所述合并处理时，在任意一个合并范围中，待合并 检测窗口 wjiiode与第1个候选检测窗口 之间的相似度差异S通过以下公式来计算 其中，(x_l，y_l)表示所述候选检测窗口 的中心点在待检测图像中的绝对位置坐 标，r_l表示候选检测窗口 的高度或宽度相对于所述标准高度或宽度的比例，height_l 和width_l分别是所述候选检测窗口 的高度和宽度，1是小于或者等于n的...

【专利技术属性】
技术研发人员：孟龙，吴伟国，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]