基于聚类的多模板行人检测方法技术

本发明专利技术公开了一种基于聚类的多模板行人检测方法，主要解决现有手工分类训练样本繁琐、检索结果不准确的问题。其实现步骤为：1.获取行人样本图像并归一化尺度；2.求取样本图像的梯度方向直方图特征；3.对行人样本聚类得到多个簇，根据这些簇的行人样本生成多组训练数据集，用这些训练数据集训练分类器生成模板；4.求取待检测图像的特征金字塔；5.用多个模板对特征金字塔进行多尺度滑窗搜索，得到各模板的初步检测结果；6.滤除各模板初步检测结果中重复的检测结果，得到多组单个模板的检测结果；7.融合多模板的重复检测结果，得到最终的检测结果。本发明专利技术提高了行人检测的准确率，可用于视频监控和无人驾驶设备中的行人检测。

【技术实现步骤摘要】
基于聚类的多模板行人检测方法
本专利技术属于图像处理领域，更进一步涉及图像或视频中的行人检测方法，可用于无人驾驶和视频智能监控。
技术介绍
在计算机视觉领域，行人检测具有重要的理论和实践意义，由于实际应用中人体姿态变化多样，衣着体型差异较大，且人的活动范围广，所处的环境非常复杂，这些将使得行人检测算法鲁棒性难以满足实际要求。现有的检测方法可分为两大类：一类是基于前景分析的方法。TianyiZhou和DachengTao在文章“GoDec:RandomizedLow-rank&SparseMatrixDecompositioninNoisyCase”(Proceedingsofthe28thInternationalConferenceonMachineLearning)中提出一种前景分割方法，该方法将连续多帧图像组成一个三维矩阵，采用矩阵分解的方法从背景中提取出运动的前景目标。这类方法存在的不足是：该类方法的前提假设是背景是静止的，目标是运动的。然而实际中行人有可能处于静止状态，背景也可能处于运动状态，使得这类方法不适用。另一类采用机器学习的方法，通过求取行人的特征，离线训练得到行人模板，对图像进行多尺度滑窗搜索，将每个窗口与模板匹配得到检测结果。NavneetDalal和BillTriggs在文章“HistogramsofOrientedGradientsforHumanDetection”(IEEEConferenceonComputerVisionandPatternRecognition,2005,pp.886-893)中提出一种梯度方向直方图特征，并将其应用于行人检测中，获得了较准确的检测结果。但是该方法训练得到的单个模板不足以适应行人的外观变化，检测准确率还有待进一步提升。上海交通大学提出的专利申请“基于前景分析和模式识别的行人检测方法”(申请号：CN201110081075.3，公开号：CN102147869A)公开了一种前景分割和机器学习结合的行人检测方法。该方法采用高斯混合模型对视频图像的场景进行背景建模，利用阈值化操作和形态学后处理获得初步行人检测结果；在初步检测结果位置附近采样并与模板匹配，排除非行人前景目标，得到最终行人检测结果，这种方法虽说可提高行人检测速度，但由于要求行人与背景之间存在相对运动，故不能检测静止的行人，容易造成较高的漏检率。
技术实现思路
本专利技术的目的在于针对上述已有技术的不足，提出一种基于聚类的多模板行人检测方法，以实现在任意场景下的行人检测，提升行人检测的准确率。本专利技术的技术方案是：通过聚类算法对行人样本进行聚类，将具有相似外观、姿态的行人聚成一类，再分别对每一类样本独立训练一个模板，得到多个行人模板；通过不同模板独立检测图片中的目标，并采用线性加权的方式融合不同模板的重复检测结果，其实现步骤包括如下：(1)从行人图像数据库中提取5000张以上行人样本图像，将每一张图像归一化尺度为64x32的像素大小；(2)求取行人样本的梯度方向直方图特征，得到样本的特征描述；(3)设定聚类数目，对行人样本按照梯度方向直方图特征进行聚类，得到多个聚类簇；(4)对于每一个簇，分别根据簇中的行人样本生成训练数据集，得到多组数据集，再分别对每一组训练数据集采用线性支持向量机训练分类器生成模板：(4a)对于每个簇中的每个行人样本，以其在原图中的位置为中心，在中心的上下左右四个方向各扩大10％样本大小的背景像素，若扩大后的行人样本超出原图边界，则通过复制原图边界像素值的方法填充图像，将添加背景后的行人样本归一化至128x64大小，得到训练所用的正样本；(4b)从不包含行人的图像中随机选取产生大小为128x64像素的负样本，负样本的个数大于10000个；(4c)对于每个簇中的行人样本，分别求取其梯度方向直方图特征，得到多组训练数据；(4d)分别对每一组训练数据集采用线性支持向量机训练分类器生成模板。本专利技术采用了LibSVM工具完成训练。LibSVM是一个快速有效的SVM模式识别与回归的软件包，该软件包可以在http://www.csie.ntu.edu.tw/～cjlin/libsvm免费获得。(5)求取待检测图像的特征金字塔，特征金字塔的层数为3；(6)用训练得到的多个模板分别独立检测图像中的行人，对特征金字塔进行多尺度滑窗搜索，得到多模板的初步检测结果：(6a)分别用每个模板对特征金字塔进行滑窗搜索，将每个窗口与各模板匹配，即将各模板分别与特征金字塔的每一层做卷积运算，得到每个窗口与模板的匹配程度；(6b)选取检测阈值，若某一窗口与模板的匹配程度大于阈值2.5，则认为该检测窗口为目标，记录其在原图中的位置及其与模板的匹配程度，得到各模板的初步的检测结果；(7)获得多组单个模板的检测结果：(7a)分别计算各模板初步检测结果之间的重复率ao：其中，BBi表示模板匹配第i个窗口的检测结果在图中的位置，BBj表示模板匹配第j个窗口的检测结果在图中的位置，score表示该检测结果与模板的匹配程度；(7b)判断ao是否大于阈值0.5：若大于，则采用NMS方法滤除score更低的检测结果，得到多组单个模板的检测结果；反之，则舍弃该模板的检测结果；(8)获得最终的检测结果：(8a)计算两个不同模板检测结果之间的重复率a'o：其中，CCk表示第k个模板的检测结果在图中的位置，CCn表示第n个模板的检测结果在图中的位置；(8b)判断a'o是否大于阈值0.5：若a'o大于阈值0.5，则用加权融合的方法融合这两个不同模板的检测结果；反之，则同时保留这两个模板的检测结果；返回步骤(9a)直到所有两个不同的模板的检测结果都被判断为融合或同时保留，整理所有模板检测出的行人在图中的位置，完成最终的行人检测。本专利技术与现有技术相比具有以下优点：第一，本专利技术由于引入了聚类算法自动分类训练样本，克服了现有技术中手工分类训练样本的繁琐过程，同时降低了人为因素的干扰。第二，本专利技术由于引入了多个模板同时用于检测，提高了对行人外观变化及复杂背景的适应性，进而提高了检测准确率。第三，本专利技术的检测由于对不同模板进行独立匹配，可以并行操作，因此加快了检测速度。附图说明图1为本专利技术的整体流程图；图2为本专利技术中训练多模板的子流程图；图3为本专利技术中聚类多组簇的子流程图；图4为本专利技术中用多模板检测行人的子流程图；图5为本专利技术与现有梯度方向直方图算法对INRIA数据库图片的检测结果图。具体实施方案和下面结合附图，对本专利技术实现的步骤和效果作进一步的详细描述。参照图1，本专利技术的实现步骤如下：步骤1，获取行人样本图像，归一化尺度为64x32大小。(1a)从给定的图像数据库中提取5000个以上行人样本，每个样本为一矩形图像，如果提取到的行人样本不足5000个，则可将每个样本左右对换得到新的样本；(1b)采用最近邻插值算法对行人样本的大小进行归一化，得到尺度大小为64x32的图像Inew(x,y)，Inew(x,y)＝I(round(x/αx),round(y/αy))，其中，αx和αy分别为图像x方向和y方向的尺度缩放因子，I表示图像，round表示向上取整。步骤2，求取样本图像的梯度方向直方图特征，得到样本的特征描述。(2a)采用一维本文档来自技高网...

【技术保护点】
一种基于聚类的多模板行人检测方法，包括如下步骤：(1)从行人图像数据库中提取5000张以上行人样本图像，将每一张图像归一化尺度为64x32的像素大小；(2)求取行人样本的梯度方向直方图特征，得到样本的特征描述；(3)设定聚类数目，对行人样本按照欧氏距离进行聚类，得到多个聚类簇；(4)对于每一个聚类簇，分别根据簇中的行人样本生成训练数据集，得到多组训练数据，分别对每一组训练数据集采用线性支持向量机训练分类器生成模板：(4a)对于每个簇中的每个行人样本，以其在原图中的位置为中心，在中心的上下左右四个方向各扩大10％样本大小的背景像素，若扩大后的行人样本超出原图边界，则通过复制原图边界像素值的方法填充图像，将添加背景后的行人样本归一化至128x64大小，得到训练所用的正样本；(4b)从不包含行人的图像中随机选取产生大小为128x64像素的负样本，负样本的个数大于10000个；(4c)对于每个簇中的行人样本，分别求取其梯度方向直方图特征，得到多组训练数据；(4d)对于每一组训练数据集，分别采用线性支持向量机训练分类器生成模板。本专利技术采用了LibSVM工具完成训练。LibSVM是一个快速有效的SVM模式识别与回归的软件包，该软件包可以在http://www.csie.ntu.edu.tw/～cjlin/libsvm免费获得。(5)求取待检测图像的特征金字塔，特征金字塔的层数为3；(6)用训练得到的多个模板分别独立检测图像中的行人，对特征金字塔进行多尺度滑窗搜索，得到多模板的初步检测结果：(6a)分别用每个模板对特征金字塔进行滑窗搜索，将每个窗口与各模板匹配，即将各模板分别与特征金字塔的每一层做卷积运算，得到每个窗口与模板的匹配程度；(6b)选取检测阈值，若某一窗口与模板的匹配程度大于阈值2.5，则认为该检测窗口为目标，记录其在原图中的位置及其与模板的匹配程度，得到各模板的初步的检测结果；(7)获得多组单个模板的检测结果：(7a)分别计算各模板初步检测结果之间的重复率ao：ao=area(BBi∩BBj)area(BBmin(si,sj))]]>其中，BBi表示模板匹配第i个窗口的检测结果在图中的位置，BBj表示模板匹配第j个窗口的检测结果在图中的位置，Si表示该第i个窗口检测结果与模板的匹配程度，Sj表示该第j个窗口检测结果与模板的匹配程度；(7b)判断ao是否大于阈值0.5：若大于，则采用NMS方法滤除s更低的检测结果，得到多组单个模板的检测结果；反之，则舍弃该模板的检测结果；(8)获得最终的检测结果：(8a)计算两个不同模板检测结果之间的重复率a'o：ao′=area(CCk∩CCn)area(CCk∪CCn)]]>其中，CCk表示第k个模板的检测结果在图中的位置，CCn表示第n个模板的检测结果在图中的位置；(8b)判断a'o是否大于阈值0.5：若a'o大于阈值0.5，则用加权融合的方法融合这两个不同模板的检测结果；反之，则同时保留这两个模板的检测结果；返回步骤(8a)直到所有两个不同的模板的检测结果都被判断为融合或同时保留，整理所有模板检测出的行人在图中的位置，完成最终的行人检测。...

【技术特征摘要】
1.一种基于聚类的多模板行人检测方法，包括如下步骤：(1)从行人图像数据库中提取5000张以上行人样本图像，将每一张图像归一化尺度为64x32的像素大小；(2)求取行人样本的梯度方向直方图特征，得到样本的特征描述；(3)设定聚类数目，对行人样本按照欧氏距离进行聚类，得到多个聚类簇；(4)对于每一个聚类簇，分别根据簇中的行人样本生成训练数据集，得到多组训练数据，分别对每一组训练数据集采用线性支持向量机训练分类器生成模板：(4a)对于每个簇中的每个行人样本，以其在原图中的位置为中心，在中心的上下左右四个方向各扩大10％样本大小的背景像素，若扩大后的行人样本超出原图边界，则通过复制原图边界像素值的方法填充图像，将添加背景后的行人样本归一化至128x64大小，得到训练所用的正样本；(4b)从不包含行人的图像中随机选取产生大小为128x64像素的负样本，负样本的个数大于10000个；(4c)对于每个簇中的行人样本，分别求取其梯度方向直方图特征，得到多组训练数据；(4d)对于每一组训练数据集，分别采用线性支持向量机训练分类器生成模板，本发明采用LibSVM工具完成训练；(5)求取待检测图像的特征金字塔，特征金字塔的层数为3；(6)用训练得到的多个模板分别独立检测图像中的行人，对特征金字塔进行多尺度滑窗搜索，得到多模板的初步检测结果：(6a)分别用每个模板对特征金字塔进行滑窗搜索，将每个窗口与各模板匹配，即将各模板分别与特征金字塔的每一层做卷积运算，得到每个窗口与模板的匹配程度；(6b)选取检测阈值，若某一窗口与模板的匹配程度大于阈值2.5，则认为该检测窗口为目标，记录其在原图中的位置及其与模板的匹配程度，得到各模板的初步的检测结果；(7)获得多组单个模板的检测结果：(7a)分别计算各模板初步检测结果之间的重复率ao：其中，BBi表示模板匹配第i个窗口的检测结果在图中的位置，BBj表示模板匹配第j个窗口的检测结果在图中的位置，Si表示该第i个窗口检测结果与模板的匹配程度，Sj表示该第j个窗口检测结果与模板的匹配程度；(7b)判断ao是否大于阈值0.5：若大于，则采用NMS方法滤除s更低的检测结果，得到多组单个模板的检测结果；反之，则舍弃该模板的检测结果；(8)获得最终的检测结果：(8a)计算两个不同模板检测结果之间的重复率a'o：

【专利技术属性】
技术研发人员：张建龙，张羽君，高新波，李洁，洪传文，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61