一种基于HOG和MeanShift算法的室内行人检测和跟踪方法技术

本发明专利技术公开了一种基于HOG和MeanShift算法的室内行人检测和跟踪方法，涉及在室内复杂环境下行人检测以及跟踪的技术领域，该方法包括Nao机器人与人体之间的定位、HOG算法特征提取、行人检测HOG+SVM的训练和验证、MeanShift算法目标跟踪以及在Nao机器人平台验证。其主要采用HOG算法和MeanShift算法，能实时地检测出行人，并对检测出的行人进行跟踪。本发明专利技术所述的室内行人检测和跟踪方法，与早期的通过Haar特征等进行行人检测相比，检测成功率更高。在背景比较复杂的INRIA行人图像数据库中，取得大约90％的检测成功率。本发明专利技术的室内行人快速检测和跟踪方法，具有实时性、检测准确的优点，而且具有良好的实用性。

【技术实现步骤摘要】
一种基于HOG和MeanShift算法的室内行人检测和跟踪方法
本专利技术属于在室内复杂环境下人体检测以及跟踪的
，具体是以Nao机器人为平台，采用检测和跟踪算法，实现智能、快速、实时的对人体进行检测和跟踪的目的。
技术介绍
随着计算机视觉技术的快速发展，人们在日常生活中享受它所带来的便利的同时，也在研究和探索尝试人工智能领域给机器人赋予人类视觉的功能，使其更加的方便、实时、快捷，使机器人自身可以处理问题。近年来，随着数字图像处理、模式识别、人工智能、机器学习等技术飞速迅猛的发展，以及智能监控、智能汽车和智能安全领域的迫切需求，行人检测和跟踪技术，受到了越来越多人的关注，目前已经成为了研究的热点，并且广泛的应用于智能交通、智能监控和智能服务机器人等相关领域。而室内的复杂环境下的人体检测与跟踪技术则是其关键应用，行人是比较常见的而且也是比较重要的一种目标，行人的检测和跟踪是该领域中的一个研究难点和热点。例如在室内复杂环境下，服务型机器人可以检测出所要服务的目标人，然后进行人机交互，以此来完成所要完成的任务。目前比较常用于儿童、老年人、身体有残疾的病人等。另一方面，本方法也常用于智能交通领域的车辆或者车牌的检测以及监控等。目前，正在研究和应用于在机场帮助乘客推行李车并跟踪所要服务的乘客。在超市，当消费者要购买物品时，也可以将购买的物品放入到检测并跟踪的服务机器人所推的购物车当中等。由此可以看出，这个领域有着极大的研究价值和商业价值。在计算机视觉领域技术中，行人检测是一个重要的研究方向。这项技术，通过机器人的摄像头标定和训练图像来确定所要检测的人体目标，采用HOG+SVM算法实时的检测出行人，并采用MeanShift算法对检测出的行人进行跟踪。行人检测分为两类，第一种是基于背景建模的方法，分割出背景，提取出目标，并提取特征，进行分类判别。但是，这个方法构建了非常复杂的模型，因此，这个系统很容易受到外界和自身所带来的干扰。第二种是基于统计学习的方法，根据所要进行训练的数据集，来训练行人检测所需要的分类器，提取出样本的特征。一般常见的分类器主要包括支持向量机和AdaBoost方法。图像描述的经典特征主要包括Haar、LBP、HOG等。近年来，随着机器学习的急速发展，通过机器学习来进行行人检测和跟踪具有良好的实时性和鲁棒性。将机器学习的技术引入到计算机视觉当中，具有非常广泛的应用型。通过这些方法对正样本和负样本的特征进行学习，根据样本的具体特征来进行分类，从图像中检测出人体目标，然后根据人体的某些特定的特征来进行匹配，可以判断出所检测的目标区域中是否有要检测的行人。这种方法具有很好的自适应性，而且其检测和跟踪精度也有了很大的提高，同时也能够满足实时性的要求。但是，行人检测和跟踪技术也存在着许多难点问题。例如本专利技术所用的Nao机器人，虽然有上下两个摄像头，但所观测的范围没有重叠，所以为单目摄像头。因此，Nao机器人的视野范围是有限的，如果人体离开机器人的视野范围将无法进行检测。并且人体属于非刚体，姿态千差万别，比较容易受到尺度、行人的外观、光照、复杂场景等因素的影响，不可避免的对行人检测和跟踪技术带来非常大的挑战。如何将这些因素考虑进去，提高算法的检测率、成功率和实时性，是重点研究的方面。基于上述分，本专利技术提出了一种基于HOG和MeanShift算法的室内行人检测和跟踪方法。
技术实现思路
针对目前正在飞速发展的计算机视觉与机器学习的方向，本专利技术提出了一种基于HOG和MeanShift算法的室内行人检测和跟踪方法。目的是在室内复杂环境下，在Nao机器人视野范围内，利用相关算法和技术，实时的检测出行人，并且机器人可以随待检测人的移动而进行移动，具有良好的检测和跟踪效果，实时性、检测率和鲁棒性都比较好。Monitor软件可以检测出机器人所看的视野范围，通过Nao机器人摄像头和Monitor软件录制视频，执行MeanShift算法后，有相应的颜色直方图，输出机器人所检测出的人体的位置信息。这个方法的架构图如图1所示。本方法实时检测出行人，将行人从待检样本中提取出来。如果行人发生移动，使用MeanShift算法使机器人实时检测并根据人体移动的方向来移动。在室内复杂环境下，根据具体的实验条件主要解决了两个技术问题：1、当Nao机器人处于刚硬状态时，摄像头和Monitor软件只能观测正前方的行人，无法确定人体是否处于室内环境中，上摄像头才可以捕捉到具体的图像和视频信息，进行检测。2、如果当检测的是人体的侧面时，此时的误检率很高，系统无法准确的检测和跟踪行人。为实现上述目的，本专利技术采用的技术方案为一种基于HOG和MeanShift算法的室内行人检测和跟踪方法，该方法包括包括Nao机器人与人体之间的定位、HOG算法特征提取、行人检测HOG+SVM的训练和验证、MeanShift算法目标跟踪以及在Nao机器人平台验证。该方法的具体工作过程：1)人体的初步检测和定位在检测人体之前，首先得确定人体是否出现在机器人的视野范围内，然后在复杂环境图像和视频中进行行人检测。使用循环分步的方法调整头部关节角度，遍历视野范围，每次调用目标检测算法判断是否在视野中发现人体。如果发现则进入视野调整阶段，将目标人体移至视野中央，以便能够更好的进行检测和跟踪。具体的流程图如图2。然后计算待检测人体与机器人之间的距离，由距离公式算出摄像头与人体之间的距离。此时完成了人体的初步检测和定位的任务；计算摄像头与人体之间的距离时候，取人体中心处为基准点；2)行人检测行人检测采用HOG+SVM的方法，该方法具体实施步骤如下：2.1制作样本数据库选用经典的INRIA数据集来做行人检测和跟踪实验，如图3所示选取INRIA数据集中具有人体图片进行裁剪，作为所要检测的正样本数据库。选取INRIA数据集中没有人体图片的以及图4所示的室内复杂环境下的图片，进行裁剪，作为所要检测的负样本数据库。2.2HOG特征提取算法的实现过程和参数选择：采用HOG特征提取算法对人体图片进行处理时，使用OpenCV自带的函数进行HOG特征提取。采用灰度化、Gamma校正法、归一化和HOG算法。为降低图像的局部阴影、光照、噪声干扰所带来的影响，在Gamma空间标准化和颜色空间转化成灰度图时，选取的Gamma参数为1/2，阈值为0.2。在计算图像梯度时，用[-1,0,1]梯度算子对原来的图像做卷积运算。根据实验，做行人检测所采用的最佳参数设置是64*64的检测窗口，8*8像素的cell，9个直方图通道，其中每2*2个cell组成一个block，block由16*16像素组成。2.3训练SVM分类器处理好样本，设置参数后，根据HOG算法提取出所需要的正负样本的HOG特征，并用文本批处理的方式，对图片进行标注，正样本标注为1，负样本标注为0，然后训练SVM分类器，得到所需要的Model。将hardexample的HOG特征和正负样本的HOG特征综合起来，再训练SVM分类器，这样就得到了最终的分类器。输入待检样本，将行人从待检样本中提取出来。具体检测结果如图5所示。2.4MeanShift算法实现机器人头部跟踪人体MeanShift算法具有迭代收敛性，每次迭代会往概率密度大的方向移动，所以Mea本文档来自技高网...

【技术保护点】
一种基于HOG和MeanShift算法的室内行人检测和跟踪方法，其特征在于：该方法包括包括Nao机器人与人体之间的定位、HOG算法特征提取、行人检测HOG+SVM的训练和验证、MeanShift算法目标跟踪以及在Nao机器人平台验证；该方法的具体工作过程：1)人体的初步检测和定位在检测人体之前，首先得确定人体是否出现在机器人的视野范围内，然后在复杂环境图像和视频中进行行人检测；使用循环分步的方法调整头部关节角度，遍历视野范围，每次调用目标检测算法判断是否在视野中发现人体；如果发现则进入视野调整阶段，将目标人体移至视野中央，以便能够更好的进行检测和跟踪；然后计算待检测人体与机器人之间的距离，由距离公式算出摄像头与人体之间的距离；此时完成了人体的初步检测和定位的任务；计算摄像头与人体之间的距离时候，取人体中心处为基准点；2)行人检测行人检测采用HOG+SVM的方法，该方法具体实施步骤如下：2.1制作样本数据库选用经典的INRIA数据集来做行人检测和跟踪实验，选取INRIA数据集中具有人体图片进行裁剪，作为所要检测的正样本数据库；选取INRIA数据集中没有人体图片的以及室内复杂环境下的图片，进行裁剪，作为所要检测的负样本数据库；2.2 HOG特征提取算法的实现过程和参数选择：采用HOG特征提取算法对人体图片进行处理时，使用OpenCV自带的函数进行HOG特征提取；采用灰度化、Gamma校正法、归一化和HOG算法；为降低图像的局部阴影、光照、噪声干扰所带来的影响，在Gamma空间标准化和颜色空间转化成灰度图时，选取的Gamma参数为1/2，阈值为0.2；在计算图像梯度时，用[‑1,0,1]梯度算子对原来的图像做卷积运算；根据实验，做行人检测所采用的最佳参数设置是64*64的检测窗口，8*8像素的cell，9个直方图通道，其中每2*2个cell组成一个block，block由16*16像素组成；2.3训练SVM分类器处理好样本，设置参数后，根据HOG算法提取出所需要的正负样本的HOG特征，并用文本批处理的方式，对图片进行标注，正样本标注为1，负样本标注为0，然后训练SVM分类器，得到所需要的Model；将hardexample的HOG特征和正负样本的HOG特征综合起来，再训练SVM分类器，这样就得到了最终的分类器；输入待检样本，将行人从待检样本中提取出来；2.4 MeanShift算法实现机器人头部跟踪人体MeanShift算法具有迭代收敛性，每次迭代会往概率密度大的方向移动，所以MeanShift算法得用在概率密度图上；；通过Nao机器人平台下的Choregraphe软件，将机器人和计算机建立在同一个IP地址下，然后连接，选择Nao机器人的上摄像头，打开Monitor监控软件，此时机器人处于刚硬状态，通过Monitor软件看到机器人通过摄像头所看到的图像和视频序列；本方法将算法加入到Choregraphe软件的脚本编辑器中，然后机器人进入到视野调整阶段；当检测到人体时，将图像中的人体移动到中央便于检测，将行人从待检样本中提取出来；通过在VS2010平台下运行经过MeanShift算法，此时会产生目标直方图和候选直方图，通过算法检测并跟踪的视频序列，一帧一帧的记录下来，同时机器人会随着人体的移动而一起移动；不断调整图像，将人体图像移到所能看到的视野中央。...

【技术特征摘要】
1.一种基于HOG和MeanShift算法的室内行人检测和跟踪方法，其特征在于：该方法包括包括Nao机器人与人体之间的定位、HOG算法特征提取、行人检测HOG+SVM的训练和验证、MeanShift算法目标跟踪以及在Nao机器人平台验证；该方法的具体工作过程：1)人体的初步检测和定位在检测人体之前，首先得确定人体是否出现在机器人的视野范围内，然后在复杂环境图像和视频中进行行人检测；使用循环分步的方法调整头部关节角度，遍历视野范围，每次调用目标检测算法判断是否在视野中发现人体；如果发现则进入视野调整阶段，将目标人体移至视野中央，以便能够更好的进行检测和跟踪；然后计算待检测人体与机器人之间的距离，由距离公式算出摄像头与人体之间的距离；此时完成了人体的初步检测和定位的任务；计算摄像头与人体之间的距离时候，取人体中心处为基准点；2)行人检测行人检测采用HOG+SVM的方法，该方法具体实施步骤如下：2.1制作样本数据库选用经典的INRIA数据集来做行人检测和跟踪实验，选取INRIA数据集中具有人体图片进行裁剪，作为所要检测的正样本数据库；选取INRIA数据集中没有人体图片的以及室内复杂环境下的图片，进行裁剪，作为所要检测的负样本数据库；2.2HOG特征提取算法的实现过程和参数选择：采用HOG特征提取算法对人体图片进行处理时，使用OpenCV自带的函数进行HOG特征提取；采用灰度化、Gamma校正法、归一化和HOG算法；为降低图像的局部阴影、光照、噪声干扰所带来的影响，在Gamma空间标准化和颜色空间转化成灰度图时，选取的Gamma参数为1/2，阈值为0.2；在计算图像梯度时，用[-1,0,1]梯度算子对原来的图像做卷积运算；根据实验，做行人检测所采用的最佳参数设置是64*64的检测窗口，8*8像素的cell，9个直方图通道，其中每2*2个cell组成一个block，block由16*16像素组成；2.3训练SVM分类器处理好样本，设置参数后，根据HOG算法提取出所需要的正负样本的HOG特征，并用文本批处理的方式，对图片进行标注，正样本标注为1，负样本标注为0，然后训练SVM分类器，得到所需要的Model；将hardexample的HOG特征和正负样本的HOG特征综合起来，再训练SVM分类器，这样就得到了最终的分类器；输入待检样本，将行人从待检样本中提取出来；2.4MeanShift算法实现机器人头部跟踪人体MeanShift算法具有迭代收敛性，每次迭代会往概率密度大的方向移动，所以MeanShift算法得用在概率密度图上；；通过Nao机器人平台下的Choregraphe软件，将机器人和计算机建立在同一个IP地址下，然后连接，选择Nao机器人的上摄像头，打开Monitor监控软件，此时机器人处于刚硬状态，通过Monitor软件看到机器人通过摄像头所看到的图像和视频序列；本方法将算法加入到Choregraphe软件的脚本编辑器中，然后机器人进入到视野调整阶段；当检测到人体时，将图像中的人体移动到中央便于检测，将行人从待检样本中提取出来；通过在VS2010平台下运行经过MeanShift算法，此时会产生目标直方图和候选直方图，通过算法检测并跟踪的视频序列，一帧一帧的记录下来，同时机器人会随着人体的移动而一起移动；不断调整图像，将人体图像移到所能看到的视野中央。2.根据权利要求1所述的一种基于HOG和MeanShift算法的室内行人检测和跟踪方法，其特征在于：SVM+HOG算法的人体检测：具体的算法是SVM+HOG，下面具体介绍下人体检测的过程步骤：整个对人体进行检测的过程可以说是提取HOG特征，然后将提取的特征训练SVM分类器，整个提取和训练的过程如下所述：使用经典的INRIA数据集，任务是收集所需要提取和检测人体的图像；正样本的数据集中，因为INRIA数据集提供的数据是96*...

【专利技术属性】
技术研发人员：李建更，张岩，左国玉，李立杰，王朋飞，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11