基于加速区域卷积神经网络的行人检测与跟踪方法技术

本发明专利技术涉及一种基于加速区域卷积神经网络的行人识别与跟踪方法，首先通过载有红外摄像头的机器人在夜晚采集训练、测试数据集，对训练、测试数据集按要求预处理，然后对所有训练和测试图片进行真实目标位置标注并记录到样本文件中；再构建加速区域卷积神经网络，利用训练数据集训练加速区域卷积神经网络，对网络输出利用非极大值抑制算法求出最后的属于行人区域的概率以及区域的边界框；利用测试数据集测试网络的准确度，得到符合要求的网络模型；将夜间机器人采集的图片输入加速区域卷积神经网络模型，模型在线实时输出属于行人区域的概率以及区域的边界框。本发明专利技术能够有效地识别红外图像中的行人，对红外视频中的行人目标能够实时地进行跟踪。

【技术实现步骤摘要】
基于加速区域卷积神经网络的行人检测与跟踪方法
本专利技术涉及一种基于加速区域卷积神经网络的夜间机器人行人检测与跟踪方法，该方法属于红外夜视图像处理领域，通过该方法可以实现机器人在夜间实时地检测和跟踪行人。
技术介绍
随着机器人技术和红外成像技术的迅速发展，两者结合的应用领域也愈广泛。例如，夜间利用机器人进行行人检测与跟踪，达到侦探与监控的效果。作为机器人的更高实现，无人驾驶系统在夜间行驶时，行人也是其检测的主要对象。但是红外图像本身是灰度图像，无色彩信息，纹理细节少，信噪比低的特点，所以红外图像中的行人检测与跟踪是很活跃的研究领域。在行人跟踪研究上，Yasuno等人(M.Yasuno，S.Ryousuke，N.Yasuda，PedestrainDetectionandTackinginFarInfraredImages[C].InProceedingsofIEEEConferenceonIntelligentTranspotationSystems，2005：182-187.)，通过在跟踪区域内进行模版匹配来跟踪头部的位置。Dai等人(X.Dai，F.zheng，X.Liu.Layeredrepresentationforpedestraindetectionandtrackingininfraredimagery[J].IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition，2005，3(1)：13-18.)认为人体在运动过程中四肢变形较大，影响了跟踪的性能。为了去除四肢的影响，因此只对头部与躯体进行跟踪。当前提出的红外行人跟踪算法，确切地说都是对人体某一或某几个部位进行跟踪，而不是对整个行人进行跟踪。长期以来，行人检测最流行的方法是基于行人特征提取和机器学习的方法。王磊(王磊.红外图像中的行人检测算法研究[D].合肥工业大学，2015：26-44.)采用先提取正负样本的特征，这里的正负样本分别指的是包含行人的图片和不包含行人的图片，训练分类器，然后用滑动窗口法遍历一幅完整的图像，再利用训练好的分类器对窗口进行行人与非行人的分类判别，达到行人检测的目的。虽然这种方法能够得到较好的检测结果，但是由于这种方法对整幅图像进行行人检测时，利用的是多尺度的滑动窗口对整幅图像进行遍历，产生了大量的检测窗口，并且依次对所有的检测窗口进行特征提取，导致了计算量的剧增，速度极慢。近几年，深度卷积神经网络迅速发展，在图像分类、自然语言处理以及目标检测等应用上均取得了巨大的成功。其优势在于提取图像的特征并进行分类，为了充分发挥其优势，Girshick等(IRSHICKR，DONAHUEJ，NAJMANETL，etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C].IEEEConferenceonComputerVisionandPatternRecognition，2014：580-587.)提出了区域卷积神经网络(R-CNN)框架将图像的目标检测问题转化为分类问题，取得了很好地检测效果。该方法的基本思想是先在图像中提取若干个候选目标矩形区域，再用深度卷积网络对每个候选区域提取目标特征，最后用支持向量机训练一个分类器，对候选目标区域进行分类。根据每个区域分类得分利用非极大值抑制算法优化出最终的目标边界。然而，其中的候选区域不是再用之前的多尺度滑动窗口获得，而是采用基于分层和多相似性测量的选择性搜索算法来生成约2000个多层次的候选框。R-CNN提取特征的卷积网络和用于分类的分类器要分开训练，导致了训练过程要耗费大量的时间和存储空间；而且分类器的训练与特征提取网络不相关，这也是不合理的，影响了目标检测的准确率。因此Girshick(R.Girshick.Fast-RCNN.IEEEInternationalConferenceonComputerVision，2015.)又提出了快速区域卷积神经网络Fast-RCNN模型，将特征提取和分类融合进一个分类框架，提高了训练模型的速度和目标检测的准确率。虽然Fast-RCNN有了改进，但是由于使用选择性搜索算法单独生成候选区域却非常耗时，这是该算法无法达到实时的致命原因。
技术实现思路
本专利技术要解决的技术问题是如何在夜间利用机器人实现实时的行人检测与跟踪。对于行人跟踪算法，即如果行人检测算法的识别率极高，那么检测出红外视频中每一帧的所有行人，给出整个行人的位置信息，而不是人体的一部分。此外，如果行人检测算法具有实时性，故而能够轻易地实现行人跟踪。所以，本专利技术的重点是如何实现高识别率、实时性的行人检测。只要实现了上述高效的行人检测，那么行人跟踪也水到渠成。为了解决上述技术问题，本专利技术的技术方案是提供一种基于加速区域卷积神经网络的行人检测与跟踪方法，其特征在于，包括如下步骤：步骤1：通过载有红外摄像头的机器人在夜晚采集两组红外图片，一组红外图片作为训练数据集，另一组红外图片作为测试数据集；对训练数据集和测试数据集的所有图片按规定进行命名，并制作训练数据集和测试数据集的图片名称列表；步骤2：对训练数据集和测试数据集中的所有图片进行真实目标位置标注，即将所有图片中的所有行人目标用框标出，将图片中行人的数目以及行人的边界框的左上右下4个坐标信息记录到样本文件中；步骤3：构建加速区域卷积神经网络，利用训练数据集的图片和样本文件训练加速区域卷积神经网络；加速区域卷积神经网络包括用于提取候选区域的区域建议网络和用于行人检测的卷积神经网络，通过区域建议网络选取出若干个候选区域，再将这些候选区域输入给卷积神经网络，卷积神经网络输出这些候选区域是行人的得分以及其边界框精修之后的坐标点；将卷积神经网络的输出利用非极大值抑制算法求出最后的属于行人区域的概率以及区域的边界框；步骤4：利用测试数据集的图片和样本文件测试步骤3训练出的加速区域卷积神经网络，若不满足误差要求，则返回步骤3重新训练，直至满足误差要求为止；得到符合精度要求的加速区域卷积神经网络模型；步骤5：将步骤4建立的加速区域卷积神经网络模型用于在线实时的夜间机器人行人检测与跟踪，即将夜间机器人采集的图片输入加速区域卷积神经网络模型，模型在线实时输出属于行人区域的概率以及区域的边界框。优选地，所述加速区域卷积神经网络为一系列的卷积、激励、池化和全连接过程，采用ZF框架，该框架包括区域建议网络和目标识别网络，且区域建议网络和目标识别网络中的特征图提取部分采用参数共享机制。本专利技术可用于机器人以及无人车在夜晚无光的情况下通过红外摄像头实行实时的行人检测以及跟踪。本专利技术将加速区域卷积神经网络应用于红外视频的实时行人检测与跟踪，无需提前采用其他方法生成候选区域，无需手工选取行人特征，通过端到端的训练，直接输入一张红外图片，输出图片中的行人位置。该专利技术保证了红外视频中行人检测和跟踪的正确性和实时性。本专利技术提供的方法通过使用加速区域卷积神经网络，无需单独生成候选区域以及手工选取行人特征，将候选区域生成也通过卷积网络来实现，实现端到端的操作，该方法明显加快了行人识别的速度，提高了本文档来自技高网...

【技术保护点】
一种基于加速区域卷积神经网络的行人检测与跟踪方法，其特征在于，包括如下步骤：步骤1：通过载有红外摄像头的机器人在夜晚采集两组红外图片，一组红外图片作为训练数据集，另一组红外图片作为测试数据集；对训练数据集和测试数据集的所有图片按规定进行命名，并制作训练数据集和测试数据集的图片名称列表；步骤2：对训练数据集和测试数据集中的所有图片进行真实目标位置标注，即将所有图片中的所有行人目标用框标出，将图片中行人的数目以及行人的边界框的左上右下4个坐标信息记录到样本文件中；步骤3：构建加速区域卷积神经网络，利用训练数据集的图片和样本文件训练加速区域卷积神经网络；加速区域卷积神经网络包括用于提取候选区域的区域建议网络和用于行人检测的卷积神经网络，通过区域建议网络选取出若干个候选区域，再将这些候选区域输入给卷积神经网络，卷积神经网络输出这些候选区域是行人的得分以及其边界框精修之后的坐标点；将卷积神经网络的输出利用非极大值抑制算法求出最后的属于行人区域的概率以及区域的边界框；步骤4：利用测试数据集的图片和样本文件测试步骤3训练出的加速区域卷积神经网络，若不满足误差要求，则返回步骤3重新训练，直至满足误差要求为止；得到符合精度要求的加速区域卷积神经网络模型；步骤5：将步骤4建立的加速区域卷积神经网络模型用于在线实时的夜间机器人行人检测与跟踪，即将夜间机器人采集的图片输入加速区域卷积神经网络模型，模型在线实时输出属于行人区域的概率以及区域的边界框。...

【技术特征摘要】
1.一种基于加速区域卷积神经网络的行人检测与跟踪方法，其特征在于，包括如下步骤：步骤1：通过载有红外摄像头的机器人在夜晚采集两组红外图片，一组红外图片作为训练数据集，另一组红外图片作为测试数据集；对训练数据集和测试数据集的所有图片按规定进行命名，并制作训练数据集和测试数据集的图片名称列表；步骤2：对训练数据集和测试数据集中的所有图片进行真实目标位置标注，即将所有图片中的所有行人目标用框标出，将图片中行人的数目以及行人的边界框的左上右下4个坐标信息记录到样本文件中；步骤3：构建加速区域卷积神经网络，利用训练数据集的图片和样本文件训练加速区域卷积神经网络；加速区域卷积神经网络包括用于提取候选区域的区域建议网络和用于行人检测的卷积神经网络，通过区域建议网络选取出若干个候选区域，再将这些候选区域输入给卷积神经网络，卷积神经网络输出这些候选区域是行人的得...

【专利技术属性】
技术研发人员：叶国林，孙韶媛，高凯珺，姚光顺，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海,31