一种结合运动特征和头肩结构的行人检测与统计方法技术

本发明专利技术公开了一种结合运动特征和头肩结构的行人检测与统计方法，首先，根据红外监控视频中行人的运动特征，采用高斯混合背景模型对红外视频监控区域进行背景建模，提取出红外监控视频中的运动区域。其次，根据行人头肩结构的显著性特征，构造头肩检测器模型和行人整体结构模型，并利用行人几何结构约束信息构建级联目标模型提高行人检测性能的鲁棒性。再之，利用核相关滤波跟踪方法构建多目标跟踪模型，并对头肩跟踪区域进行实时地在线学习，自适应地更新跟踪目标模型，获取行人的运动轨迹信息。最后，根据关卡位置，结合头肩分类器模型的识别结果和多目标跟踪器的运动轨迹信息，提高红外监控视频中行人目标的精确计数性能。

Pedestrian detection and statistical method combined with motion characteristics and head shoulder structure

The invention discloses a pedestrian detection and statistics method combining motion characteristics and head-shoulder structure. Firstly, according to the pedestrian movement characteristics in infrared surveillance video, the background of infrared video surveillance area is modeled by Gaussian mixture background model, and the moving area in infrared surveillance video is extracted. Secondly, according to the saliency characteristics of pedestrian head-shoulder structure, the head-shoulder detector model and the pedestrian overall structure model are constructed, and the cascade target model is constructed by using pedestrian geometric structure constraint information to improve the robustness of pedestrian detection performance. Thirdly, the multi-target tracking model is constructed by using kernel correlation filter tracking method, and the head-shoulder tracking area is studied on-line in real time. The tracking target model is updated adaptively to obtain the trajectory information of pedestrians. Finally, the accurate counting performance of pedestrian targets in infrared surveillance video is improved by combining the recognition result of head-shoulder classifier model and the trajectory information of multi-target tracker according to the location of the checkpoint.

【技术实现步骤摘要】
一种结合运动特征和头肩结构的行人检测与统计方法
本专利技术涉及数字图像处理
，更具体的说是涉及一种结合运动特征和头肩结构的行人检测与统计方法。
技术介绍
随着计算机处理能力的提升以及计算机视觉技术的发展，智能视频监控技术得到了广泛的关注和研究，对人们的生活方式和社会发展起着越来越重要的作用；尤其在以全天候实时监控的红外视频对危化行业安全生产管理的智能化监控方面，实现对场地关卡中行人目标进出入关卡的精确数量统计，达到对监控场景进行科学、有效、智能化的控制和组织管理，具有重要的研究意义和应用价值。在实时、复杂多变的红外视频全天候监控环境中，由于不同季节、不同天候、不同光照、不同温度等监控条件的变化导致行人目标在成像过程中整体结构信息和局部细节信息的变化，背景对行人识别存在不同程度的干扰，以及行人目标存有遮挡或重叠的问题，给行人目标对特征提取、建模、学习与推理等方面行人目标的精确计数带来了极大的挑战。目前，针对视频监控场景中行人目标数量统计的方法大致可以分为两类。第一类是基于目标连通区域传统几何特征(面积比、长宽比等)的非模型方法，其根据目标几何特征(面积比、长宽比等)建立相应的分类准则分类、统计目标，这种方法对目标流量估计具有较好的适用性，但是对目标间发生严重遮挡或重叠时难以对目标数量精确地计数。第二类是基于目标识别统计学习模型的方法，此方法最为常用，其前提是需要建立完备的目标图像数据集，然后提取目标图像特征，并结合统计学习方法构建分类模型，其常用的统计学习方法有支持向量机方法、决策树方法和神经网络方法等。此方法的主要挑战是如何构建一个具有鲁棒性的目标识别模型以避免监控场景中复杂背景对目标识别的干扰。当前行人识别的目标模型分为整体模型和部件模型，整体模型根据行人的外观特征提取具有区分能力的特征信息，并将其输入到分类器中实现对目标的判别。该方法在通常情况下能够有效识别出行人目标，但是易受遮挡的影响。基于结构与部件模型的分类识别方法是将目标模型化为具有几何联系的若干组件的集合，这些组件可以看作目标图像在语义层的表示，它们直接由底层特征抽象得到。而如何确定各个目标组件间内在联系至关重要，是结构与部件模型最核心的问题。有许多种不同的联系结构模型得到了研究，比如星座模型、星星模型、树结构模型、层次结构模型、稀疏弹性模型和可形变部件模型等，其中可形变部件模型在物体检测中的取得了较大的进步，其缺点是复杂性高，实时性差。因此，如何提供一种对于行人目标能够实时监控，并且提高红外监控视频中行人目标的精确计数的结合运动特征和头肩结构的行人检测与统计方法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种结合运动特征和头肩结构的行人检测与统计方法，有效提高了红外监控视频中的行人计数的精确性，尤其适用于红外监控视频中行人之间存在相互遮挡、重叠的情况下；针对红外视频监控中行人目标之间遮挡问题的复杂性，将结合运动特征在时间维度上的时序连续性和行人头肩结构特征在空间维度上的平移不变性，联合行人目标在红外监控视频中时间和空间上的有效特征信息，提高行人目标识别与计数的精确性。为了实现上述目的，本专利技术提供如下技术方案：一种结合运动特征和头肩结构的行人检测与统计方法，具体步骤包括：步骤(1)：对红外监控视频通过K个高斯分布η(Xt,μi,t,Σi,t)i＝1,2,···,K建立高斯混合背景模型，并根据所述高斯混合背景模型进行运动检测，获得行人目标的候选搜索区域；步骤(2)：对红外监控视频中的行人头肩结构建立头肩检测器模型并在所述步骤(1)提取的目标候选搜索区域上，利用所述头肩检测器模型进行多尺度检测，获取视频图像序列第t帧中第i个行人目标的头肩区域位置其中表示头肩区域框在图像中的左上角像素位置，表示头肩区域框在图像中宽度和高度；步骤(3)：对红外监控视频中的行人整体目标建立行人整体检测器模型并基于所述头肩检测器模型检测到的行人头肩区域位置结合行人头肩区域与行人整体区域之间的空间位置距离约束信息对行人头肩区域约束下的搜索区域使用行人整体检测器模型进行多尺度检测，获取与头肩区域相对应的行人整体区域位置其中表示行人整体区域框在图像中的左上角像素位置，表示行人整体区域框在图像中宽度和高度；步骤(4)：结合步骤(2)和步骤(3)的头肩检测器模型和行人整体检测器模型利用行人头肩区域与行人整体区域之间的空间位置距离约束信息构建级联目标模型wTψ(X)，使级联目标模型wTψ(X)对非行人目标具有头肩结构相似背景的干扰区域进行抑制；步骤(5)：对行人头肩区域利用核相关滤波跟踪算法构建基于头肩检测器的多目标跟踪模型，并对红外视频检测出的行人头肩跟踪区域进行实时地在线学习，自适应地更新跟踪目标在不同时间段、不同光照、不同温度下的目标模型，获取行人的运动轨迹信息；步骤(6)：根据在红外监控视频中设置的关卡位置，结合头肩和行人整体检测器模型的识别结果和多目标跟踪器的运动轨迹信息，实现对红外监控视频中行人目标的精确计数。通过上述技术方案，本专利技术的技术效果：有效提高了红外监控视频中的行人计数的精确性，尤其适用于红外监控视频中行人之间存在相互遮挡、重叠的情况下；针对红外视频监控中行人目标之间遮挡问题的复杂性，将结合运动特征在时间维度上的时序连续性和行人头肩结构特征在空间维度上的平移不变性，联合行人目标在红外监控视频中时间和空间上的有效特征信息，提高行人目标识别与计数的精确性。优选的，在上述的一种结合运动特征和头肩结构的行人检测与统计方法中，所述步骤(1)中具体步骤包括：步骤(11)：依据红外监控视频中监控背景受季节、气候、光照、温度的干扰，利用高斯混合模型建立背景模型；其中高斯混合模型由K个高斯分布η(It,μi,t,Σi,t)i＝1,2,···,K的线性组合来模拟背景图像的每一个像素点，η(It,μi,t,Σi,t)是视频序列图像It中第i个高斯分布的概率密度函数，其均值和方差分别为μi,t,Σi,t，则高斯混合模型P(It)表示为：步骤(12)：根据建立的高斯混合背景模型使用背景减除法获取行人目标的候选搜索区域。通过上述技术方案，本专利技术的技术效果：根据红外监控视频中行人的运动特征，采用高斯混合背景模型对红外视频监控区域进行背景建模，提取出红外监控视频中的候选搜索区域。优选的，在上述一种结合运动特征和头肩结构的行人检测与统计方法中，所述步骤(2)具体的步骤包括：步骤(21)：根据红外监控视频中行人头肩结构的显著稳定性特征，为行人头肩目标提取具有头肩结构轮廓信息的HOG梯度特征，表示为其中D表示HOG梯度特征的维数，Nh为头肩区域HOG梯度特征个数；步骤(22)：根据所述步骤(21)为行人头肩图像提取的HOG梯度特征利用支持向量机SVM对其建立行人头肩检测器模型步骤(23)：根据所述步骤(1)提取的头肩候选搜索区域，使用步骤(22)头肩检测器模型进行多尺度检测，获取头肩区域位置优选的，在上述一种结合运动特征和头肩结构的行人检测与统计方法中，所述步骤(3)具体的步骤包括：步骤(31)：根据红外监控视频中行人整体结构信息，为其提取HOG梯度特征表示为其中D表示HOG梯度特征的维数，Nb为行人整体目标HOG梯度特征个数；步骤(32)：根据所述步骤(本文档来自技高网...

【技术保护点】
1.一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，具体步骤包括：步骤(1)：对红外监控视频通过K个高斯分布η(Xt,μi,t,Σi,t)i＝1,2,…,K建立高斯混合背景模型，并根据所述高斯混合背景模型进行运动检测，获得行人目标的候选搜索区域；步骤(2)：对红外监控视频中的行人头肩结构建立头肩检测器模型

【技术特征摘要】
1.一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，具体步骤包括：步骤(1)：对红外监控视频通过K个高斯分布η(Xt,μi,t,Σi,t)i＝1,2,…,K建立高斯混合背景模型，并根据所述高斯混合背景模型进行运动检测，获得行人目标的候选搜索区域；步骤(2)：对红外监控视频中的行人头肩结构建立头肩检测器模型并在所述步骤(1)提取的目标候选搜索区域上，利用所述头肩检测器模型进行多尺度检测，获取视频图像序列第t帧中第i个行人目标的头肩区域位置其中表示头肩区域框在图像中的左上角像素位置，表示头肩区域框在图像中宽度和高度；步骤(3)：对红外监控视频中的行人整体目标建立行人整体检测器模型并基于所述头肩检测器模型检测到的行人头肩区域位置结合行人头肩区域与行人整体区域之间的空间位置距离约束信息对行人头肩区域约束下的搜索区域使用行人整体检测器模型进行多尺度检测，获取与头肩区域相对应的行人整体区域位置其中表示行人整体区域框在图像中的左上角像素位置，表示行人整体区域框在图像中宽度和高度；步骤(4)：结合步骤(2)和步骤(3)的头肩检测器模型和行人整体检测器模型利用行人头肩区域与行人整体区域之间的空间位置距离约束信息构建级联目标模型wTψ(X)，使级联目标模型wTψ(X)对非行人目标具有头肩结构相似背景的干扰区域进行抑制；步骤(5)：对行人头肩区域利用核相关滤波跟踪算法构建基于头肩检测器的多目标跟踪模型，并对红外视频检测出的行人头肩跟踪区域进行实时地在线学习，自适应地更新跟踪目标在不同时间段、不同光照、不同温度下的目标模型，获取行人的运动轨迹信息；步骤(6)：根据在红外监控视频中设置的关卡位置，结合头肩和行人整体检测器模型的识别结果和多目标跟踪器的运动轨迹信息，实现对红外监控视频中行人目标的精确计数。2.根据权利要求1所述的一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，所述步骤(1)中具体步骤包括：步骤(11)：依据红外监控视频中监控背景受季节、气候、光照、温度的干扰，利用高斯混合模型建立背景模型；其中高斯混合模型由K个高斯分布η(It,μi,t,Σi,t)i＝1,2,…,K的线性组合来模拟背景图像的每一个像素点，η(It,μi,t,Σi,t)是视频序列图像It中第i个高斯分布的概率密度函数，其均值和方差分别为μi,t,Σi,t，则高斯混合模型P(It)表示为：步骤(12)：根据建立的高斯混合背景模型使用背景减除法获取行人目标的候选搜索区域。3.根据权利要求1所述的一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，所述步骤(2)具体的步骤包括：步骤(21)：根据红外监控视频中行人头肩结构的显著稳定性特征，为行人头肩目标提取具有头肩结构轮廓信息的HOG梯度特征，表示为其中D表示HOG梯度特征的维数，Nh为头肩区域HOG梯度特征个数；步骤(22)：根据所述步骤(21)为行人头肩图像提取的HOG梯度特征利用支持向量机SVM对其建立行人头肩检测器模型步骤(23)：根据所述步骤(1)提取的头肩候选搜索区域，使用步骤(22)头肩检测器模型进行多尺度检测，获取头肩区域位置4.根据权利要求1所述的一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，所述步骤(3)具体的步骤包括：步骤(31)：根据红外监控视频中行人整体结构信息，为其...

【专利技术属性】
技术研发人员：李波，张晓伟，胡海苗，王晓燕，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11