一种基于视频监控的行人多目标检测与跟踪方法技术

本发明专利技术公开了一种基于视频监控的行人多目标检测与跟踪方法，首先，通过选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取；接着，建立当前帧运动目标链，同时，对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测；然后，根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况，建立关联矩阵，并将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况；最后，对针对四种不同的情况对运动目标进行相应的处理，并及时更新目标链信息。通过其上过程，精准地实现其检测与跟踪任务，具有鲁棒性更强、精度更准确、适用范围更普遍的优点。

A method of pedestrian multi-target detection and tracking based on video surveillance

【技术实现步骤摘要】
一种基于视频监控的行人多目标检测与跟踪方法
本专利技术属于计算机视觉
，具体涉及一种基于视频监控的行人多目标检测与跟踪方法。
技术介绍
智能视频监控技术是近年来计算机视觉领域的一个研究热点。智能视频监控技术融合了自动控制、图像处理、人工智能以及模式识别等不同领域的先进技术，将计算机视觉与网络化的视频监控相结合，实现视频中运动目标如行人、车辆等物体的检测、识别、跟踪和行为分析等功能，为实时监控和预警提供有效的保证。智能视频监控技术可以极大地减少主观干扰，增强系统的智能化处理能力，有效地增强监控效果。在视频监控中，行人是最重要的活动主体之一，因此对行人的行为分析成为智能视频监控的重要功能部分。而行人行为分析的实现建立行人检测与跟踪的基础上，现实场景中，对行人目标准确而快速的检测和跟踪是一项十分具有挑战性的工作，因为行人在移动时比车辆更具灵活性并且行人是非刚体，轮廓特征在不断变化，不易提取，这给跟踪的准确性以及算法的计算复杂度带来了诸多问题。在行人、车辆等目标检测的领域内，现广泛采用基于视频中感兴趣目标的运动信息的检测算法，比如背景减除法，光流法，帧差法等，上述算法主要利用图像帧与帧之间的相互关系，构建背景图像，实现目标检测，计算简单，具有良好的实时性，但是考虑到光线变化等背景噪声的影响、背景的建立和更新、阴影对目标准确性的干扰等，其检测精度会显著下降。对于目标跟踪而言，分为基于区域的跟踪方法、基于轮廓的跟踪方法、基于特征的跟踪方法和基于模型的跟踪方法，上述跟踪方法缺乏通用性，只能达到特定应用场景的跟踪需求，比如待跟踪目标形状发生变化、运动目标受光照影响、目标在运动期间发生部分或全部遮挡、背景有动态和静态、目标的运动模式突变等等都将给运动目标的准确跟踪带来了很大的挑战。
技术实现思路
有鉴于此，本专利技术的目的在于避免现有技术中的不足而提供一种基于视频监控的行人多目标检测与跟踪方法，其具有鲁棒性更强、精度更准确、适用范围更普遍的优点。本专利技术的目的通过以下技术方案实现：提供一种基于视频监控的行人多目标检测与跟踪方法，包括如下步骤：S100、根据行人目标的形状特点和运动特点，选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取，并完成运动目标链的初始化，即原有目标链；S200、读取下一帧图像，进行目标检测，并为当前帧检测到的目标建立当前帧运动目标链，同时，对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测；S300、根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况，建立关联矩阵，将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况；S400、针对四种不同的情况对运动目标进行相应的处理，并及时更新目标链信息。作为进一步的改进，所述步骤S100具体表现为：S100A、读取视频图像，进行目标检测，找到有运动目标出现的第一帧；S100B、提取目标的中心坐标、长、宽和加权颜色直方图信息，并为每个目标设置一个表示目标遮挡状态的逻辑参数，初始状态设为1，表示目标未发生遮挡，若发生遮挡则置0，完成运动目标链的初始化，即原有目标链。作为进一步的改进，所述步骤S100中目标的加权颜色直方图表示为：式中，l＝(x,y)表示目标区域的中心坐标，lt＝(xt,yt)表示目标区域内像素位置为，其中，t＝1,2,...,z，z为目标区域内像素总数，h为目标矩形区域对角线长度的一半，δ是Delta函数，b(lt)表示lt处的颜色等级，u表示第u级颜色，且u＝1,2,...s，k为加权函数，且k的表达式为：作为进一步的改进，所述步骤S200中通过卡尔曼滤波器进行位置预测具体表现为：1)通过上一时刻状态和协方差矩阵得到当前状态和协方差矩阵的先验估计，即预测方程，其中，当前状态矩阵即k时刻状态的先验估计和协方差矩阵Pk,k-1的表达式为：式中，k-1表示上一时刻，k表示当前时刻，表示上一时刻状态矩阵，A，Q均表示卡尔曼滤波器参数，T表示矩阵倒置，Pk-1表示上一时刻协方差矩阵；2)利用先验估计和观测值得到当前时刻状态的最优估计得到观测更新方程为：式中，Kk表示卡尔曼滤波增益，表示修正状态向量，即k时刻的后验状态估计，Zk表示k时刻的观测值，Pk表示修正协方差矩阵，H、R均表示卡尔曼滤波器参数。作为进一步的改进，所述步骤S300具体表现为：(1)建立关联矩阵D(m,n)，m为原有目标链上的目标个数，n为当前帧目标链上的目标个数，初始化为全零矩阵；(2)将当前帧检测到的目标链上的每个目标与原有目标链上的每个预测后的目标依次求重合面积；(3)设定i为原有目标链中目标的编号，j为当前帧中目标的编号，判断当前帧中的第j个目标与原有目标链中的两个或两个以上的目标的面积重合度roverlap是否大于0.5，若是，则进入步骤(4)，反之，则进入步骤(5)，其中，roverlap的表达式为：式中，Si、Sj分别表示第i个目标、第j个目标的面积，i和j的取值为1,2,...,m；(4)此处有遮挡发生，令关联矩阵D(i,j)＝-1，遮挡涉及的目标的遮挡状态逻辑参数均置为0；(5)此处没有遮挡发生，即状态参数为1，将状态参数为1的目标与当前帧中状态参数为1的目标计算中心距和加权颜色直方图的匹配情况，当同时满足一定的阈值条件时，认为两者匹配，令关联矩阵的对应元素值为1。作为进一步的改进，所述步骤S400通过扫描关联矩阵的值对四种不同的情况对运动目标进行相应的处理，具体表现为：扫描关联矩阵的值，如果D(i,j)＝1，说明当前帧目标链上的第j个目标正好和原有目标链上的第i个目标相匹配，用当前帧的目标信息通过目标状态参数更新对原有目标进行更新；如果D(i,j)＝-1,说明当前帧目标链上的第j个目标和其它目标发生遮挡，此时用卡尔曼预测值来表示其在当前帧中的位置；如果D的第i行均为0，说明原有目标链上的第i个目标在当前帧中没有相应值，即目标消失，从原有目标链中删除其信息；如果D中第j列均为0，表示当前帧目标链的第j个目标为新出现的目标，将其信息添加到原有目标链中。作为进一步的改进，所述目标状态参数更新采用如下更新公式进行：Pi＝βPi+(1-β)Pi-1(15)式中，Pi表示第i帧图像中匹配跟踪成功的目标区域的特征参数，β为尺度因子，表示特征更新的快慢。作为进一步的改进，所述原有目标链中的目标和当前帧目标链中的运动目标的颜色相似度通过余弦距离进行计算，具体表现为：式中，i，j分别表示原有目标链中目标和当前目标链中目标的标号，·表示点积，qu(i)表示原有目标链中第i个目标的加权颜色直方图，qu(j)表示当前帧目标链中第j个目标的加权颜色直方图，ds(i,j)的取值范围为[0,1]，其值越接近1表明两个目标模型的相似度越大。本专利技术提供的一种基于视本文档来自技高网...

【技术保护点】
1.一种基于视频监控的行人多目标检测与跟踪方法，其特征在于，包括如下步骤：/nS100、根据行人目标的形状特点和运动特点，选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取，并完成运动目标链的初始化，即原有目标链；/nS200、读取下一帧图像，进行目标检测，并为当前帧检测到的目标建立当前帧运动目标链，同时，对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测；/nS300、根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况，建立关联矩阵，将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况；/nS400、针对四种不同的情况对运动目标进行相应的处理，并及时更新目标链信息。/n

【技术特征摘要】
1.一种基于视频监控的行人多目标检测与跟踪方法，其特征在于，包括如下步骤：
S100、根据行人目标的形状特点和运动特点，选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取，并完成运动目标链的初始化，即原有目标链；
S200、读取下一帧图像，进行目标检测，并为当前帧检测到的目标建立当前帧运动目标链，同时，对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测；
S300、根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况，建立关联矩阵，将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况；
S400、针对四种不同的情况对运动目标进行相应的处理，并及时更新目标链信息。


2.根据权利要求1所述的基于视频监控的行人多目标检测与跟踪方法，其特征在于，所述步骤S100具体表现为：
S100A、读取视频图像，进行目标检测，找到有运动目标出现的第一帧；
S100B、提取目标的中心坐标、长、宽和加权颜色直方图信息，并为每个目标设置一个表示目标遮挡状态的逻辑参数，初始状态设为1，表示目标未发生遮挡，若发生遮挡则置0，完成运动目标链的初始化，即原有目标链。


3.根据权利要求2所述的基于视频监控的行人多目标检测与跟踪方法，其特征在于，所述步骤S100中目标的加权颜色直方图表示为：



式中，l＝(x,y)表示目标区域的中心坐标，lt＝(xt,yt)表示目标区域内像素位置为，其中，t＝1,2,...,z，z为目标区域内像素总数，h为目标矩形区域对角线长度的一半，δ是Delta函数，b(lt)表示lt处的颜色等级，u表示第u级颜色，且u＝1,2,...s，k为加权函数，且k的表达式为：





4.根据权利要求1所述的基于视频监控的行人多目标检测与跟踪方法，其特征在于，所述步骤S200中通过卡尔曼滤波器进行位置预测具体表现为：
1)通过上一时刻状态和协方差矩阵得到当前状态和协方差矩阵的先验估计，即预测方程，其中，当前状态矩阵即k时刻状态的先验估计和协方差矩阵Pk,k-1的表达式为：



式中，k-1表示上一时刻，k表示当前时刻，表示上一时刻状态矩阵，A，Q均表示卡尔曼滤波器参数，T表示矩阵倒置，Pk-1表示上一时刻协方差矩阵；
2)利用先验估计和观测值得到当前时刻状态的最优估计得到观测更新方程为：



式中，Kk表示卡尔曼滤波增益，表示修正状态向量，即k时刻的后验状态估计，Zk表示k时刻的观测值，Pk表示修正协方差矩阵，H、R均表示卡尔曼滤波器参数。


5.根据权利要求1所述的基于视频监控的行人多目标检...

【专利技术属性】
技术研发人员：刘湘辉，
申请(专利权)人：长沙品先信息技术有限公司，长沙军民先进技术研究有限公司，
类型：发明
国别省市：湖南;43