非重叠视域跨摄像机室内行人目标跟踪方法及系统技术方案

本发明专利技术公开了非重叠视域跨摄像机室内行人目标跟踪方法及系统，包括在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵；根据用户所框选需跟踪的行人目标进行单摄像机目标跟踪，获取行人目标样本图像；判断需跟踪的行人目标是否离开当前摄像机视域，若是则停止基于当前摄像机的单摄像机目标跟踪，根据连通关系矩阵，对当前摄像机节点及其所有连通的邻接节点发布行人目标匹配指令，确定目标匹配任务开启时刻和目标匹配任务结束时刻；对接收到行人目标匹配指令的所有摄像机，分别从目标匹配任务开启时刻开始，对拍摄所得视频进行行人检测。本发明专利技术为非重叠视域跨摄像机室内行人目标跟踪与匹配提供了一个实时可靠的技术方案。

【技术实现步骤摘要】
非重叠视域跨摄像机室内行人目标跟踪方法及系统
本专利技术属于视觉跟踪
，具体涉及一种在三维GIS信息辅助下，在多摄像机非重叠室内视域中对行人目标进行跟踪与匹配的技术方案。
技术介绍
随着视频监控技术的发展以及人们对监控产品智能化要求日益提高，多摄像机目标跟踪技术成为人们关注的热点。相比于单摄像机监控视域有限，多摄像机突破了监控视野范围的限制，因而多摄像机目标跟踪能适用于广域视频监控，满足现实需求。多摄像机目标跟踪按摄像机间监控视野是否交叠可分为重叠视域目标跟踪和非重叠视域目标跟踪。由于现实生活中监控区域一般较大，考虑到经济因素，实际上摄像机间不可能都为重叠视域，因此非重叠视域目标跟踪更具现实意义。非重叠视域目标跟踪的主要研究问题有：单摄像机目标跟踪、多摄像机间目标匹配和多摄像机拓扑关系估计。单摄像机目标跟踪是多摄像机目标跟踪的基础。单摄像机目标跟踪算法的难点在于如何设计出鲁棒稳定的跟踪算法，以适应跟踪过程中光照变化、目标遮挡、目标尺度变化以及目标形变，对目标进行实时持续跟踪。单摄像机目标跟踪算法大体上可分为2大类：基于生成模型的目标跟踪和基于判别模型的目标跟踪。基于生成模型的方法通过提取目标特征，在特征空间中对目标区域进行描述，构建目标的表观模型，然后在目标可能出现的区域进行搜索，以具备最小重建误差的图像块作为跟踪目标。该方法的重点在于如何描述目标，构建一个能够完善表达目标(包括不同视角，不同尺度，目标形变等)的模型，以适应跟踪过程中各种干扰。该类方法充分利用了目标的表观信息，对光照和颜色变化不敏感；但是由于未利用背景信息，在复杂背景下易受到干扰；此外，构建鲁棒且高效的外观模型十分困难。基于判别模型的方法则是估计观测数据的条件概率分布，寻找能把目标和背景分离开的最优分类面，将跟踪问题转化成为了一个二分类问题。由于分类边界比较灵活，所以这种跟踪方法的区分性较好。缺点是相对于生成模型方法来说，判别模型方法只能判断目标是哪一类，而不能描述目标的外观，即不能充分反映训练数据本身的特性。Kalal等人于2010提出的TLD(tracking-learning-detection)跟踪算法因其鲁棒性近来受到了广泛的关注。TLD将跟踪算法、检测算法以及更新机制融合在一个统一的框架下来解决跟踪过程中目标形变、部分遮挡等问题。TLD算法由跟踪、检测、融合和更新4个模块组成。由于TLD具有检测更能，当目标离开后再次出现，依然能够捕获目标，继续跟踪，这一优点是很多跟踪算法不具备的。多摄像机间目标匹配是非重叠视域跨摄像机目标跟踪的关键步骤，要解决是目标从一台摄像机视域转移到另一台摄像机视域的再识别问题。与单摄像机下目标匹配不同，由于不同摄像机参数不同，目标所处的环境光照也不同，造成同一目标在不同摄像机下成像差异很大，给目标匹配带来了很大困难。传统的方法是建立不同摄像机间的亮度转移函数BTF(brightnesstransferfunction)以补偿目标在不同摄像机中颜色差异，提高匹配精度。但是BTF需要标记训练样本进行监督学习，自动化程度低。而且环境光照变化时，亮度转移函数必须重新学习和更新。非重叠视域目标匹配目前主要有2种解决思路：一种从特征出发，设计不变性区分性强的特征，提取这类特征进行目标匹配；另一种是从距离测度出发，通过监督学习训练出优秀的距离测度，使同类样本距离小而非同类样本距离大。测度学习方法对特征的选择要求较低，通常能取得更好的再识别效果。但在场景和目标变化时需要重新训练，适应性差。多摄像机间拓扑关系估计通常是人工标定或者通过自学习得到摄像机的拓扑关系后建立目标在摄像机间转移的时空约束。例如，Javed等提出一种学习摄像机拓扑关系和路径间转移概率的算法，该算法需要手动标注一些目标关联对，然后进行训练，计算摄像机节点间的可能连接关系和每对连接的转移时间概率分布。多摄像机间拓扑关系估计一般需要人工参与，实现较为复杂。
技术实现思路
本专利技术的目的在于针对现有技术的缺点和不足，提出了一种非重叠视域跨摄像机室内行人目标跟踪技术方案，在三维GIS信息的辅助下，获取多个摄像机间的拓扑关系，实现单个行人跨摄像机的持续跟踪。本专利技术所采用的技术方案提供一种非重叠视域跨摄像机室内行人目标跟踪方法，包括以下步骤：步骤1，在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵，包括标注各摄像机相应视频图像上的入口线和出口线在三维GIS模型中的对应位置，所有的入口线和出口线分别作为一个节点，在三维GIS模型中对所有节点进行空间分析，得到摄像机间的连通关系及邻接连通节点间的空间距离，建立摄像机间的连通关系矩阵S如下，其中，i＝1,2,…k，j＝1,2,…k，k表示摄像机的总数；表示第i号摄像机的a节点到第j号摄像机的b节点的空间距离，a＝A,B，b＝A,B；步骤2，根据用户在某个摄像机拍摄的视频图像中所框选需跟踪的行人目标，进行单摄像机目标跟踪，获取行人目标样本图像，记该摄像机为当前摄像机；所述单摄像机目标跟踪，根据对摄像机实时拍摄的当前图像帧所提取前景目标实现，提取前景目标采用适用于视频图像序列的通用的背景减除算法；步骤3，根据步骤2的单摄像机目标跟踪结果，判断需跟踪的行人目标是否离开当前摄像机视域，若是则停止基于当前摄像机的单摄像机目标跟踪，记录目标离开第i号摄像机视域的时刻进入步骤4，若否则返回步骤2持续进行单摄像机目标跟踪；步骤4，根据连通关系矩阵，对当前摄像机节点及其所有连通的邻接节点发布行人目标匹配指令，确定目标匹配任务开启时刻和目标匹配任务结束时刻；当前摄像机的目标匹配任务开启时刻为目标匹配任务结束时刻为其中为当前摄像机的预设目标匹配任务时长对于其他所有连通的邻接节点，根据连通关系矩阵S，计算目标匹配任务开启时刻和目标匹配任务结束时刻计算方法如下，设当前摄像机节点为第i号摄像机，第j号摄像机与第i号摄像机邻接，相应的空间距离有其中，Vmax、Vmin分别为行人步速最大、最小值，分别为中的最小值和最大值；步骤5，对接收到行人目标匹配指令的所有摄像机，分别从步骤4所确定的目标匹配任务开启时刻开始，对拍摄所得视频进行行人检测，对检测得到的候选行人目标图像和步骤2所得行人目标样本图像分别提取特征并进行匹配；以视频帧中候选行人目标图像为候选目标，以步骤2所得行人目标样本图像为原始目标，若出现某一候选目标与行人目标匹配度大于阈值，则认为该候选目标为行人目标，匹配成功，将该候选目标所在摄像头作为新的当前摄像机，返回步骤2对该候选目标进行单摄像头目标跟踪，并停止所有的匹配任务；否则继续执行匹配任务，直到匹配成功，或者接收到行人目标匹配指令的所有摄像机都达到目标匹配任务结束时刻。而且，步骤3判断需跟踪的行人目标是否离开当前摄像机视域的实现方式如下，根据预设边界区域阈值u和关注帧区间K，设当前摄像机的视频图像宽高分别为w、h个像素，图片左上角为(0,0)，步骤2中跟踪获取到的行人目标中心坐标为(x,y)，设第t帧出现x≤u或w-u≤x或y≤u或h-u≤y，则判定目标于第t帧到达图像边界，如果步骤2在第t+1帧到第t+K帧都检测不到目标，判定目标在第t+K帧时已经离开当前摄像机视域，第t+K帧相应时刻为而且，步骤5中，对接收到行人目本文档来自技高网...

【技术保护点】
一种非重叠视域跨摄像机室内行人目标跟踪方法，其特征在于，包括以下步骤：步骤1，在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵，包括标注各摄像机相应视频图像上的入口线和出口线在三维GIS模型中的对应位置，所有的入口线和出口线分别作为一个节点，在三维GIS模型中对所有节点进行空间分析，得到摄像机间的连通关系及邻接连通节点间的空间距离，建立摄像机间的连通关系矩阵S如下，S=s11AAs11ABs12AAs12AB...s1jAA...s1kABs11BAs11BBs12BAs12BB...s1jBA...s1kBBs21AAs21ABs22AAs22AB...s2jAA...s2kABs21BAs21BBs22BAs22BB...s2jBA...s2kBB..................sk1BAsk1BBsk2BAsk2BB...skjBA...skkBB]]>其中，i＝1,2,…k，j＝1,2,…k，k表示摄像机的总数；表示第i号摄像机的a节点到第j号摄像机的b节点的空间距离，a＝A,B，b＝A,B；步骤2，根据用户在某个摄像机拍摄的视频图像中所框选需跟踪的行人目标，进行单摄像机目标跟踪，获取行人目标样本图像，记该摄像机为当前摄像机；所述单摄像机目标跟踪，根据对摄像机实时拍摄的当前图像帧所提取前景目标实现，提取前景目标采用适用于视频图像序列的通用的背景减除算法；步骤3，根据步骤2的单摄像机目标跟踪结果，判断需跟踪的行人目标是否离开当前摄像机视域，若是则停止基于当前摄像机的单摄像机目标跟踪，记录目标离开第i号摄像机视域的时刻进入步骤4，若否则返回步骤2持续进行单摄像机目标跟踪；步骤4，根据连通关系矩阵，对当前摄像机节点及其所有连通的邻接节点发布行人目标匹配指令，确定目标匹配任务开启时刻和目标匹配任务结束时刻；当前摄像机的目标匹配任务开启时刻为目标匹配任务结束时刻为其中为当前摄像机的预设目标匹配任务时长对于其他所有连通的邻接节点，根据连通关系矩阵S，计算目标匹配任务开启时刻和目标匹配任务结束时刻计算方法如下，设当前摄像机节点为第i号摄像机，第j号摄像机与第i号摄像机邻接，相应的空间距离有tjmin=tiout+sijminVmax]]>tjmax=tiout+sijmaxVmin]]>其中，Vmax、Vmin分别为行人步速最大、最小值，分别为中的最小值和最大值；步骤5，对接收到行人目标匹配指令的所有摄像机，分别从步骤4所确定的目标匹配任务开启时刻开始，对拍摄所得视频进行行人检测，对检测得到的候选行人目标图像和步骤2所得行人目标样本图像分别提取特征并进行匹配；以视频帧中候选行人目标图像为候选目标，以步骤2所得行人目标样本图像为原始目标，若出现某一候选目标与行人目标匹配度大于阈值，则认为该候选目标为行人目标，匹配成功，将该候选目标所在摄像头作为新的当前摄像机，返回步骤2对该候选目标进行单摄像头目标跟踪，并停止所有的匹配任务；否则继续执行匹配任务，直到匹配成功，或者接收到行人目标匹配指令的所有摄像机都达到目标匹配任务结束时刻。...

【技术特征摘要】
1.一种非重叠视域跨摄像机室内行人目标跟踪方法，其特征在于，包括以下步骤：步骤1，在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵，包括标注各摄像机相应视频图像上的入口线和出口线在三维GIS模型中的对应位置，所有的入口线和出口线分别作为一个节点，在三维GIS模型中对所有节点进行空间分析，得到摄像机间的连通关系及邻接连通节点间的空间距离，设i＝1,2,…k，j＝1,2,…k，k表示摄像机的总数；表示第i号摄像机的a节点到第j号摄像机的b节点的空间距离，a＝A,B，b＝A,B，建立摄像机间的连通关系矩阵S如下，步骤2，根据用户在某个摄像机拍摄的视频图像中所框选需跟踪的行人目标，进行单摄像机目标跟踪，获取行人目标样本图像，记该摄像机为当前摄像机；所述单摄像机目标跟踪，根据对摄像机实时拍摄的当前图像帧所提取前景目标实现，提取前景目标采用适用于视频图像序列的通用的背景减除算法；步骤3，根据步骤2的单摄像机目标跟踪结果，判断需跟踪的行人目标是否离开当前摄像机视域，若是则停止基于当前摄像机的单摄像机目标跟踪，记录目标离开第i号摄像机视域的时刻进入步骤4，若否则返回步骤2持续进行单摄像机目标跟踪；步骤4，根据连通关系矩阵，对当前摄像机节点及其所有连通的邻接节点发布行人目标匹配指令，确定目标匹配任务开启时刻和目标匹配任务结束时刻；当前摄像机的目标匹配任务开启时刻为目标匹配任务结束时刻为其中为当前摄像机的预设目标匹配任务时对于其他所有连通的邻接节点，根据连通关系矩阵S，计算目标匹配任务开启时刻和目标匹配任务结束时刻计算方法如下，设当前摄像机节点为第i号摄像机，第j号摄像机与第i号摄像机邻接，相应的空间距离有其中，Vmax、Vmin分别为行人步速最大、最小值，分别为中的最小值和最大值；步骤5，对接收到行人目标匹配指令的所有摄像机，分别从步骤4所确定的目标匹配任务开启时刻开始，对拍摄所得视频进行行人检测，对检测得到的候选行人目标图像和步骤2所得行人目标样本图像分别提取特征并进行匹配；以视频帧中候选行人目标图像为候选目标，以步骤2所得行人目标样本图像为原始目标，若出现某一候选目标与行人目标匹配度大于阈值，则认为该候选目标为行人目标，匹配成功，将该候选目标所在摄像头作为新的当前摄像机，返回步骤2对该候选目标进行单摄像头目标跟踪，并停止所有的匹配任务；否则继续执行匹配任务，直到匹配成功，或者接收到行人目标匹配指令的所有摄像机都达到目标匹配任务结束时刻。2.根据权利要求1所述的非重叠视域跨摄像机室内行人目标跟踪方法，其特征在于：步骤5中，对接收到行人目标匹配指令的每个摄像机，分别执行以下步骤：步骤5.1，对摄像机拍摄所得当前帧，采用梯度直方图用于行人检测算法进行行人检测，获取候选行人目标图像；步骤5.2，对当前帧进行前景检测，获取前景目标的掩膜，提取前景目标采用适用于视频图像序列的通用的背景减除算法；步骤5.3，将步骤5.1所得候选行人目标图像和步骤5.2所得前景目标的掩膜作与运算，提取出纯净的行人目标区域，对步骤2所得行人目标样本图像和相应前景目标的掩膜作与运算，提取相应的纯净的行人目标区域；步骤5.4，将步骤5.3从候选行人目标图像和行人目标样本图像提取出的行人目标区域分别作为待提取特征的图像，计算图像的空间直方图，获取空间直方图的相似度ρs；步骤5.5，对步骤5.1所得候选行人目标图像的背景区域填充白色，得到相应图像块a；对步骤2所得行人目标样本图像的背景区域填充白色，得到相应图像块b；对图像块a和图像块b，分别根据比例截取行人目标躯干部分及腿部，得到2个图像块a’和b’；对2个图像块a’和b’分别采用感知hash算法提取指纹后，采用汉明距离来计算2个图像块的相似度ρp；步骤5.6，将步骤5.1所得候选行人目标图像和步骤2所得行人目标样本图像的最终匹配度ρ表示为ρ＝αρs+βρp式中，α、β为预设的权值；步骤5.7，判断步骤5.6所得最终匹配度ρ是否大于预设的阈值，是则认为该候选目标为行人目标，返回步骤2对该候选目标进行单摄像头目标跟踪，并停止所有相关摄像机的匹配任务，否则判断是否达到本摄像机的目标匹配任务结束时刻，是则结束流程，否则返回步骤5.1对下一视频帧继续执行匹配任务。3.一种非重叠视域跨摄像机室内行人目标跟踪系统，其特征在于，包括以下模块：连通关系矩阵构建模块，用于在三维GIS模型的辅助支持下，建立摄像机间的连通关系矩阵，包括标注各...

【专利技术属性】
技术研发人员：眭海刚，吕枘蓬，涂继辉，董亮，蔡肖芋，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42