跨摄像头场景下指定行人在线跟踪方法技术

本发明专利技术涉及一种跨摄像头场景下指定行人在线跟踪方法，通过在任一摄像头视野区域内标定出感兴趣的行人，根据获得的基本信息创建并初始化跟踪器；当指定行人离开当前摄像头视野区域后，将行人状态设置为挂起检测，等待下一步行人数据关联操作；当跟踪视野区域内有新行人进入时，则将挂起状态的行人和新目标行人进行通过关联算法判断是否属于同一个行人；根据基于深度学习的数据关联算法得到两个目标行人的相似值，当相似值大于阈值，则更新对应的跟踪器，进而得到感兴趣目标行人在整个摄像头网络中的完整运动轨迹。本发明专利技术提出的一种跨摄像头场景下指定行人在线跟踪方法，提高了多摄像头场景下非重叠视野区域目标跟踪的实用性和准确度。

【技术实现步骤摘要】
跨摄像头场景下指定行人在线跟踪方法
本专利技术涉及智能安防领域，特别是一种跨摄像头场景下指定行人在线跟踪方法。
技术介绍
随着经济的不断发展，人们对安全的需求与日俱增。因此，安防领域中的智能监控视频的应用范围在不断的扩大，类似于行人跟踪、检索等相关视频智能处理技术开始成为当前研究的热点。其研究范畴从传统技术只针对在单摄像头应用场景开始延展到多摄像头应用场景，研究对象从以前的只对单个行人发展到需要同时对多个行人进行处理。目前，单摄像头下的行人跟踪技术已经相对成熟，但多摄像头，尤其是非重叠视野区域情形下由于盲区的存在使得目标的时空信息变得不再可靠，从而给不同时刻不同空间下不同摄像头中同一目标的识别跟踪和检索造成了很大的困扰。所以，跨摄像头行人跟踪所需要解决的技术难点远比单摄像头场景下得复杂。因此，与之相关的一系列研究正在逐渐兴起。跨摄像头行人跟踪主要是以行人为研究对象，关注非重叠视野区域的多摄像头多目标跟踪问题。这一问题，目前常见的解决机制是分为两个步骤：首先，使用检测和跟踪算法获得目标在单摄像头下得运行轨迹。其次，使用关联算法将摄像头间独立的行人运行轨迹进行关联整合，从而获得每个目标完整的运动轨迹。上述机制的局限在于只能处理离线的数据，本质上适用于检索场景，无法支持在线跟踪。究其原因在于，目标行人离开当前摄像头视域后，由于盲区的存在目标在进入下一摄像头视域时，时空信息均缺失，增加了将目标行人从上一个摄像头正确移交给下一个摄像头的难度。这种机制还产生了副效应:使得跨摄像头行人跟踪的结果严重依赖单摄像头下得行人跟踪效果。实现行人跨摄像头在线跟踪的关键在于将不同视域内的同一目标行人正确关联。针对目前大部分跨摄像头行人跟踪算法中对于行人特征学习能力有限，并不能学习到较为鲁棒的行人特征。因此，最终影响到了后面的行人相似性度量的精度，最终造成了并不理想的数据关联结果。所以很难适应于跨摄像头行人跟踪的复杂环境。尽管现有的跨摄像头指定行人跟踪相关的研究可以比较有效地解决一些对于离线数据的行人跟踪，但是并不能满足对于需要即时在线跟踪的要求，并且也不能在未知行人进出区域的时候进行有效的跟踪。
技术实现思路
本专利技术的目的在于提供一种跨摄像头场景下指定行人在线跟踪方法，以克服现有技术中存在的缺陷。为实现上述目的，本专利技术的技术方案是：一种跨摄像头场景下指定行人在线跟踪方法，，按照如下步骤实现：步骤S1：记N个视野区域非重叠的摄像头为C1,C2,...,CN；在第k帧，记摄像机Ci捕捉到m个行人，为其中，表示捕捉到的目标行人的信息；在第k帧标定为感兴趣目标行人，创建并初始化一跟踪器，保存该目标行人的信息作为后期数据关联的模板；步骤S2：将单摄像头视野区域划分为外围区域和内围区域；当目标行人从当前单摄像头视野外围区域离开时，将该目标行人设置为挂起状态，并等待进行下一步的数据关联操作；步骤S3：通过采用深度卷积孪生网络在线提取新进入的目标行人的特征，对新进入的行人与等待关联的目标行人进行相似性度量；将相似性值作为权值，建立带权值匹配图；对带权值匹配图求解最大权值匹配的解，获取新进入的行人与等待关联的目标行人间的数据关联的解，进而实现对目标行人在线追踪。在本专利技术一实施例中，在所述步骤S1中，所述捕捉到的目标行人的信息包括：行人特征所处位置和时间信息且表示为：在本专利技术一实施例中，在所述步骤S2中，还包括如下步骤：步骤S21：将所述外围区域的上、下、左、右区域相对于整个单摄像头的视野区域所占的比例分别为0.2、0.2、0.2以及0.2；步骤S22：当所述跟踪器判断当前的目标行人已经无法继续跟踪时，且经一检测器检测到该目标行人位于所述外围区域时，将该目标行人设置为挂起状态，并等待下一步的数据关联操作；否则，则判定该目标行人为跟踪失败，并且结束对该目标行人的跟踪。在本专利技术一实施例中，在所述步骤S22中，当所述跟踪器的置信度值小于阈值0.25时，记为所述跟踪器判断当前目标行人已经无法继续跟踪。在本专利技术一实施例中，在所述步骤S3中，记为现实世界中的同一行人不同时刻出现在i,j两个摄像头下，并记为一次关联；通过求解一个关联集合当且仅当是现实世界中的同一行人在不同时刻出现于摄像头i,j下，实现对新进入的行人与等待关联的目标行人间的数据关联的求解。在本专利技术一实施例中，在所述步骤S3中，还包括如下步骤：步骤S31：通过采用用深度卷积孪生网络在线提取新目标行人的特征，构建深度卷积孪生神经基础网络模块R-ResNet；步骤S32：将两个完全相同的R-ResNet通过权重共享的方式，作为深度卷积孪生网络的基础网络；在两个R-ResNet的最后层分别添加一层卷积层，使用2个卷积核，尺寸大小为(1，1，4096)，并将该卷积层获得的特征分别标记为f1和f2；将要计算输入的一对行人的相似性值，转化成对f1和f2特征的相似性比较；步骤S33：引入一个无参数层Square层来对f1和f2特征求解平方差，作为f1和f2相似性比较层，并记该Square层为：fs＝(f1-f2)2；将fs作为两个核大小为1×1×4096的卷积层的输入值，将softmax作为输出函数，输出一个二维向量(q1,q2)，表示输入两个对象属于现实世界中同一个人的概率值；步骤S34：根据所述步骤S33中获得的一对行人间的相似性概率值作为图的权值，将新进入的行人和待关联的目标行人分别作为两个不同的顶点集合，建立所述带权值匹配图；通过求解最大权值匹配图问题的解，获得新进入的行人与等待关联的目标行人间的数据关联的解。在本专利技术一实施例中，在所述步骤S31中，所述深度卷积孪生神经基础网络模块R-ResNet的结构如下：第一层为卷积层：卷积核大小为(7，7，64)，max-pooling为(3,3)，滑动步长为2；第二层到第四层都为卷积层：卷积核大小分别为(1,1,64)、(3,3,64)、(1,1,256)，激活函数都采用ReLu函数；该三层卷积层和激活函数组成一个卷积块；将该卷积块的输入值既作为所述第一层卷积层的输入值，也作为第三层激活函数的输入值；第五层到第七层以及第八层到十层都采用了与第二层到第四层相同的卷积块，卷积核大小以及结构与第二层到第四层完全相同；第十一层到第十三层为卷积层：卷积核大小分别为(1，1，128)、(3，3，128)、(1，1，512)，激活函数都采用ReLu函数；该三层卷积层和激活函数组成一个卷积块；将该卷积块的输入值既作为第一层卷积层的输入值，也作为第三层激活函数的输入值；第十四层到第十六层、第十七层到第十九层以及第二十层到二十二层的结构与第十一层到第十三层完全相同；第二十三层到第二十五层为卷积层：卷积核大小分别为(1，1，256)、(3，3，256)、(1，1，1024)，激活函数都采用ReLu函数；该三层卷积层和激活函数组成一个卷积块；将该卷积块的输入值既作为第一层卷积层的输入值，也作为第三层激活函数的输入值；第二十六层到第二十八层、第二十九层到三十一层、第三十二层到第三十四层、第三十五层到三十七层、第三十八层到第四十层的结构与第二十三层到二十五层完全相同；第四十一层到第四十三层为卷积层：卷积核大小分别为(1，1，512)、(3，3，512)、(1，1，2048)，激活函数本文档来自技高网...

【技术保护点】
1.一种跨摄像头场景下指定行人在线跟踪方法，其特征在于，其特征在于，按照如下步骤实现：步骤S1：记N个视野区域非重叠的摄像头为C1,C2,...,CN；在第k帧，记摄像机Ci捕捉到m

【技术特征摘要】
1.一种跨摄像头场景下指定行人在线跟踪方法，其特征在于，其特征在于，按照如下步骤实现：步骤S1：记N个视野区域非重叠的摄像头为C1,C2,...,CN；在第k帧，记摄像机Ci捕捉到m个行人，为Oi＝{Oi1,...,Oim}；其中，Oia表示捕捉到的目标行人的信息；在第k帧标定为感兴趣目标行人，创建并初始化一跟踪器，保存该目标行人的信息作为后期数据关联的模板；步骤S2：将单摄像头视野区域划分为外围区域和内围区域；当目标行人从当前单摄像头视野外围区域离开时，将该目标行人设置为挂起状态，并等待进行下一步的数据关联操作；步骤S3：通过采用深度卷积孪生网络在线提取新进入的目标行人的特征，对新进入的行人与等待关联的目标行人进行相似性度量；将相似性值作为权值，建立带权值匹配图；对带权值匹配图求解最大权值匹配的解，获取新进入的行人与等待关联的目标行人间的数据关联的解，进而实现对目标行人在线追踪。2.根据权利要求1所述的跨摄像头场景下指定行人在线跟踪方法，其特征在于，在所述步骤S1中，所述捕捉到的目标行人的信息包括：行人特征fia所处位置和时间信息且表示为：3.根据权利要求1所述的跨摄像头场景下指定行人在线跟踪方法，其特征在于，在所述步骤S2中，还包括如下步骤：步骤S21：将所述外围区域的上、下、左、右区域相对于整个单摄像头的视野区域所占的比例分别为0.2、0.2、0.2以及0.2；步骤S22：当所述跟踪器判断当前的目标行人已经无法继续跟踪时，且经一检测器检测到该目标行人位于所述外围区域时，将该目标行人设置为挂起状态，并等待下一步的数据关联操作；否则，则判定该目标行人为跟踪失败，并且结束对该目标行人的跟踪。4.根据权利要求3所述的跨摄像头场景下指定行人在线跟踪方法，其特征在于，在所述步骤S22中，当所述跟踪器的置信度值小于阈值0.25时，记为所述跟踪器判断当前目标行人已经无法继续跟踪。5.根据权利要求1所述的跨摄像头场景下指定行人在线跟踪方法，其特征在于，在所述步骤S3中，记为现实世界中的同一行人不同时刻出现在i,j两个摄像头下，并记为一次关联；通过求解一个关联集合当且仅当是现实世界中的同一行人在不同时刻出现于摄像头i,j下，实现对新进入的行人与等待关联的目标行人间的数据关联的求解。6.根据权利要求1所述的跨摄像头场景下指定行人在线跟踪方法，其特征在于，在所述步骤S3中，还包括如下步骤：步骤S31：通过采用用深度卷积孪生网络在线提取新目标行人的特征，构建深度卷积孪生神经基础网络模块R-ResNet；步骤S32：将两个完全相同的R-ResNet通过权重共享的方式，作为深度卷积孪生网络的基础网络；在两个R-ResNet的最后层分别添加一层卷积层，使用2个卷积核，尺寸大小为(1，1，4096)，并将该卷积层获得的特征分别标记为f1和f2；将要计算输入的一对行人的相似性值，转化成对f1和f2特征的相似性比较；步骤S33：引入一个无参数层Square层来对f1和f2特征求解平方差，作为f1和f2相似性比较层，并记该Square层为：fs＝(f1-f2)2；将fs作为两个核大小为1×1×4096的卷积层的输入值，将softmax作为输出函数，输出一个二维向量(q1,q2)，表示输入两个对象属于现实世界中同一个人的概率值；步...

【专利技术属性】
技术研发人员：余春艳，钟诗俊，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35