一种结合时空和网络一致性的摄像机网络行人重识别方法技术

本发明专利技术公开了一种结合时空和网络一致性的摄像机网络行人重识别方法，对图像进行摄像机对的行人重识别；对摄像机网络和行人之间分别找到距离和时间差信息，对摄像机对确定距离后对行人速度进行估计并给出一先验值，并以此推出时间差应满足的分布，再结合实际的时间差确定该如何修正相似性分数。得到修正项之后通过一个比例参数控制原始相似性分数和时间地点信息在修正的相似性分数前所占重要性。得到修正相似性分数后，再构建网络整体的优化问题，其中优化目标为一全局相似性定义，约束条件为一致性条件。本发明专利技术通过融合了传统摄像机对行人重识别方法，摄像机地理位置，行人时间差等信息，并结合网络一致性，在摄像机网络中执行行人重识别任务。

【技术实现步骤摘要】
一种结合时空和网络一致性的摄像机网络行人重识别方法
本专利技术属于计算机行人比对
，具体为一种结合时空和网络一致性的摄像机网络行人重识别方法，该方法是一种不同摄像机间的多地点行人比对方法。
技术介绍
目前，视频监控在公共安全中发挥的作用越来越大，而行人比对(行人重实别)技术是视频监控中很重要的一方面，比如判断一个摄像机下检测到的行人是否在其它地方出现过，寻找行人在摄像机网络中的行走轨迹等。经对现有技术文献检索发现，现有的行人比对领域的技术解决方案大多围绕着一对摄像机展开，主要分以下三个方面：特征法(featurerepresentation)和度量法(metriclearning)和深度学习法(deeplearning)。特征法寻找检测出的行人更具区分度的特征(参见：NikiMartinelandChristianMicheloni.Re-identifypeopleinwideareacameranetwork.In2012IEEEcomputersocietyconferenceoncomputervisionandpatternrecognitionworkshops，pages31-36.IEEE，2012)，度量法寻找一种度量特征向量间相似性的距离表达方式，使得表示同一个人的特征向量的距离很小，表示不同的人的特征向量间的距离很大(参见LiuYangandRongJin.Distancemetriclearning：Acomprehensivesurvey.MichiganStateUniversiy，2：78，2006.)。深度学习法自动学习更好的特征，例如卷及神经网络(CNN)被广泛用于从行人图片中提取空间信息(参见EjazAhmed，MichaelJones，andTimKMarks.Animproveddeeplearningarchitectureforpersonre-identification.InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition，pages3908-3916，2015.)。这些方法都在摄像机对下的行人重实别任务中取得成功。但是实际的应用场景中摄像机往往是呈网状分布在一片较大的区域中，每个摄像机覆盖一片区域而且相互之间无重叠，因此执行多摄像机下的行人重识别任务是很有意义的。在多摄像机网络的场景中，传统技术解决方案主要面临如下几个问题：1)多台摄像机之间地理位置跨度大，光照，摄像机的角度的差异会更大；2)多台摄像机之间的地理位置和时间信息没有得到利用；3)对每一对摄像机做行人重实别的结果间可能产生矛盾(即一致性条件被破坏)，需要一种优化模型将这类错误剔除(参见：AbirDas，AnirbanChakraborty，andAmitKRoy-Chowdhury.Consistentreidentificationinacameranetwork.InEuropeanConferenceonComputerVision，pages330-345.Springer，2014.)虽然给出了一种优化方案，但并未考虑多个摄像机之间的时间和位置关系。
技术实现思路
针对现有技术中存在的上述不足，本专利技术的目的是提出一种结合时空和网络一致性的摄像机网络行人重识别方法。本专利技术是通过以下技术方案实现的：本专利技术方法基于摄像机网络的时间空间性质，以及目标行人在摄像机网络中的一致性，首先对网络中每对摄像机做一次传统行人重识别，其中特征部分和度量部分均采用领域内公认可用的方法，得到每对摄像机下每一对行人之间的相似性分数。时空性质上，每对行人间有一个时间差，每对摄像机之间有一个地理位置差，相应的会得到一个平均速度，这个平均速度应满足一定的分布，即一种从0开始，先增后减最终再趋于0的分布，该分布表征平均速度取各个值的可能性，并用于优化行人重识别结果。在一致性方面，网络中所有的由三个摄像机组成的摄像机组内两两做行人重识别的结果使用一种不等式来约束他们之间的关系。这个不等式作为最终优化目标的一个约束条件。由于该框架在考虑了传统行人重识别考虑的问题之外，对摄像机网络特有的问题进行了专门建模，因此流程清晰，可以结合网络特性对行人重识别进行优化。达到在摄像机网络中进行行人比对的任务。具体的，一种结合时空和网络一致性的摄像机网络行人重识别方法，包括以下步骤：第一步：对所有检测到的行人做特征提取，然后分别对每对摄像机对之间的行人对做行人重识别，得到每对行人对之间的原始的相似性分数；第二步：利用摄像机的地理位置信息和视频时间戳信息，构建摄像机网络的时间空间约束；步骤包括：步骤2.1，利用每个摄像机所捕获的视频中检测出的行人对应的时间戳，计算每对摄像机对下的每对行人对之间的时间间隔，得到行人对之间的时间差；步骤2.2，找到每个摄像机覆盖区域的中心，记第i个摄像机覆盖的区域中心坐标为(xi，yi)，由摄像机的地理坐标计算每对摄像机对之间的欧氏距离；步骤2.3，利用求出的行人对之间的时间差和摄像机对之间的欧氏距离，配合一个规范函数把时间差过短的行人对的相似性置零，即将时间差过短的行人对作为异常数据uLoss剔除；第三步：将行人对的时间差映射为一个实数，此映射作为修正函数，用来进一步修正原始的相似性分数；第四步：利用修正后的相似性分数，建立摄像机网络下的行人重识别全局优化目标；包括：首先定义一个全局相似性：设目标变量为一指派矩阵；然后找到一种指派矩阵x()，使得这个全局相似性定义的值最大；第五步：利用指派矩阵x()建立一致性约束条件；第六步：求解优化目标所得的解所对应的行人对间的相似性分数置1，得到最终相似性分数，作为行人比对的依据。优选地，第二步中，引入行人速度的经验分布作为规范函数，结合行人对之间的时间差和摄像机对之间的欧氏距离，剔除异常数据uLoss；定义，其中：v1代表行人行走的速度；该速度值可以为经验分布中的经验值，也可以通过数据训练得出的合理值；Δt()代表行人对之间的时间差；代表第i1个摄像机下的第j1个人；代表第i2个摄像机下的第j2个人；代表摄像机对之间的欧氏距离；代表对应摄像机对下的行人对间的最小时间差；当实际时间差小于该值时，则该行人对中不是同一个人，相似性分数置零；i＝1，2，...，m；j＝1，2，...，n，代表一共有m台摄像机，每台摄像机下n个人。优选地，第三步中，定义修正函数，用来修正原始的相似性分数，具体为：其中：R()代表修正函数；Δt()代表行人对之间的时间差；f()代表对时间差的映射；代表第i1个摄像机下的第j1个人；代表第i2个摄像机下的第j2个人；代表摄像机对之间的欧氏距离；i＝1，2，...，m；j＝1，2，...，n，代表一共有m台摄像机，每台摄像机下n个人。优选地，f()为将时间差映射到(0，1)间实数的函数，具有先上升后下降的特性，表达了最终相似性分数修正项与时间差的关系；f()的定义域为时间差需要满足的条件。优选地，第三步中，写出修正函数后，对相似性分数的修正采用了原始相似性分数与修正函数相加，并用一比例常数控制原始相似性分数和修正函数的比例；具体为：其中：d′()代表修正本文档来自技高网...

【技术保护点】
一种结合时空和网络一致性的摄像机网络行人重识别方法，其特征在于，包括以下步骤：第一步：对所有检测到的行人做特征提取，然后分别对每对摄像机对之间的行人对做行人重识别，得到每对行人对之间的原始的相似性分数；第二步：利用摄像机的地理位置信息和视频时间戳信息，构建摄像机网络的时间空间约束；包括：步骤2.1，利用每个摄像机所捕获的视频中检测出的行人对应的时间戳，计算每对摄像机对下的每对行人对之间的时间间隔，得到行人对之间的时间差；步骤2.2，找到每个摄像机覆盖区域的中心，记第i个摄像机覆盖的区域中心坐标为(xi，yi)，由摄像机的地理坐标计算每对摄像机对之间的欧氏距离；步骤2.3，利用求出的行人对之间的时间差和摄像机对之间的欧氏距离，配合一个规范函数把时间差过短的行人对的相似性置零，即将时间差过短的行人对作为异常数据uLoss剔除；第三步：将行人对的时间差映射为一个实数，此映射作为修正函数，用来进一步修正原始的相似性分数；第四步：利用修正后的相似性分数，建立摄像机网络下的行人重识别全局优化目标；包括：首先定义一个全局相似性：设目标变量为一指派矩阵；然后找到一种指派矩阵x()，使得这个全局相似性定义的值最大；第五步：利用指派矩阵x()建立一致性约束条件；第六步：求解优化目标所得的解所对应的行人对间的相似性分数置1，得到最终相似性分数，作为行人比对的依据。...

【技术特征摘要】
1.一种结合时空和网络一致性的摄像机网络行人重识别方法，其特征在于，包括以下步骤：第一步：对所有检测到的行人做特征提取，然后分别对每对摄像机对之间的行人对做行人重识别，得到每对行人对之间的原始的相似性分数；第二步：利用摄像机的地理位置信息和视频时间戳信息，构建摄像机网络的时间空间约束；包括：步骤2.1，利用每个摄像机所捕获的视频中检测出的行人对应的时间戳，计算每对摄像机对下的每对行人对之间的时间间隔，得到行人对之间的时间差；步骤2.2，找到每个摄像机覆盖区域的中心，记第i个摄像机覆盖的区域中心坐标为(xi，yi)，由摄像机的地理坐标计算每对摄像机对之间的欧氏距离；步骤2.3，利用求出的行人对之间的时间差和摄像机对之间的欧氏距离，配合一个规范函数把时间差过短的行人对的相似性置零，即将时间差过短的行人对作为异常数据uLoss剔除；第三步：将行人对的时间差映射为一个实数，此映射作为修正函数，用来进一步修正原始的相似性分数；第四步：利用修正后的相似性分数，建立摄像机网络下的行人重识别全局优化目标；包括：首先定义一个全局相似性：设目标变量为一指派矩阵；然后找到一种指派矩阵x()，使得这个全局相似性定义的值最大；第五步：利用指派矩阵x()建立一致性约束条件；第六步：求解优化目标所得的解所对应的行人对间的相似性分数置1，得到最终相似性分数，作为行人比对的依据。2.根据权利要求1所述的结合时空和网络一致性的摄像机网络行人重识别方法，其特征在于：第二步中，引入行人速度的经验分布作为规范函数，结合行人对之间的时间差和摄像机对之间的欧氏距离，剔除异常数据uLoss；定义，其中：v1代表行人行走的速度；Δt()代表行人对之间的时间差；代表第i1个摄像机下的第j1个人；代表第i2个摄像机下的第j2个人；代表摄像机对之间的欧氏距离；代表对应摄像机对下的行人对间的最小时间差；当实际时间差小于该值时，则该行人对中不是同一个人，相似性分数置零；i＝1，2，...，m；j＝1，2，...，n，代表一共有m台摄像机，每台摄像机下n个人。3.根据权利要求1所述的结合时空和网络一致性的摄像机网络行人重识别方法，其特征在于：第三步中，定义修正函数，用来修正原始的相似性分数，具体为：其中：R()代表修正函数；Δt()代表行人对之间的时间差；f()代表对时间差的映射；代表第i1个摄像机下的第j1个人；代表第i2个摄像机下的第j2个人；代表对应摄像机对下的行人对间的最小时间差。4.根据权利要求3所述的结合时空和网络一...

【专利技术属性】
技术研发人员：杨华，程昭睎，陈琳，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31