一种基于多元空间轨迹关联的行人身份识别方法技术

本发明专利技术公开了一种基于多元空间轨迹关联的行人身份识别方法，本发明专利技术基于行人对象在多元空间的身份属性相互佐证，互为补充的特点，提出将视频空间与地理空间的信息融合，并通过轨迹关联的方式进行不同域空间信息的相似性度量。首先根据检测到的移动设备定位的地理轨迹筛选已知路径上的视频图像，再利用隐马尔可夫模型理论(HMM)对图像路径建立隐马尔可夫模型，最后使用维特比算法找到最大关联概率的图像路径，检索出目标人物在已知地理路径上每一个监控点下的图像。在大规模开放场景下进行行人身份识别的问题中，本发明专利技术方法能够大大提升计算准确率。

A method of pedestrian identification based on multi space track association

【技术实现步骤摘要】
一种基于多元空间轨迹关联的行人身份识别方法
本专利技术属于监控视频检索
，涉及一种行人身份识别方法，具体涉及一种多元轨迹关联的行人身份识别方法。技术背景随着监控视频在公安业务的广泛应用，从视频录像中发现案件线索、追踪嫌疑目标的视频侦查技术已成为继刑事技术、行动技术、网侦技术之后侦查破案的第四大技术手段，在案件侦破中发挥着日益重要的作用。目前行人重识别技术作为视频侦查技术的主要技术之一发展迅速，其主要关注行人的外观特征进行度量计算。但在真实的侦查环境中，需要从大范围的搜索场景下检索目标人员，在大范围的搜索场景下，监控摄像机覆盖范围广，监控背景变化大；监控时间跨度大，同一行人由于姿态变化导致外观变化较大；在监控场景下存在大量无关人员，他们可能与目标人员具有相似的外观特征：实际监控场景下的上述特点给行人身份识别带来巨大的挑战。传统的身份识别方法(文献1、文献2、文献3)利用监控视频内容进行分析，是指在无覆盖的摄像机视角下在图像候选库中检索与查询图像包含同一个行人的图像，分为基于行人外观特征和基于时空约束的身份识别方法。基于行人外观特征的方法旨在寻求鲁棒和稳定的视觉特征或者为这些特征找到合适的度量方法，然而由于在搜索场景下，无关人员可能由于服饰和姿态一致性与目标人员由相似的外观，相同的人可能由于姿态和背景变化导致外观差异较大，因此基于行人外观特征的身份识别方法难以突破其面临的技术障碍。基于时空约束的行人身份识别方法关注行人在不同摄像头下的时空转移模式，忽视了视觉数据和时空数据的强关联关系，由于现有的带有时空信息的训练数据是非有限，识别性能极易受到影响；此外，在长时间的跨度下，同一行人极有可能反复出现在同一个摄像机下，在统计时空转移规律时容易产生较大的计算误差。因此，只利用监控视频信息进行分析难以应对在大范围搜索场景下带来的特殊挑战，需要在监控视频信息之外添加新的要素协同进行行人身份识别。在大数据时代，人们获取信息的途径变得多种多样。比如监控视频能够跟踪行人的视觉图像；移动设备可以跟踪行人的地理位置等。行人对象在多元空间具有多元身份属性，根据对象行为的时空一致性规律，行人对象的行为在视频图像、地理空间等多元空间中相互佐证、互为补充，具有多源、多域等特点。因此，有望通过不同域空间(视频空间和地理空间)信息融合的方法进行行人身份识别。然而，传统视频图像等单域空间的属性信息结构性质相同，可以直接进行相似度计算，但视频图像与地理信息属于不同域空间属性，之间却发现是关系，异域空间属性之间的融合变得非常困难。对于这种情况，需要把视频图像和地理信息转化成同一维度下的信息再进行度量。[文献1]QianX,FuY,JiangYG,etal.Multi-scaleDeepLearningArchitecturesforPersonRe-identification[J].2017.[文献2]WangG,LaiJ,HuangP,etal.Spatial-TemporalPersonRe-identification[J].2018.[文献3]LvJ,ChenW,LiQ,etal.UnsupervisedCross-datasetPersonRe-identificationbyTransferLearningofSpatial-TemporalPatterns[J].2018.
技术实现思路
为了解决上述技术问题，本专利技术提供了一种多元空间轨迹关联的行人身份识别方法。本专利技术所采用的技术方式是：一种基于多元空间轨迹关联的行人身份识别方法，其特征在于，包括以下步骤：步骤1：根据检测到的移动设备定位的地理轨迹筛选已知路径上的视频图像；步骤2：利用隐马尔可夫模型理论对图像路径建立隐马尔可夫模型；步骤3：使用维特比算法找到最大关联概率的图像路径，检索出目标人物在已知地理路径上每一个监控点下的图像。本专利技术解决了在长距离、范围广、非目标人数多的大规模搜索场景下检索目标人物的问题，并且利用行人对象在图像空间、地理空间等多元空间行为轨迹的时空一致性规律进行相似性度量计算。本专利技术针对不同域空间数据异质异构、难以直接度量的问题，提出一种全新的多元空间对象关联的方法。在该模型下，能够在已知观测路径(地理路径)的条件下挖掘隐藏的最大概率的图像路径，从而准确定位目标人物的身份。本专利技术根据轨迹相似度排序计算识别准确率，现有方法仅考虑单个点上的识别率，本专利技术同时考虑轨迹上各个点上全局识别准确率，采用CMC曲线中的Rank-1的计算和mAP值作为轨迹识别准确率的综合评价指标。本专利技术提供的身份识别方法具有以下优点和积极效果：(1)与传统的身份识别技术相比，本专利技术解决了一个新问题，即在大规模搜索场景下检索目标行人图像的问题。(2)与传统的针对监控视频内容分析的技术相比，本专利技术提出了将监控视频空间与地理空间信息融合分析进行行人身份识别。(3)与传统的多元数据融合的技术相比，本专利技术提出通过异域轨迹关联的方法进行多元数据融合。附图说明图1为本专利技术实施例的流程图；图2为本专利技术实施例的原理图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图对本专利技术做进一步的详细描述，应当理解，此处所描述的实施实例仅用于说明和解释本专利技术，并不用于限定本专利技术。请见图1、图2，本专利技术提供的一种基于多元空间轨迹关联的行人身份识别方法，包括以下步骤：步骤1：根据检测到的移动设备定位的地理轨迹筛选已知路径上的视频图像；本实施例中，根据移动设备信号路径提取摄像机网络下符合时间约束的全部图像，并检索已知路径上的监控点信息；移动设备信号路径p由GPS定位信息(Lngi，Lati)和时间戳信息ti两种信息进行描述，形式如下：p＝{(Lng1，Lat1，t1)，(Lng2，Lat2，t2)，...，(Lngi，Lati，ti)…，(Lnge，Late，te)}；其中，Lngi表示定位点的经度，Lngi表示定位点的纬度。提取摄像机网络下符合时间约束的全部图像和检索已知路径上的监控点信息，具体实现包括以下子步骤：步骤1.1：获取移动设备信号路径的起点时间t1和终点时间te，在摄像机网络下提取在[t1，te]时间段内被捕捉的图像，形成候选集；步骤1.2：遍历移动设备信号路径下的每一个定位点信息，以定位点为圆心，半径为50米，搜索覆盖范围内的摄像头，将移动设备信号路径转化成摄像机网络下的摄像机序列；表示形式如下：ck＝{i-cj|1≤i≤n，1≤j≤N}；其中，i表示路径监控点索引，ck第k条移动设备信号路径的监控点序列，cj表示在监控点序列中的第j个监控摄像机；j表示摄像机网络下的摄像机索引，n表示地理路径上的监控点数量，N表示摄像机网络下的摄像机数量。步骤2：利用隐马尔可夫模型理论对图像路径建立隐马尔可夫模型；本实施例中，步骤2的具体实现包括本文档来自技高网...

【技术保护点】
1.一种基于多元空间轨迹关联的行人身份识别方法，其特征在于，包括以下步骤：/n步骤1：根据检测到的移动设备定位的地理轨迹筛选已知路径上的视频图像；/n步骤2：对图像路径建立隐马尔可夫模型；/n步骤3：找到最大关联概率的图像路径，检索出目标人物在已知地理路径上每一个监控点下的图像。/n

【技术特征摘要】
1.一种基于多元空间轨迹关联的行人身份识别方法，其特征在于，包括以下步骤：
步骤1：根据检测到的移动设备定位的地理轨迹筛选已知路径上的视频图像；
步骤2：对图像路径建立隐马尔可夫模型；
步骤3：找到最大关联概率的图像路径，检索出目标人物在已知地理路径上每一个监控点下的图像。


2.根据权利要求1所述的基于多元空间轨迹关联的行人身份识别方法，其特征在于：步骤1中，根据移动设备信号路径提取摄像机网络下符合时间约束的全部图像，并检索已知路径上的监控点信息；
所述移动设备信号路径p由GPS定位信息(Lngi,Lati)和时间戳信息ti两种信息进行描述，形式如下：
p＝{(Lng1,Lat1,t1),(Lng2,Lat2,t2),...,(Lngi,Lati,ti)...,(Lnge,Late,te)}；
其中，Lngi表示定位点的经度，Lngi表示定位点的纬度；
所述提取摄像机网络下符合时间约束的全部图像和检索已知路径上的监控点信息，具体实现包括以下子步骤：
步骤1.1：获取移动设备信号路径的起点时间t1和终点时间te，在摄像机网络下提取在[t1,te]时间段内被捕捉的图像，形成候选集；
步骤1.2：遍历移动设备信号路径下的每一个定位点信息，以定位点为圆心，半径为50米，搜索覆盖范围内的摄像头，将移动设备信号路径转化成摄像机网络下的摄像机序列；表示形式如下：
ck＝{i-cj|1≤i≤n,1≤j≤N}；
其中，i表示路径监控点索引，ck第k条移动设备信号路径的监控点序列，cj表示在监控点序列中的第j个监控摄像机；j表示摄像机网络下的摄像机索引，n表示地理路径上的监控点数量，N表示摄像机网络下的摄像机数量。


3.根据权利要求2所述的基于多元空间轨迹关联的行人身份识别方法，其特征在于，步骤2的具体实现包括以下子步骤：
步骤2.1：计算隐藏状态转移概率矩阵集合；
所述隐藏状态转移概率矩阵集合A是由移动设备信号路径对应的摄像机序列中每两个相邻的摄像机间的状态转移概率矩阵组成；
A＝{[spq]γ|1≤γ≤n-1}；
其中γ表示状态转移矩阵的索引，n表示已知路径上的监控点数，[spq]表示转移概率矩阵，由两个相邻监控点下的状态转移概率组成；
所述状态转移概率是指候选集中任意两张图像的视觉相似度，用表示，表示地理路径上第i-1个监控点下的第p张图像，表示地理路径上第i个监控点下的第q张图像；
步骤2.2：计算初始概率矩阵；
所述初始状态概率矩阵π由第一个监控点下每个图像的初始概率组成；
π＝{πt|1≤t≤m}；
其中m表示在第一个监控点下的图像数量，πt表示每一个图像是目标人物图像的概率；所述初始状态概率是指在第一个监控点下的图像是目标人物图像的概率；
步骤2.3：计算观测概率矩阵；
所述观测概率矩阵B是指当前图像生成可观测监控点的概率；



其中，Si表示当前图像，为被第i个监控点捕捉的第q张图像；的含义为在已知路径上当前监控点的状态是的条件下，被摄像机cj捕捉的概率；
步骤2.4：建立隐马尔可夫模型λ；
λ＝(A,B...

【专利技术属性】
技术研发人员：陈军，黄文心，李东阳，高熙越，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42