一种基于时空信息叠加深度特征的行人轨迹归档方法技术

本发明专利技术公开了一种基于时空信息叠加深度特征的行人轨迹归档方法，包括如下步骤：步骤1：先对摄像头记录的场景大图做人脸检测和行人检测，各自通过质量过滤之后提取行人和人脸的深度特征，对于每个人脸和行人检测框，基于其当前所处的位置以及特征，与上一条数据流中的人脸和行人检测框进行跟踪算法匹配；步骤2：形成人脸和行人各自的跟踪序列，再使用人脸和行人匹配算法，判断当前画面哪个人脸检测框和行人检测框是能够匹配到同一人，若能匹配到一起，则人脸和行人设定为同一个id，并形成一个人员的子集；若不能匹配到一起，则各自为一个id并形成独自的子集。本发明专利技术在实际的使用中能够使得最终生成的档案纯度较高、散度较低。散度较低。

【技术实现步骤摘要】
一种基于时空信息叠加深度特征的行人轨迹归档方法


[0001]本专利技术涉及一种人脸识别
，具体涉及一种基于时空信息叠加深度特征的行人轨迹归档方法。

技术介绍

[0002]在公开号为CN111126208A的专利技术专利中写到，将检测到的行人通过质量分数过滤之后分为含有人脸子集和无人脸子集，其中无人脸子集就是上述中的行人主体。在此之后，无人脸子集与已经归档中的人物中的无人脸子集进行特征相似度的匹配，当相似度超过某一个设定的阈值之后，便认为这两个比较的目标属于同一个行人；有人脸的子集则与已归档的有人脸的行人行进特征相似度的匹配，当超过设定的人脸相似度阈值之后，便认为这两个比较的目标属于同一个行人。同时，该专利中也提到，会去计算同一张包含多个行人的场景原图中每个行人检测框与人脸检测框的IOU，IOU越大则这两个检测框属于同一个人的概率则也越大，从而将判断为属于同一个人的行人子集和人脸子集归档。
[0003]IOU，文中关于行人检测框和人脸检测框的IOU的计算方式为两个检测框相交的面积除以两个检测框相并的面积人员档案中纯度和散度的定义，同一个人员档案中如果只包含一个人的行人和人脸，则我们认为它是纯的，否则是不纯的。假设同一个行人和人脸为一个id，那么同一个档案下包含的id数越少，这个档案的纯度越高，当只包含一个id的时候，纯度为1；如果容一个id被分为了不同的档案，那么这个id就散了，同一个id被分为的档案数越少，那么散度就越小，当一个id就是一个档案时，散度为1。理论上纯度的取值范围是(0, 1]，越大越好；散度的取值范围为[1, +∞)，越小越好。
[0004]当部分行人穿着比较相似的时候，使用行人再识别技术得到被判断为同一人的两个行人子集可能不是同一个人，当一个行人检测框里面出现两个人脸检测框的时候，如果他们的IOU都一样大，这个时候就很难得出哪个人脸检测框和行人检测框能真正匹配成一个人。另外，现有的行人归档方法还存在对行人图像的信息利用率较低的问题，比如行人的类似性别、年龄等诸多属性都没有使用到，以及缺乏对时间以及空间关系的利用，导致最后归档的行人可能存在不是同一个人的情况。
[0005]现有的技术方案中，比较完善一点的方案就是使用人脸识别技术得到人脸的特征，使用行人再识别技术得到行人的特征，通过计算人脸检测框和行人检测框的IOU来判断是否属于同一个人，然后进行归档。其中，包含人脸的子集则与已归档的行人中包含人脸子集的行人进行人脸特征相似度的比较，无人脸的子集则与已归档的行人中无人脸子集的行人进行行人特征相似度的比较，若相似度超过某个阈值，则归于同一个人物的档案；若相似度不达阈值，则新建人物档案。然而在进行无人脸子集相似度匹配的时候，神经网络模型通常是根据行人的着装服饰等方面来生成特征的，当人物的服饰一旦比较相似的时候，这个时候两个子集的相似度会变得非常高，而且，随着时间线的拉长，同一个人物档案里面出现了不同服饰的行人子集，那么就更容易与另一个人物档案中的行人子集发生高相似度匹配了，由此带来的问题便是一个人物档案里面的行人并不都是同一个人。如果不加以时间以
及空间的限制的话，一个城市可能多达上千万人的档案，互相匹配到高相似度的概率将会非常高。即使是在当前人脸识别技术已经发展的非常前沿的条件下，人员档案在上万数量级的前提下，或许很难出错，但是如果不加以时间空间限制，面临上千万的数量级，还是会出现误把两个人当成一个人的情况。
[0006]而且，在现有的技术中，随着日积月累，人员档案中的数据量会堆积的越来越多，如果不加以处理，将当前检测到的人脸和行人与档案中子集进行特征相似度匹配的时候，会因为庞大的数据量导致计算性能大大降低。
[0007]这种情况的一般解决方法是把特征相似度的阈值提高，但是这样做的后果就是可能会导致本来应该是同一个人的档案没有被归为一起，从而导致我们最终生成的人员档案的散度很大。

技术实现思路

[0008]本专利技术的目的在于提供一种基于时空信息叠加深度特征的行人轨迹归档方法，其在实际的使用中能够使得最终生成的档案纯度较高、散度较低。
[0009]为解决上述技术问题，本专利技术所采用的技术方案是：一种基于时空信息叠加深度特征的行人轨迹归档方法，包括如下步骤：步骤1：先对摄像头记录的场景大图做人脸检测和行人检测，各自通过质量过滤之后提取行人和人脸的深度特征，对于每个人脸和行人检测框，基于其当前所处的位置以及特征，与上一条数据流中的人脸和行人检测框进行跟踪算法匹配；步骤2：形成人脸和行人各自的跟踪序列，再使用人脸和行人匹配算法，判断当前画面哪个人脸检测框和行人检测框是能够匹配到同一人，若能匹配到一起，则人脸和行人设定为同一个id，并形成一个人员的子集；若不能匹配到一起，则各自为一个id并形成独自的子集；步骤3：将这些子集与已有的人员档案中符合条件的进行搜索以及相似度匹配，如果与已有的人员档案相似度匹配成功，则把该子集加入到已有的人员档案中去，否则新建一个人员档案。
[0010]其中，步骤1中，对摄像头记录的场景大图做人脸检测和行人检测，得到若干个人脸检测框和行人检测框，此处检测采用已经训练好的神经网络模型去做的检测。
[0011]进一步优化，步骤2中，将检测到的人脸框和行人框与上一条数据流中的人脸框和行人框通过跟踪算法做位置和特征匹配时，将能与上一条数据流中的已存在id的人脸或者行人匹配成功的人脸或者行人检测框赋予相对应的id；如果是冷启动初始化的时候，这个时候系统还未建立任何id，则会为第一条数据中的每个人脸检测框和行人检测框新建赋予一个id。
[0012]其中，步骤3中，进行搜索以及相似度匹配时，对当前数据中检测到的人脸和行人检测框做关联，这里使用统计的方式来做人脸与行人的关联；基于历史的数据统计，得到一个人脸检测框在行人检测框中的分布概率图，如果人脸框越靠近行人框的中间上边，则该人脸属于该人体的概率越大，人脸与行人关联成功之后，他们的id则变为同一个。
[0013]其中，对已有的id，分为无人脸子集和有人脸子集，每一个id都向已归档的人员档案中进行搜索，此处搜索是通过时间和空间的限制缩小了搜索范围；
根据当前摄像头的朝向信息，以及连续抓拍到的行人的朝向信息，推断出行人的行进方向，从该人员最后一次出现在摄像头画面开始计算，按照正常的步行速度计算得出该行人从当前摄像头行走到下个可能相邻的摄像头之间的时间范围，通过该时间范围以及可能出现的空间范围，将已归档的人员档案缩小搜索范围，从而提高搜索速度和精度。
[0014]进一步优化，当某一个id与已归档的人员档案中的某一个id的特征相似度超过设定阈值的时候，则认为他们属于同一个人，记录当前该人员的id，并在一段时间后选取该id的人员子集中具有代表性的数据进行归档。
[0015]其中，在代表人员子集的选取上，针对同一个id的行人和人脸检测框，根据行人选取不同角度、不同姿态以及时间跨度相对较大的数据进行存储。
[0016]与现有技术相比，本专利技术具有以下有益效果：本专利技术在人脸和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空信息叠加深度特征的行人轨迹归档方法，其特征在于，包括如下步骤：步骤1：先对摄像头记录的场景大图做人脸检测和行人检测，各自通过质量过滤之后提取行人和人脸的深度特征，对于每个人脸和行人检测框，基于其当前所处的位置以及特征，与上一条数据流中的人脸和行人检测框进行跟踪算法匹配；步骤2：形成人脸和行人各自的跟踪序列，再使用人脸和行人匹配算法，判断当前画面哪个人脸检测框和行人检测框是能够匹配到同一人，若能匹配到一起，则人脸和行人设定为同一个id，并形成一个人员的子集；若不能匹配到一起，则各自为一个id并形成独自的子集；步骤3：将这些子集与已有的人员档案中符合条件的进行搜索以及相似度匹配，如果与已有的人员档案相似度匹配成功，则把该子集加入到已有的人员档案中去，否则新建一个人员档案。2.根据权利要求1所述的一种基于时空信息叠加深度特征的行人轨迹归档方法，其特征在于：步骤1中，对摄像头记录的场景大图做人脸检测和行人检测，得到若干个人脸检测框和行人检测框，此处检测采用已经训练好的神经网络模型去做的检测。3.根据权利要求2所述的一种基于时空信息叠加深度特征的行人轨迹归档方法，其特征在于：步骤2中，将检测到的人脸框和行人框与上一条数据流中的人脸框和行人框通过跟踪算法做位置和特征匹配时，将能与上一条数据流中的已存在id的人脸或者行人匹配成功的人脸或者行人检测框赋予相对应的id；如果是冷启动初始化的时候，这个时候系统还未建立任何id，则会为第一条数据中的每个人脸检测框和行人检测框新建赋予一个id。4.根据权利要求3所述的一种基于时空信...

【专利技术属性】
技术研发人员：赵凌园，杨振宇，张焰，康若帆，陆汪，
申请(专利权)人：眉山环天智慧科技有限公司，
类型：发明
国别省市：