一种基于步态识别的多模态追踪方法及装置制造方法及图纸

本发明专利技术公开了一种基于步态识别的多模态追踪方法及装置，该追踪方法包括以下步骤：获取由一监控摄像机实时采集的视频序列数据，将视频序列数据输入至序列识别神经网络，所述模型区分出视频序列数据的类型为步态序列数据、人脸序列数据中的一种或两种；根据步态序列数据和人脸序列数据分别匹配数据库中的身份信息，得到第一身份信息和第二身份信息；根据第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息；根据被识别人员的身份信息查询追踪人员信息数据库，判断存在相应的追踪人员信息时，拉响警报并发送追踪人员信息和被识别人员的定位信息至相应部门。本发明专利技术技术方案实现了在仅配备一台监控摄像机的条件下，对追踪人员的多模态生物识别。追踪人员的多模态生物识别。追踪人员的多模态生物识别。

【技术实现步骤摘要】
一种基于步态识别的多模态追踪方法及装置


[0001]本专利技术涉及生物特征识别
，尤其涉及一种基于步态识别的多模态追踪方法及装置。

技术介绍

[0002]现如今，追查追踪人员需要耗费大量的人力、物力、财力和时间，这对公众安全和公共资源形成了非常大的威胁。如何利用现代科技实现高效地追踪人员是亟需解决的问题。人脸识别是一种最常见，且应用最广泛的生物识别技术，与证件识别和指纹识别不同，人脸识别属于非接触式识别，对验证者配合度的要求较低。在技术层面上，人脸识别可通过摄像头自动抓取人脸进行验证，并且可以同时捕获多个人脸进行多人脸的识别，这是接触式识别所不具备的优势。步态识别是一种新颖的生物识别技术，这种识别方式将行人行走的姿态作为一种生物特征，不需要人员的配合就可以实现远距离识别，因而在人员追踪和识别方面有着广泛的应用前景。多模态追踪是指联合两种或以上的识别技术，对目标人员进行识别与追踪。比起单独的使用一种识别技术，多模态识别技术能够降低误检率，从而正确的识别出待检测人员，尤其是在追踪人员方面，有广泛的应用前景。
[0003]人脸识别依靠人员面部特征进行识别，虽然在一般条件下可以达到很高的识别准确率，但其结果极易受到面部伪装或遮挡的影响，通过化妆、整容或戴面具等方式都容易导致识别失败。追踪人员也可能利用他人的人脸图像或视频通过重要关卡，从而逃避本人实际面部被识别。因此，单一的人脸识别技术在重要关卡中的应用还存在较大的安全隐患。步态识别依靠个人惯常的行走姿态进行识别，虽然不易伪装和遮挡，但是单一的步态识别在实际应用中无法实时地去录入与更新人员步态数据信息。
[0004]现有的多模态追踪方法过多的依赖硬件，对仪器和设备的要求较高，且大多通过传感器的方法采集人员的步态信息，需要大量的经费支持，条件要求苛刻，不适合大量推广与应用。此外，靠肉眼观察大量场景的视频寻找线索十分耗时耗力，而且极易错失追踪的最佳时期。

技术实现思路

[0005]本专利技术提供一种基于步态识别的多模态追踪方法及装置，实现了在仅配备一台监控摄像机的条件下，对追踪人员的多模态生物识别。
[0006]本专利技术一实施例提供一种基于步态识别的多模态追踪方法，包括以下步骤：
[0007]获取由一监控摄像机实时采集的视频序列数据后，将所述视频序列数据输入至序列识别神经网络；
[0008]所述序列识别神经网络实时逐帧区分出所述视频序列数据的类型为步态序列数据、人脸序列数据中的一种或两种；
[0009]判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据输入至步态神经网络模型，得到第一高维向量，将所述第一高维向量与步态数据库中的若干第二高维向
量进行相似度比对，得到被识别人员的第一身份信息；
[0010]判断所述人脸序列数据采集到预设的帧数时，将所述人脸序列数据输入至人脸神经网络模型，得到第三高维向量，将所述第三高维向量与人脸数据库中的若干第四高维向量进行相似度比对，得到被识别人员的第二身份信息；
[0011]根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息；
[0012]根据所述被识别人员的身份信息查询追踪人员信息数据库，判断存在相应的追踪人员信息时，拉响警报并发送所述追踪人员信息和所述被识别人员的定位信息至相应部门。
[0013]进一步的，将所述第一高维向量与步态数据库中的若干第二高维向量进行相似度比对，得到被识别人员的第一身份信息，具体为：
[0014]计算所述第一高维向量与步态数据库中的若干第二高维向量之间的L2距离，得到L2距离最小的第一高维向量和第二高维向量；
[0015]选择所述L2距离最小的第二高维向量对应所述步态数据库中的身份信息为被识别人员的第一身份信息。
[0016]进一步的，将所述第三高维向量与人脸数据库中的若干第四高维向量进行相似度比对，得到被识别人员的第二身份信息，具体为：
[0017]计算所述第三高维向量与人脸数据库中的若干第四高维向量之间的L2距离，得到L2距离最小的第三高维向量和第四高维向量；
[0018]选择所述L2距离最小的第四高维向量对应所述人脸数据库中的身份信息为被识别人员的第二身份信息。
[0019]进一步的，根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息，具体包括：
[0020]获取所述第一高维向量和第二高维向量之间的最小L2距离为第一距离；获取所述第三高维向量和第四高维向量之间的最小L2距离为第二距离；所述第一距离越小，对应所述第一身份信息的可信度越高；所述第二距离越小，对应所述第二身份信息的可信度越高；
[0021]判断所述第一距离小于预设阈值，且所述第二距离大于等于所述第一距离时，根据所述第三高维向量和所述第一身份信息更新人脸数据库，并确定所述第一身份信息为被识别人员的身份信息；
[0022]判断所述第二距离小于预设阈值，且所述第一距离大于等于所述第二距离时，根据所述第一高维向量和所述第二身份信息更新步态数据库，并确定所述第二身份信息为被识别人员的身份信息；
[0023]判断所述第一距离和第二距离均小于预设阈值，且所述第一身份信息和第二身份信息为同一人的身份信息时，不更新人脸数据库或步态数据库，并确定所述第一身份信息或所述第二身份信息为被识别人员的身份信息。
[0024]进一步的，所述根据所述各个时频资源的干扰功率值，为不同等级的用户匹配不同的时频资源，具体为：
[0025]根据所述每组资源块的各个时频资源在当前干扰信号下的干扰功率值，将所述每组资源块的时频资源分成一级时频资源和二级时频资源，将所述一级时频资源分配给所述一级用户使用，将所述二级时频资源分配给所述二级用户使用。
[0026]进一步的，根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息，还包括：
[0027]判断所述第一距离和第二距离均大于等于预设阈值时，获取被识别人员的身份证件信息，并验证所述身份证件信息是否属于被识别人员本人；
[0028]验证通过后确定所述身份证件信息为被识别人员的身份信息，并根据所述第一高维向量和所述身份证件信息更新步态数据库，根据所述第三高维向量和所述身份证件信息更新人脸数据库。
[0029]进一步地，判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据输入至步态神经网络模型，具体为：
[0030]判断所述步态序列数据采集到预设的帧数时，对所述步态序列数据依次进行轮廓提取操作、形态学操作和归一化处理后输入至步态神经网络模型。
[0031]进一步地，所述视频序列数据的类型还包括无效序列数据。
[0032]在本专利技术上述方法项实施例的基础上，对应提供了装置项实施例；
[0033]本专利技术另一实施例提供了一种基于步态识别的多模态追踪装置，包括视频序列数据采集模块、视频序列数据分类模块、身份信息匹配模块和追踪人员信息匹配模块；
[0034]其中，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于步态识别的多模态追踪方法，其特征在于，包括以下步骤：获取由一监控摄像机实时采集的视频序列数据后，将所述视频序列数据输入至序列识别神经网络；所述序列识别神经网络实时逐帧区分出所述视频序列数据的类型为步态序列数据、人脸序列数据中的一种或两种；判断所述步态序列数据采集到预设的帧数时，将所述步态序列数据输入至步态神经网络模型，得到第一高维向量，将所述第一高维向量与步态数据库中的若干第二高维向量进行相似度比对，得到被识别人员的第一身份信息；判断所述人脸序列数据采集到预设的帧数时，将所述人脸序列数据输入至人脸神经网络模型，得到第三高维向量，将所述第三高维向量与人脸数据库中的若干第四高维向量进行相似度比对，得到被识别人员的第二身份信息；根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息；根据所述被识别人员的身份信息查询追踪人员信息数据库，判断存在相应的追踪人员信息时，拉响警报并发送所述追踪人员信息和所述被识别人员的定位信息至相应部门。2.根据权利要求1所述的基于步态识别的多模态追踪方法，其特征在于，将所述第一高维向量与步态数据库中的若干第二高维向量进行相似度比对，得到被识别人员的第一身份信息，具体为：计算所述第一高维向量与步态数据库中的若干第二高维向量之间的L2距离，得到L2距离最小的第一高维向量和第二高维向量；选择所述L2距离最小的第二高维向量对应所述步态数据库中的身份信息为被识别人员的第一身份信息。3.根据权利要求2所述的基于步态识别的多模态追踪方法，其特征在于，将所述第三高维向量与人脸数据库中的若干第四高维向量进行相似度比对，得到被识别人员的第二身份信息，具体为：计算所述第三高维向量与人脸数据库中的若干第四高维向量之间的L2距离，得到L2距离最小的第三高维向量和第四高维向量；选择所述L2距离最小的第四高维向量对应所述人脸数据库中的身份信息为被识别人员的第二身份信息。4.根据权利要求3所述的基于步态识别的多模态追踪方法，其特征在于，根据所述第一身份信息和第二身份信息的可信度，确定被识别人员的身份信息，具体包括：获取所述第一高维向量和第二高维向量之间的最小L2距离为第一距离；获取所述第三高维向量和第四高维向量之间的最小L2距离为第二距离；所述第一距离越小，对应所述第一身份信息的可信度越高；所述第二距离越小，对应所述第二身份信息的可信度越高；判断所述第一距离小于预设阈值，且所述第二距离大于等于所述第一距离时，根据所述第三高维向量和所述第一身份信息更新人脸数据库，并确定所述第一身份信息为被识别人员的身份信息；判断所述第二距离小于预设阈值，且所述第一距离大于等于所述第二距离时，根...

【专利技术属性】
技术研发人员：利华康，赵慧民，邱怡丹，
申请(专利权)人：广东技术师范大学，
类型：发明
国别省市：