运用于固定场景关于身份信息和形体信息自动关联的方法技术

本发明专利技术公开了一种运用于固定场景关于身份信息和形体信息自动关联的方法，包括以下步骤：1)场景描述，固定场景，摄像头放置在场景内，人证合一设备放置入口；2)身份检验，被采集人手持身份证，在人证合一设备上进行身份证刷卡核验；3)身份获取，步骤2)身份检验通过的同时，人证合一设备可以读取身份证上的身份信息：姓名、性别、民族、身份证号、证件照等，建库模块通过接口调用获取人证合一设备读取的身份信息；4)形体信息采集；5)特征提取及信息关联。本发明专利技术可以有效保证形体记录的数据真实、有效；同时可以获得多角度的形体特征，形成更加全面的形体特征信息，为后续通过形体实现对人体的检索提供可靠全面的基础数据。

The method of automatic association of identity information and body information in fixed scenes

【技术实现步骤摘要】
运用于固定场景关于身份信息和形体信息自动关联的方法
本专利技术属于人工智能领域，尤其涉及一种运用于固定场景关于身份信息和形体信息自动关联的方法。
技术介绍
人脸识别精度高但可用率低。在夜晚、下雨等天气环境，及蒙面、化妆等多种情况下，人脸识别往往处于失效状态，无法发挥其精度高的特性。以海量视频文件为基础的寻人难度大。随着天眼的逐步推进，摄像头的分布、覆盖面越来越广，产生海量的视频文件，如何处理这些海量视频是摆在面前的难题。特别是在海量视频中对人的定位、追踪等，受限于环境因素，难度更加大。随着人工智能深度学习的发展，使得通过人员形体信息对人员进行查找和锁定成为可能，形体特征将成为人脸特征之外的重要补充。但是，现阶段因为人员形体数据严重缺乏导致形体识别应用受到很大局限，目前形体数据集数量不多，其中主流的人员形体数据集规模普遍偏小，同时还缺少身份信息，导致形体识别无法得到有效应用。造成这一现象的主要原因是，无法方便采集人员形体信息，无法快速关联人员身份信息。因此，需要一种快速便捷实现人员形体采集与形体身份关联的方法。
技术实现思路
本专利技术为了解决上述现有技术中存在的缺陷和不足，提供了一种通过在固定场景中搭建完整采集设备实现形体数据的采集，以人证合一设备解决身份信息获取问题，同时确保身份与人员的真实对应关系，通过时间延展实现身份、形体的自动关联，解决两则真实对应关系难以确定的难题；不仅可以解决身份获取问题，还能确保身份信息获取的准确性，可以有效保证形体记录的数据真实、有效；同时通过获取人体多角度视频，从而使得系统可以获得多角度的形体特征，形成更加全面的形体特征信息，为后续通过形体实现对人体的检索提供可靠全面的基础数据的运用于固定场景关于身份信息和形体信息自动关联的方法。本专利技术的技术方案：一种运用于固定场景关于身份信息和形体信息自动关联的方法，包括以下步骤：1)场景描述固定场景，摄像头放置在场景内，人证合一设备放置入口；2)身份检验被采集人手持身份证，在人证合一设备上进行身份证刷卡核验，主要目的是确认身份证持有者与身份证上展现的是同一个人，如身份证上显示人员与身份证持有者为同一人则验证通过，可以进入下一环节，否则，流程到此结束；3)身份获取步骤2)身份检验通过的同时，人证合一设备可以读取身份证上的身份信息：姓名、性别、民族、身份证号、证件照等，建库模块通过接口调用获取人证合一设备读取的身份信息；4)形体信息采集人证合一核验通过后，人员步行进入采集区，被采集人员仅需按正常步行状态往出口方向，此时摄像头正在采集人员形体信息，以获取人证合一设备采集的身份信息时间作为起点，建库模块对视频进行通用运动目标检测，直至未检测到运动目标为止，或以人证合一设备再次返回身份数据为截至时间；建库系统将以运动目标出现在画面水平中间位置作为时间原点，向前向后各延申10秒，作为形体有效视频，如前后时间不足10秒，则全部做为有效视频；5)特征提取及信息关联。优选地，所述步骤1)的场景中采用单个摄像头A，且场景的大小为6米*8米*3.5米，摄像头放置在宽度方向的中心轴线顶部。优选地，所述步骤1)的场景中采用三个摄像头A、B、C，且场景的大小为6米*8米*3.5米，摄像头A和B分别位于出口两个角落附近，摄像头C位于宽度方向的中心轴线顶部，用于采集人员多角度形体视频采集。优选地，所述步骤4)中人证合一核验通过后，人员步行进入采集区，被采集人员仅需按正常步行状态往出口方向，此时摄像头视频画面中会出现该人员；以获取人证合一设备采集的身份信息时间作为起点，建库模块对视频进行通用运动目标检测，直至未检测到运动目标为止，或以人证合一设备再次返回身份数据为截至时间；建库系统将以运动目标出现在摄像头C画面水平中间位置作为时间原点，向前向后各延申10秒获取摄像头A、B、C的视频，作为形体有效视频，如前后时间不足10秒，则全部做为有效视频。优选地，所述步骤5)中特征提取是指采集系统对每段视频进行目标检测，通过对当前帧进行锚框锚定对应的人的位置，目标检测有两个基本步骤：a、针对单帧图像，基于神经网络的one-stage算法，图像输入神经网络后，最后根据输出的特征，解码为目标的位置和类别，再经过NMS过程，滤除重叠区域较大目标，获得最终的目标检测位置；神经网络的one-stage检测算法实现细节，对于单张图片，resize成300x300图片尺寸，送入basebone，basebone为VGG16，做卷积运算，再经过后面的几层卷积之后，通过ExtraFeatureLyaer提取特征，形成6组张量，分别为1x512x38x38，1x1024x19x19，1x512x10x10，1x256x5x5，1x256x3x3，1x256x1x1，对这6组张量分别做卷积运算后拼接，得到预测位置的张量和预测置信度张量，再对预测置信度张量进行softmax等运算，得到1x8732x4张量用于最终位置预测依据和1x8732x21用于最终分类结果的预测依据，解码目标的过程主要依靠的是预先设置好的8732x4维度的Priorboxes，先验框的位置表示为d＝(dcx，dcy，dw，dh)，对应的真实边界框的位置为b＝(bcx，bcy，bw，bh)，进行解码得到原始的位置公式bcx＝dwlcx+dcx，bcy＝dylcy+dcy,bw＝dwexp(lw)，bh＝dhexp(lh)，对之前1x8732x21进行预测分类得分的降序排序并进行NMS操作滤除多余候选框，确定8732个box哪些将做为预测结果；b、针对帧间信息，传递上一帧最后一层的特征到当前帧神经网络特征的对应层，然后做平均池化操作，融合前后帧信息；其中平均池化的公式可以表示为：其中N表示特征图的个数，o(n)表示第n个特征图，F表示平均池化后的特征；然后通过卷积神经网络提取人体多维特征，通过在数据集中的训练，得到了能够提取目标特征的网络结构，将目标图像输入神经网络后，神经网络输出一个2048维的特征向量，该向量即为目标的形体特征。优选地，所述步骤5)中特征提取采用改进的person-reID思想，基础网路采用ResNet50网络结构，损失函数利用三元损失函数：L＝max(d(a，p)-d(a，n)+margin，0)L表示了损失函数的计算方法，其中a表示anchor样本，p为正样本，n为负样本；d(a,p)表示anchor和正样本之间的距离，d(a,n)表示anchor和负样本之间的距离，margin表示边界值，上式总体表示了将同一个目标样本的距离最小化，不同目标的样本之间距离最大化。优选地，所述步骤5)中信息关联是指对步骤4)采集到的人员形体信息与步骤2)采集到的人员身份信息，及步骤5)获取的人员特征进行关联，合并生成一条人员形体库记录。本专利技术通过在固定场景中搭建完整采集设备实现形体数据的采集，以人证合一设备解决身份信息获本文档来自技高网...

【技术保护点】
1.一种运用于固定场景关于身份信息和形体信息自动关联的方法，其特征在于：其包括以下步骤：/n1)场景描述/n固定场景，摄像头放置在场景内，人证合一设备放置入口；/n2)身份检验/n被采集人手持身份证，在人证合一设备上进行身份证刷卡核验，主要目的是确认身份证持有者与身份证上展现的是同一个人，如身份证上显示人员与身份证持有者为同一人则验证通过，可以进入下一环节，否则，流程到此结束；/n3)身份获取/n步骤2)身份检验通过的同时，人证合一设备可以读取身份证上的身份信息：姓名、性别、民族、身份证号、证件照等，建库模块通过接口调用获取人证合一设备读取的身份信息；/n4)形体信息采集/n人证合一核验通过后，人员步行进入采集区，被采集人员仅需按正常步行状态往出口方向，此时摄像头正在采集人员形体信息，以获取人证合一设备采集的身份信息时间作为起点，建库模块对视频进行通用运动目标检测，直至未检测到运动目标为止，或以人证合一设备再次返回身份数据为截至时间；/n建库系统将以运动目标出现在画面水平中间位置作为时间原点，向前向后各延申10秒，作为形体有效视频，如前后时间不足10秒，则全部做为有效视频；/n5)特征提取及信息关联。/n...

【技术特征摘要】
1.一种运用于固定场景关于身份信息和形体信息自动关联的方法，其特征在于：其包括以下步骤：
1)场景描述
固定场景，摄像头放置在场景内，人证合一设备放置入口；
2)身份检验
被采集人手持身份证，在人证合一设备上进行身份证刷卡核验，主要目的是确认身份证持有者与身份证上展现的是同一个人，如身份证上显示人员与身份证持有者为同一人则验证通过，可以进入下一环节，否则，流程到此结束；
3)身份获取
步骤2)身份检验通过的同时，人证合一设备可以读取身份证上的身份信息：姓名、性别、民族、身份证号、证件照等，建库模块通过接口调用获取人证合一设备读取的身份信息；
4)形体信息采集
人证合一核验通过后，人员步行进入采集区，被采集人员仅需按正常步行状态往出口方向，此时摄像头正在采集人员形体信息，以获取人证合一设备采集的身份信息时间作为起点，建库模块对视频进行通用运动目标检测，直至未检测到运动目标为止，或以人证合一设备再次返回身份数据为截至时间；
建库系统将以运动目标出现在画面水平中间位置作为时间原点，向前向后各延申10秒，作为形体有效视频，如前后时间不足10秒，则全部做为有效视频；
5)特征提取及信息关联。


2.根据权利要求1所述的运用于固定场景关于身份信息和形体信息自动关联的方法，其特征在于：所述步骤1)的场景中采用单个摄像头A，且场景的大小为6米*8米*3.5米，摄像头放置在宽度方向的中心轴线顶部。


3.根据权利要求1所述的运用于固定场景关于身份信息和形体信息自动关联的方法，其特征在于：所述步骤1)的场景中采用三个摄像头A、B、C，且场景的大小为6米*8米*3.5米，摄像头A和B分别位于出口两个角落附近，摄像头C位于宽度方向的中心轴线顶部，用于采集人员多角度形体视频采集。


4.根据权利要求3所述的运用于固定场景关于身份信息和形体信息自动关联的方法，其特征在于：所述步骤4)中人证合一核验通过后，人员步行进入采集区，被采集人员仅需按正常步行状态往出口方向，此时摄像头视频画面中会出现该人员；
以获取人证合一设备采集的身份信息时间作为起点，建库模块对视频进行通用运动目标检测，直至未检测到运动目标为止，或以人证合一设备再次返回身份数据为截至时间；
建库系统将以运动目标出现在摄像头C画面水平中间位置作为时间原点，向前向后各延申10秒获取摄像头A、B、C的视频，作为形体有效视频，如前后时间不足10秒，则全部做为有效视频。


5.根据权利要求1所述的运用于固定场景关于身份信息和形体信息自动关联的方法，其特征在于：所述步骤5)中特征提取是指采集系统对每段视频进行目标检测，通过对当前帧进行锚框锚定对应的人的位置，目标检测有两个基本步骤：
a、针对单帧图像，基于神经网络的one-stage算法，图像输...

【专利技术属性】
技术研发人员：徐鑫，徐晓刚，丁超辉，张华新，
申请(专利权)人：智慧视通杭州科技发展有限公司，
类型：发明
国别省市：浙江;33