实时证件人像跟踪检测方法、设备、系统及存储介质技术方案

本发明专利技术涉及深度学习领域，提供实时证件人像跟踪检测方法、设备、系统及存储介质，方法包括以下步骤：S1、获取证件中的人脸特征作为第一特征；S2、利用第一特征跟踪实时视频流中当前帧的人脸；S3、提取当前帧的人脸特征作为第二特征；S4、对第一特征和第二特征进行人脸相似度匹配；S5、若所述匹配成功，记录当前跟踪结果，读取实时视频流的下一帧，重复步骤S2～S4直至实时视频流的最后一帧读取完毕，若匹配失败，返回失败结果，保证人像目标离开摄像头区域后再次回来能够继续跟踪检测，且保证实时性，提供高效、实时、准确的跟踪检测方法。准确的跟踪检测方法。准确的跟踪检测方法。

【技术实现步骤摘要】
实时证件人像跟踪检测方法、设备、系统及存储介质


[0001]本专利技术涉及深度学习领域，更具体地，涉及实时证件人像跟踪检测方法、设备、系统及存储介质。

技术介绍

[0002]在基于深度学习的人脸识别
，在常用的人脸跟踪识别技术中，通常需要存储大量的人脸图像，且无法解决跟踪中出现的跟丢重识别的问题，如在专利《一种基于视频流的人脸识别跟踪的系统及工作方法》中，公开了一种基于视频流的人脸识别跟踪的系统,设有临时人脸库和人脸抓拍库；临时人脸库用于对所获取的摄像机镜头下的人脸照片进行临时存储,且临时人脸库中所存储的人脸照片分别对应不同人员；临时人脸库还用于对此不同人员的基本信息和人脸跟踪结果进行临时存储；人脸抓拍库用于对临时人脸库中临时存储的人脸跟踪结束的人员的人脸照片、基本信息、人脸跟踪结果进行最终存储。在专利《一种基于人脸识别的人物身份跟踪方法及系统》中，该专利技术涉及一种基于人脸识别的人物身份跟踪方法及系统,包括步骤：采用人脸数据集训练神经网络；采集待识别身份人物的人脸图片,并构建待识别人脸身份库；根据输入的视频帧,使用训练好的yolov3人脸检测模型,检测每帧图像的人脸位置；将检测到的人脸使用训练好的神经网络提取特征,并与待识别人脸身份库中的人脸特征进行比对确定身份,初始化待跟踪的人脸目标；对人脸对应的人物身份进行跟踪。该专利技术虽然对于跟踪的目标可以确认到人物的id，但该专利存在的问题是，该方法的应对人员侧脸或者转头的情况出现无法识别。
[0003]在专利《一种基于中心点跟踪模型的人脸识别方法》中，该专利技术涉及机器视觉
,具体公开了一种基于中心点跟踪模型的人脸识别方法,包括：获取多帧目标图像；对前后帧的目标图像进行人脸跟踪,并确定对应的跟踪序列ID；对跟踪序列ID的人脸图像进行人脸对齐,并提取对应的人脸特征；在一个跟踪序列ID结束后,构建前处理人脸ID序列；对前处理人脸ID序列中的人脸图像进行质量评估,选取质量最好的前Num个人脸图像中的人脸特征作为清洗后的人脸ID序列特征组；对人脸ID序列特征组中的人脸特征进行去噪,并通过人脸特征的重新排序,确定最终人脸识别结果。该专利存在的问题是，该方法的对同一人员容易出现多种ID序列，无法保证目标ID的稳定，易切换。本专利差异点及本专利创新点：我们使用人脸识别算法能够保证客户在有较高质量的人脸时不会出现误识。
[0004]在专利《一种基于人脸识别进行风险人物跟踪的跟踪系统和跟踪方法》中，该专利跟踪系统包括后台系统、人脸识别机闸、摄像头及人脸识别库。跟踪方法包括：通过人脸识别机闸对乘客进行刷脸并取得乘客身份及账户信息；于扣费成功后打开闸门；将乘客的人脸信息进行人脸黑名单搜索；判断乘客是否为风险人物；于判断乘客为风险人物时,控制摄像头撷取风险人物的图像信息并执行目标跟踪camshift算法,以对风险人物进行跟踪；以及,将风险人物的行踪持续发送到公安服务器。该专利存在的问题是，该方法无法稳定的保证能够识别到风险人物，且跟踪算法跟踪目标人物效果较差。
[0005]在专利《一种基于人脸识别与行人重识别的特定目标跟踪方法》中，该专利基于人
脸识别与行人重识别的特定目标跟踪方法,首先训练基于特征融合与三重损失函数的行人重识别神经网络,建立追踪目标人脸库,人脸识别模块提取人脸库的人脸特征向量；然后检测监控画面中的行人,人脸识别模块提取监控画面中行人人脸特征,与人脸库特征向量比对相似度,人脸识别成功则保存由行人重识别模型得到的行人特征至行人库。人脸识别失败则进行行人重识别,比对行人特征与行人特征库的相似度。行人重识别成功则保存相似度高的行人特征至行人库,行人重识别失败则利用上下帧的时空相关性确定行人的身份。最终实现在监控中对特定目标实时、有效的跟踪。该专利存在的问题是该方法的应对人员侧脸、人脸转头的情况出现无法准确识别人员ID。

技术实现思路

[0006]本专利技术旨在克服上述现有技术的至少一种缺陷，提供实时证件人像跟踪检测方法、设备、系统及存储介质，用于解决
技术介绍
中的问题，保证人像目标离开摄像头区域后再次回来能够继续跟踪检测，且保证实时性，提供高效、实时、准确的跟踪检测方法。
[0007]本专利技术采用的技术方案包括：
[0008]一种实时证件人像跟踪检测方法，包括以下步骤：
[0009]S1、获取证件中的人脸特征作为第一特征；
[0010]S2、利用第一特征跟踪实时视频流中当前帧的人脸；
[0011]S3、提取当前帧的人脸特征作为第二特征；
[0012]S4、对第一特征和第二特征进行人脸相似度匹配；
[0013]S5、若所述匹配成功，记录当前跟踪结果，读取实时视频流的下一帧，重复步骤S2～S4直至实时视频流的最后一帧读取完毕，若匹配失败，返回失败结果。
[0014]可以通过手机客户端或者h5链接进入在线视频审核流程，后台获取手机前置摄像头视频流，视频流经过后台服务器压缩后实时转发获取。
[0015]本专利技术可以通过将视频流中的人脸特征与证件人像特征进行相似度匹配，根据设定的人脸识别的阈值，即可确认对应人像的信息。
[0016]进一步，所述步骤S2～S3通过人像跟踪神经网络模型实现；
[0017]所述人像跟踪神经网络模型包括分类回归模块和两个特征提取模块；
[0018]所述特征提取模块包括输入层、输出层和若干个正向传播的隐藏层，两个特征提取模块分别接收第一特征和当前帧的人脸作为输入；
[0019]所述分类回归模块分别获取两个特征提取模块的若干隐藏层特征和输出层特征，生成分类和回归位置；
[0020]利用分类和回归位置获取当前帧的人脸，提取当前帧的人脸特征作为第二特征。
[0021]特征提取网络为利用算法将非结构化数据转化为多维的结构化数据，一般放在网络的浅层部分，用来提取比较低级的图像特征。
[0022]进一步，所述分类回归模块使用SiamRPN结构。
[0023]SiamRPN结构可以包括SiamPRN++和SiamPRN模型，SiamPRN++模型为商汤科技团队提出的一种单目标追踪模型。SiamPRN模型为商汤科技团队提出的一种单目标追踪模型。
[0024]单目标追踪是指给定第一帧待跟踪的目标，在后续视频帧中找到目标并标记处目标所在位置。
[0025]进一步，所述若干个隐藏层的高度和宽度依次减小，通道依次增大。
[0026]进一步，所述分类回归模块分别获取两个特征提取模块的2～9个隐藏层特征和输出层特征。
[0027]进一步，所述人脸相似度匹配通过相似度阈值策略得到匹配结果。
[0028]在获取到实时视频流之后，可以视频帧的颗粒度对视频流进行处理，获取画面中跟踪预选框，通过跟踪预选框，将结果返回到人像跟踪神经网络模型。
[0029]在获取到证件人像后，实时返回此时该预选框是否为本人，判断是否成功跟踪到对应的人像，同时相似度结果是否超过预设值，并将结果返回。
[0030]根据人像跟踪神经网络模型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时证件人像跟踪检测方法，其特征在于，包括以下步骤：S1、获取证件中的人脸特征作为第一特征；S2、利用第一特征跟踪实时视频流中当前帧的人脸；S3、提取当前帧的人脸特征作为第二特征；S4、对第一特征和第二特征进行人脸相似度匹配；S5、若所述匹配成功，记录当前跟踪结果，读取实时视频流的下一帧，重复步骤S2～S4直至实时视频流的最后一帧读取完毕，若匹配失败，返回失败结果。2.根据权利要求1所述的实时证件人像跟踪检测方法，其特征在于：所述步骤S2～S3通过人像跟踪神经网络模型实现；所述人像跟踪神经网络模型包括分类回归模块和两个特征提取模块；所述特征提取模块包括输入层、输出层和若干个正向传播的隐藏层，两个特征提取模块分别接收第一特征和当前帧的人脸作为输入；所述分类回归模块分别获取两个特征提取模块的若干隐藏层特征和输出层特征，生成分类和回归位置；利用分类和回归位置获取当前帧的人脸，提取当前帧的人脸特征作为第二特征。3.根据权利要求2所述的实时证件人像跟踪检测方法，其特征在于，所述分类回归模块使用SiamRPN结构。4.根据权利要求2所述的实时证件人像跟踪检测方法，其特征在于，所述若干个隐藏层的高度和宽度依次减小，通道依次增大。5.根据权利要求2所述的实时证件人像跟踪检测方法，其特征在于，所述分类回归模块分别获取两个特征提取模块的2～9个隐藏层特征和输出...

【专利技术属性】
技术研发人员：刘超军，陈尉姗，赵清利，叶俊科，钟龙申，
申请(专利权)人：广发银行股份有限公司，
类型：发明
国别省市：