一种基于视频流的人脸追踪与识别的系统及方法技术方案

本发明专利技术涉及一种基于视频流的人脸追踪与识别方法，其特征在于：模块化与低功耗设计，其主要包含红外人体传感器、摄像头和识别单元，所述识别单元包括人脸检测模块、人脸追踪模块、人脸识别模块、人脸特征数据库和识别记录库。所述摄像头通过USB连接线和识别单元连接，所述红外人体检测器通过GPIO接口与识别单元连接。人脸检测模块进行人脸坐标检测并与人脸追踪模块相连，人脸追踪模块负责人脸追踪与人员信息显示，人脸识别模块负责人脸特征提取与相似度比较。本发明专利技术所述的人脸追踪与识别方法具有功耗低、稳定性高、模块化程度高等特点。

A Face Tracking and Recognition System and Method Based on Video Stream

【技术实现步骤摘要】
一种基于视频流的人脸追踪与识别的系统及方法
本专利技术涉及人脸追踪领域，具体涉及一种基于视频流的人脸追踪与识别的系统及方法。
技术介绍
近年来，随着人工智能与深度学习技术的快速发展，人脸识别技术已日渐成熟，百度、腾讯、阿里巴巴等互联网企业都已经涉足人脸识别领域，可以预见未来人脸识别技术将进入大规模产业化，人脸识别将带来“AI+垂直行业”的一场变革。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于视频流的人脸追踪与识别的系统及方法。为解决以上技术问题，本专利技术提供的技术方案为：遵循模块化设计原则，科学设计人脸追踪模块与人脸识别模块，设计追踪与识别的流程，设计一种基于视频流的人脸追踪与识别的系统，其创新点在于：包括红外人体传感器、摄像头和识别单元，所述识别单元用于控制人脸识别和追踪，所述识别单元包括人脸检测模块、人脸追踪模块、人脸识别模块、人脸特征数据库和识别记录库，所述摄像头通过USB连接线和识别单元连接，用于将人员画面信息发送给识别单元；所述红外人体检测器通过GPIO接口与识别单元连接，用于将有行人信号发送给识别单元；所述人脸检测模块与人脸追踪模块相连，用于人脸坐标信息传递给人脸追踪模块；所述人脸追踪模块与人脸识别模块连接，用于将追踪的人脸特征信息传递给人脸检测识别模块，所述人脸识别模块还分别与人脸特征数据库和用于存储识别信息的识别记录库连接，用于与人脸特征数据库内人脸特征提取与相似度比较。为解决以上技术问题，本专利技术还提供一种基于视频流的人脸追踪与识别的方法，包括以下步骤：（1）当有人体进入红外人体传感器范围内时，传感器将信号发送至识别单元，控制识别单元启动视频显示，并启动人脸检测模块，若在特定时间内没有检测到人脸信息，则系统再次进入休眠状态，关闭视频显示，挂起人脸检测模块；（2）人脸检测模块从摄像头记录的视频帧中检测到人脸时，使用opencv在视频帧中绘制矩形框将人脸框出，并提取人脸坐标信息与人脸倾斜角度信息，所述人脸坐标信息包括矩形框的左上角坐标、右下角坐标和人脸中心坐标，提取完毕后传递给人脸追踪模块，当人脸检测模块检测到人脸移动至占用视频帧尺寸的70%时，启动人脸追踪模块；（3）人脸追踪模块调用人脸检测算法判断人脸检测模块传过来的人脸坐标信息是否有效，若坐标信息有效，每隔特定的帧间隔持续调用人脸检测算法重新获取当前人脸的坐标信息，并与之前的坐标信息进行对比，并通过定位人脸中心坐标D(X,Y)的移动速度确保对单个人脸的长时间追踪，在获得特定帧间隔的人脸位置移动数据之后，采用平滑过渡的方式，将矩形框移动至人脸所在位置；（4）当进入人脸追踪模式后，系统会记录下人脸的驻留时间，并根据驻留时间的长短调用人脸识别模块，进行人脸识别；（5）人脸识别模块根据人脸追踪模块提供的人脸位置信息与倾斜角度信息，调用人脸识别算法抽取人脸特征值，并与人脸特征数据库中的特征进行相似度比较并选取相似度最高的结果来判断是否将人员信息传递给人脸追踪模块；若该结果的相似度数值大于特定阈值，则判定为识别成功，将人员信息传递给人脸追踪模块，人脸追踪模块继续追踪的同时，将人员信息显示在矩形框之上，标记该人脸所属的人员信息与类型，若结果的相似度数值小于该阈值，则判定为识别失败，此时不提交任何结果给人脸追踪模块；（6）若人脸识别成功，则将该人员的本次识别情况存入识别记录库中，并完成识别任务，若人脸追踪模块在长时间内都没有能够获取到特定人脸的人员信息，则判定为该人员未在该系统内注册，属于陌生人员，系统将截取人员图片，并存入识别记录中，以备审查。进一步的，所述步骤（2）中视频帧尺寸的70%的范围计算公式为：左上角坐标：((3/20)*l,(17/20)*w)，右下角坐标：((17/20)*l,(3/20)*w)，其中l为视频帧的长，w为视频帧的宽。进一步的，所述步骤（3）中的人脸中心座标D(X,Y)的计算公式为D(X,Y)=((eyeleft.x+eyeright.x)/2,(eyeleft.y+eyeright.y)/2)，其中eyeleft.x为左眼位置的横坐标，eyeleft.y为左眼位置的纵坐标，eyeright.x为右眼位置的横坐标，eyeright.y为右眼位置的纵坐标。进一步的，所述步骤（3）中通过定位人脸中心坐标D(X,Y)的移动速度确保对单个人脸的长时间追踪的方法为：根据人脸中心坐标D的相对位置变化以及帧间隔的时间来确定人脸移动速度，若移动速度在阈值之内，则将此次移动判定为同一人脸的正常移动，若人脸移动速度超过设定阈值，则表明可能出现其他干扰因素，判断为无效数据，中止人脸追踪。进一步的，所述步骤（4）中根据驻留时间的长短调用人脸识别模块的方法为：当检测到某一人脸的驻留时间不再增加，则说明该人脸已被遮挡或离开追踪区域，立即停止人脸追踪，当驻留时间达到预设识别时间，且人脸中心所在位置处于追踪范围之内，则判定为该人员需要进行人脸识别操作，则调用人脸识别模块。进一步的，所述步骤（3）中的帧间隔、步骤（4）中的预设识别时间、步骤（5）中的特定阈值均为用户设定。本专利技术和现有技术相比，产生的有益效果为：（1）低功耗，稳定性高：通过采用红外人体传感器，并严格控制各模块的工作条件与顺序，降低了系统运行时的能耗。当未检测到人体时，摄像头与识别单元处于休眠状态，减少能耗。当人脸出现在画面边缘部分时只进行人脸检测，而不进行追踪与识别，降低无效识别概率的同时，降低了功耗。（2）模块化设计：本方法将人脸识别的各个环节独立为模块，从设备唤醒到人脸检测到人脸追踪与人脸识别，各个模块相互配合。各个模块可独立更换，具有较高的可拓展性。（3）支持多人识别：本方法提出的人脸追踪算法适用于多人同时识别的场景，可以大大提高识别的速度，对于视频帧中出现的每个人脸都能够独立执行追踪与识别流程，保证了可靠性的同时，大大提高了使用的便捷性。附图说明为了更清晰地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术的一种基于视频流的人脸追踪与识别的系统结构图。图2是本专利技术的一种基于视频流的人脸追踪与识别的方法流程图。图3是本专利技术的各模块的安装示意图。图4是人脸追踪与人脸识别模块的触发条件示意图。具体实施方式下面将通过具体实施方式对本专利技术的技术方案进行清楚、完整地描述。本专利技术的一种基于视频流的人脸追踪与识别的系统，其结构如图1所示，包括红外人体传感器、摄像头和识别单元，所述识别单元用于控制人脸识别和追踪，所述识别单元包括人脸检测模块、人脸追踪模块、人脸识别模块、人脸特征数据库和识别记录库，所述摄像头通过USB连接线和识别单元连接，用于将人员画面信息发送给识别单元；所述红外人体检测器通过GPIO接口与识别单元连接，用于将有行人信号发送给识别单元，；所述人脸检测模块与人脸追踪模块相连，用于人脸坐标信息传递给人脸追踪模块；所述人脸追踪模块与人脸识别模块连接，用于将追踪的人脸特征信息传递给人脸检测识别模块，所述人脸识别模块还分别与人脸特征数据库和用于存储识别信息的识别记录库连接，用于与人脸特征数据库内人本文档来自技高网...

【技术保护点】
1.一种基于视频流的人脸追踪与识别的系统，其特征在于：包括红外人体传感器、摄像头和识别单元，所述识别单元用于控制人脸识别和追踪，所述识别单元包括人脸检测模块、人脸追踪模块、人脸识别模块、人脸特征数据库和识别记录库，所述摄像头通过USB连接线和识别单元连接，用于将人员画面信息发送给识别单元；所述红外人体检测器通过GPIO接口与识别单元连接，用于将有行人信号发送给识别单元；所述人脸检测模块与人脸追踪模块相连，用于人脸坐标信息传递给人脸追踪模块；所述人脸追踪模块与人脸识别模块连接，用于将追踪的人脸特征信息传递给人脸检测识别模块，所述人脸识别模块还分别与人脸特征数据库和用于存储识别信息的识别记录库连接，用于与人脸特征数据库内人脸特征提取与相似度比较。

【技术特征摘要】
2019.04.03 CN 20191026643871.一种基于视频流的人脸追踪与识别的系统，其特征在于：包括红外人体传感器、摄像头和识别单元，所述识别单元用于控制人脸识别和追踪，所述识别单元包括人脸检测模块、人脸追踪模块、人脸识别模块、人脸特征数据库和识别记录库，所述摄像头通过USB连接线和识别单元连接，用于将人员画面信息发送给识别单元；所述红外人体检测器通过GPIO接口与识别单元连接，用于将有行人信号发送给识别单元；所述人脸检测模块与人脸追踪模块相连，用于人脸坐标信息传递给人脸追踪模块；所述人脸追踪模块与人脸识别模块连接，用于将追踪的人脸特征信息传递给人脸检测识别模块，所述人脸识别模块还分别与人脸特征数据库和用于存储识别信息的识别记录库连接，用于与人脸特征数据库内人脸特征提取与相似度比较。2.一种基于视频流的人脸追踪与识别的方法，包括以下步骤：（1）当有人体进入红外人体传感器范围内时，传感器将信号发送至识别单元，控制识别单元启动视频显示，并启动人脸检测模块，若在特定时间内没有检测到人脸信息，则系统再次进入休眠状态，关闭视频显示，挂起人脸检测模块；（2）人脸检测模块从摄像头记录的视频帧中检测到人脸时，使用opencv在视频帧中绘制矩形框将人脸框出，并提取人脸坐标信息与人脸倾斜角度信息，所述人脸坐标信息包括矩形框的左上角坐标、右下角坐标和人脸中心坐标，提取完毕后传递给人脸追踪模块，当人脸检测模块检测到人脸移动至占用视频帧尺寸的70%时，启动人脸追踪模块；（3）人脸追踪模块调用人脸检测算法判断人脸检测模块传过来的人脸坐标信息是否有效，若坐标信息有效，每隔特定的帧间隔持续调用人脸检测算法重新获取当前人脸的坐标信息，并与之前的坐标信息进行对比，并通过定位人脸中心坐标D(X,Y)的移动速度确保对单个人脸的长时间追踪，在获得特定帧间隔的人脸位置移动数据之后，采用平滑过渡的方式，将矩形框移动至人脸所在位置；（4）当进入人脸追踪模式后，系统会记录下人脸的驻留时间，并根据驻留时间的长短调用人脸识别模块，进行人脸识别；（5）人脸识别模块根据人脸追踪模块提供的人脸位置信息与倾斜角度信息，调用人脸识别算法抽取人脸特征值，并与人脸特征数据库中的特征进行相似度比较并选取相似度最高的结果来判断是否将人员信息传递给人脸追踪模块；若该结果的相似度数值大于特定阈值...

【专利技术属性】
技术研发人员：丁浩，陈苏蓉，朱晓辉，曹凯博，杨金达，丁雨聪，李春桥，程湉湉，刘红泽，王康，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏,32