基于多模态人脸识别的人证合一核验终端和系统及方法技术方案

本发明专利技术公开了基于多模态人脸识别的人证合一核验终端，包括客户端和服务端；所述客户端采集用户证件信息整合成JSON数据发送至服务端，采集视频信息发送至服务端，接收服务端发送的验证结果并向用户显示；所述服务端接收用户证件信息和视频信息，从视频信息截图人脸图片，通过多模态人脸识别对比人脸图片与证件信息是否为同一人，发送判断结果至客户端并存储人脸图片与证件信息。本发明专利技术所述的基于多模态人脸识别的人证合一核验终端解决了目前生物识别技术需要识别对象配合方可进行识别，对于仿冒人员身份的识别也较为困难，不能联动管理的问题；提供了一种无需人员配合，可识别人员仿冒，可克服不良环境，可联动管理构建大型系统的核验终端。

【技术实现步骤摘要】
基于多模态人脸识别的人证合一核验终端和系统及方法
本专利技术涉及人证合一核验领域，尤其涉及一种基于多模态人脸识别的人证合一核验终端和系统及方法。
技术介绍
生物特征识别技术是计算机科学中，利用生物特征对人进行识别，并进行访问控制的学科。生物特征识识别技术的应用相当广泛，在计算机应用领域居重要地位。在计算机安全学中，生物特征识别是认证的重要手段，生物测定则被广泛地应用在安全防犯领域，国家安全公共安全领域中也有广泛的应用。生物特征识别技术，目前比较成熟并大规模使用的方式主要为，指纹、虹膜、脸、耳、掌纹、手章静脉等，此外近年，语音识别、脑电波识别、唾液提取DNA等研究也有突破，有望进入商用阶段。但目前的识别技术都需要识别对象刻意配合方可进行识别，并且对于仿冒人员身份的识别也较为困难，同时目前的生物识别往往是使用在单一设备上，不能对全部生物识别设备进行联动管理，对此，实际使用中需要一种识别跟为简单可靠，可以防仿冒可以联动管理的生物识别系统。
技术实现思路
本专利技术提供了基于多模态人脸识别的人证合一核验终端和系统及方法，旨在解决目前生物识别技术需要识别对象刻意配合方可进行识别，对于仿冒人员身份的本文档来自技高网...

【技术保护点】
1.基于多模态人脸识别的人证合一核验终端，其特征在于，包括客户端和服务端；所述客户端采集用户证件信息整合成JSON数据发送至服务端，采集视频信息发送至服务端，接收服务端发送的验证结果并向用户显示；所述服务端接收用户证件信息和视频信息，从视频信息截图人脸图片，通过多模态人脸识别对比人脸图片与证件信息是否为同一人，发送判断结果至客户端并存储人脸图片与证件信息。

【技术特征摘要】
1.基于多模态人脸识别的人证合一核验终端，其特征在于，包括客户端和服务端；所述客户端采集用户证件信息整合成JSON数据发送至服务端，采集视频信息发送至服务端，接收服务端发送的验证结果并向用户显示；所述服务端接收用户证件信息和视频信息，从视频信息截图人脸图片，通过多模态人脸识别对比人脸图片与证件信息是否为同一人，发送判断结果至客户端并存储人脸图片与证件信息。2.根据权利要求1所述的基于多模态人脸识别的人证合一核验终端，其特征在于，所述客户端包括客户模块，读卡模块，摄像模块和socket通信模块；所述客户模块与用户进行交互，向客户显示验证结果；所述读卡模块读取用户证件信息，并转发至通信模块；所述摄像模块包括可见光摄像头和红外光摄像头同时采集可见光视频和红外观视频，并转发至通信模块；所述socket通信模块在非信息传输时处于关闭状态，需要信息传输时与客户端建立socket通信，将接收到的信息整合为JSON数据结构信息并发送至服务端，接收服务端发送的JSON信息进行格式处理后转发至客户模块，传输结束后关闭socket通信。3.根据权利要求2所述的基于多模态人脸识别的人证合一核验终端，其特征在于，所述客户端还包括红外补光模块，所述红外补光模块在检测到光照异常时启动红外补光。4.根据权利要求1所述的基于多模态人脸识别的人证合一核验终端，其特征在于，所述服务端包括人证比对模块，数据库管理模块，socket通信模块；所述socket通信模块在非信息传输时处于关闭状态，需要信息传输时与客户端建立socket通信，接收或发送相关信息，传输结束后关闭socket通信；所述人证比对模块接收证件信息和摄像视频中截取的人脸图片，判断是否仅一个人脸，如果是则对当前人脸图片提取人脸特征向量，如果不是则重新截取视频中的人脸图片，提取三张最大的人脸特征向量，对比特征向量，用分数最高的与阈值对比，得到比对结果，该比对结果通过socket通信发送至客户端，对人证比对结果为人证合一的人脸图片和证件信息发送至数据库管理模块存储；所述数据库管理模块对人证比对模块发送的人脸图片和证件信息进行关联存储，更新或删除数据库内存储的信息。5.根据权利要求1-4任一项所述的基于多模态人脸识别的人证合一核验终端，其特征在于，所述服务端还包括HTTP通信模块，所述HTTP通信模块与远程控制设备通信，对于人证比对异常的人脸图片和证件信息通过HTTP通信模块发送至远程控制设备。6.基于多模态人脸识别的人证合一核验系统，其特征在于，包括核验终端，管理中心单元和复核中心单元，所述核验终端通视频专网与管理中心单元连接，管理中心单元通过专线与复核中心单元连接，所述核验终端为权利要求5所述的基于多模态人脸识别的人证合一核验终端，管理中心单元接收核验终端发送的人证比对异常的人脸图片和证件信息并转发至复核中心单元进行复核，接收复核中心单元发送的复核结果，复核结果为人证合一则转发结果至核验终端，复核结果为人证不合一则发出警报。7.根据权利要求6所述的基于多模态人脸识别的人证合一核验系统，其特征在于，所述管理中心单元包括管理中心模块和公安局搜索模块，所述管理中心模...

【专利技术属性】
技术研发人员：熊昕，熊茂华，谢景明，
申请(专利权)人：广州番禺职业技术学院，
类型：发明
国别省市：广东,44