一种三模态生物特征持证人身份鉴别系统及其控制方法技术方案

本发明专利技术涉及一种三模态生物特征持证人身份鉴别系统及其控制方法。包括用于身份鉴别的终端设备硬件装置、终端管理软件、终端服务软件和中心服务软件四大部分。终端设备主要用于采集个人的身份证信息、静态指纹特征图像、声音信号和视频人脸图像；终端管理软件主要负责终端管理、指纹登记、人脸登记、语音特征登记、采集身份证信息和数据分析等功能；终端服务软件主要负责对指纹、语音和人脸特征进行比对并给出基于三模态融合的身份鉴别结果；中心服务软件主要负责存取指纹、语音和人脸特征数据，向终端设备提供检索服务，以及对终端设备的各类服务请求进行控制。该系统可以使用户获得高质量、高可靠性的持证人身份鉴别服务。

【技术实现步骤摘要】

本专利技术涉及生物特征识别
，具体涉及一种基于指纹、语音和人脸的三模 态持证人身份鉴别系统及其控制方法。
技术介绍
随着对社会安全和身份鉴别的准确性和可靠性要求的日益提高，单一的生物特征 识别技术已经不能满足社会的应用需求，进而阻碍了该领域更广泛的应用。由于没有任何 一个单一的生物特征识别系统能提供足够精确和可靠的识别，因此多生物特征识别系统的 出现将是一个有效的可选策略，比如语音与人脸、语音与指纹，或者如本项目中提出的使用 语音、人脸和指纹的结合来进行综合识别，可以极大地提高系统的准确性和可靠性，以及复 杂环境下的鲁棒性。就生物特征识别技术而言，其发展趋势将是从依靠单一模式的识别阶 段逐步过渡到依靠多种生物特征进行综合识别的阶段。近年来迅速发展的数据融合技术为多生物特征识别提供了坚实的理论基础，国际 上许多学者已广泛致力于多生物特征的身份识别技术研究。Roberto在1995年便提出了 利用多个生物特征来进行个人身份认证的方法，他把声音分类器和人脸图像分类器分别 用加权几何平均和超基函数网络融合识别，取得了较好效果。Bigim等(1997)提出利用 监督学习并结合Bayes理论的方法融合声音与脸像进行身份鉴别，达到了很高的正确率。 Dieckmarm等人采用声音和唇动信息这两种动态特征和人脸图像这种静态特征来进行融合 身份识别，他们利用简单的投票算法判断单个分类器的决策是否与其它两个分类器一致。 Verlinde等于1997年提出用K-NN方法融合声纹和视觉特征，也取得了较好的结果。Jain 等人于1998年提出将指纹与人脸识别的结果融合，并从理论上定量地证明了多生物特征 认证系统相对于单种生物特征认证系统在实现效率上的提高，于1999年从理论上证明了 多生物特征的融合可提高认证率，并在2000年提出确定每个用户的特定参数的方法将指 纹、脸像和手形的识别结果融合。Kittler等人提出了融合理论框架并将其分为三层，同时 比较了加法准则和乘法准则等算法在融合中的优缺点。Maes等第一次实现了一个结合生物 特征(指纹)和非生物特征(密码)的系统。除此之外，在很多公开文献中还展示了许多 其它的多生物特征识别方法以及结合生物特征和非生物特征进行身份识别的方法，都取得 了比较好的识别效果。虽然多生物特征身份识别技术还处在初步阶段，但很多的研究成果 也已经被商业公司应用到实践中，其中最著名系统就是DCSAG公司的BioID系统，它使用了 脸像、声音和唇动三个基本的生物特征融合来识别个体身份，也已经取得了比较好的综合 识别结果。国内己经有以中科院、清化华大学等为代表的一批科研单位涉足这一研究领域， 并取得了大量的研究成果。中科院自动化所模式识别国家重点实验室谭铁牛、王蕴红等领 导的课题小组已经研制成功通过虹膜、脸像和声音等多种人体生物特征进行身份鉴别的新 技术。清华大学自主研制的多模生物特征身份认证识别系统“TH-ID”包括两大部分内容 四个基于人脸(TH-FaceID)、笔迹(THiriterlD)、签字(TH-SignID)和虹膜(TH-IrisID)生物特征身份认证(包括识别和验证)的子系统和利用多种生物特征的多模态生物特征融 合身份认证系统，这个系统构建了基于统一数据库的人脸、笔迹、签字、虹膜四种生物特征 的多模生物特征身份识别认证系统，可以进行融合模式的选择，进行各种可能的模式融合。目前，基于生物特征的身份鉴别系统还主要停留在单一生物特征这个层次，基于 多种生物特征的成熟系统并不多见，而综合利用指纹特征信息、语音特征信息和人脸特征 信息来对身份证持证人进行身份鉴别的成熟应用系统在国内外几乎都没有公开的报道。
技术实现思路
本专利技术所要解决的技术问题是综合利用终端设备采集得到的指纹、语音和人脸特 征信息来对身份证持证人的真实身份进行鉴别，并据此提出了一种基于三模态的身份鉴别 系统及其控制方法。本专利技术解决技术问题的具体方案是提供了一种三模态生物特征持证人身份鉴 别系统，包括用于身份鉴别的终端设备硬件装置、终端管理软件模块、终端服务软件模块和 中心服务软件模块四大部分，其特征在于，终端设备硬件装置主要用于采集个人的身份证 信息、指纹特征、语音和人脸特征；终端管理软件模块主要负责终端管理、指纹登记、语音登 记、人脸登记、采集身份证信息和数据分析等；终端服务软件模块主要负责对指纹、声音和 人脸特征进行比对并给出基于融合的融合身份鉴别结果；中心服务软件模块主要负责存取 指纹、声音和人脸特征数据，以及对终端设备的使用进行控制。对应的还提供了一种三模态生物特征持证人身份鉴别系统的控制方法，包括用于 身份鉴别的终端设备硬件装置、终端管理软件模块、终端服务软件模块和中心服务软件模 块四大部分，其特征在于，所述控制方法包括步骤(1)终端设备通过网络通信接口接入系统并连接中心服务器，终端设备身份经过 的合法性验证以后，获得相应的服务请求授权，拒绝未经授权的终端设备接入系统向中心 服务器请求特征数据；(2)采集持证人的身份证信息、指纹信息、声音和视频人脸信息，进行模式分类和 噪声去除等初步处理；(3)将上述步骤( 经过初步处理后的指纹、声音和人脸数据再分别进行预处理 并提取相应的特征；(4)终端服务软件根据身份证读卡器采集到的身份证编号检索本地数据库LDB， 获取相应的指纹、声音和人脸特征模版数据；(5)指纹、声音和人脸特征比对模块根据系统当前选配的匹配算法检索数据库，记 录每次比对得到的相似度分值，其值分别为vl、v2和v3 ；(6)分别得到指纹、声音和人脸特征的匹配分值以后，再对vl、v2和v3值进行决 策级融合，计算融合以后的匹配结果。本专利技术的有益效果是通过对多种单一生物特征对身份进行融合鉴别，可以有效 防止因某种生物特征失效而引起系统鉴别结论错误的问题，从而大大提高身份鉴别系统 的可用性、适应性和鉴别结果的可靠性。该身份鉴别系统及其控制方法还能提供在线\离 线的、终端可扩展的、可独立运行也可以联网运行的身份鉴别服务，可以使用户在不需要投 入大量资金和设备的情况下，获得高质量和高可靠性的持证人身份认证服务。附图说明图1是本专利技术所提供的系统的拓扑结构图。图2是本专利技术的功能模块结构图。图3是本专利技术的终端设备外形图。图4是本专利技术的独立运行模式结构图。图5是本专利技术的联网运行模式结构图。图6是本专利技术的身份验证的数据流图。图7是本专利技术的系统内各子系统元素之间的接口安排图。图8是本专利技术的终端设备合法性验证流程图。图9是本专利技术的身份鉴别处理详细流程图。具体实施例方式下面结合附图和具体的实施例对本专利技术做进一步详细的说明本专利技术所要解决的技术问题是如何综合利用终端设备采集得到的指纹、语音和人 脸特征信息来对身份证持证人的真实身份进行鉴别，并据此构建一种基于三模态的身份鉴 别系统及其控制方法，该身份鉴别系统克服现有技术的缺陷，能提供在线\离线的、终端可 扩展的、可独立运行也可以联网运行的身份鉴别服务，可以使用户在不需要投入大量资金 和设备的情况下，获得高质量和高可靠性的持证人身份认证服务。如图1、图2、图3、图4、图5、图6和图7所示，本专利技术所提出的技术问题是这样解 决的提供一种持证人身份鉴别系统，包括采集指纹、声音、人脸和身份证信息本文档来自技高网...

【技术保护点】
一种三模态生物特征持证人身份鉴别系统，包括用于身份鉴别的终端设备硬件装置、终端管理软件模块、终端服务软件模块和中心服务软件模块四大部分，其特征在于，终端设备硬件装置主要用于采集个人的身份证信息、指纹特征、语音和人脸特征；终端管理软件模块主要负责终端管理、指纹登记、语音登记、人脸登记、采集身份证信息和数据分析等；终端服务软件模块主要负责对指纹、声音和人脸特征进行比对并给出基于融合的融合身份鉴别结果；中心服务软件模块主要负责存取指纹、声音和人脸特征数据，以及对终端设备的使用进行控制。

【技术特征摘要】
1.一种三模态生物特征持证人身份鉴别系统，包括用于身份鉴别的终端设备硬件装 置、终端管理软件模块、终端服务软件模块和中心服务软件模块四大部分，其特征在于，终 端设备硬件装置主要用于采集个人的身份证信息、指纹特征、语音和人脸特征；终端管理软 件模块主要负责终端管理、指纹登记、语音登记、人脸登记、采集身份证信息和数据分析等； 终端服务软件模块主要负责对指纹、声音和人脸特征进行比对并给出基于融合的融合身份 鉴别结果；中心服务软件模块主要负责存取指纹、声音和人脸特征数据，以及对终端设备的 使用进行控制。2.根据权利要求1所述的一种三模态生物特征持证人身份鉴别系统，其特征在于，所 述终端管理软件模块又包括以下几个模块S521.系统管理模块为登记合法的终端设备信息、为本系统的使用操作人员授权、设 置系统中重要的运行参数值等；S22.身份信息录入模块用于手工添加、删除、修改录入人员身份基本信息(按身份证 显示的内容)，以及大批量身份信息的EXCEL导入；S23.指纹登记模块登记人的指纹特征信息，并将登记信息保存入数据库(本地数据 库或者系统数据库)；S24.声音登记模块登记人的声音特征信息，并将所登记的特征信息保存入数据库 (本地数据库或者系统数据库)；S25.人脸登记模块登记人的人脸特征信息，并将登记信息保存入数据库(本地数据 库或者系统数据库)；S26.模拟验证模块在管理工作站上输入身份信息后，模拟运行基于指纹和人脸特征 的双模态持证人身份融合鉴别系统流程；S27.数据分析模块对整个系统的运行数据进行统计、分析，挖掘有价值的潜在信息， 如系统运行日志记录数据和身份鉴别记录数据等。3.根据权利要求1所述的一种三模态生物特征持证人身份鉴别系统，其特征在于，所 述终端服务软件模块又包括以下几个模块S31.交互通信模块主要负责与“验证服务中心软件”的交互通信模块交换数据，以完 成终端设备的合法性验证、上传提取到的生物特征数据，以及接收从中心服务器下载的生 物特征数据；S32.数据采集模块主要完成基于身份证读卡器的身份证信息自动采集和手工录入、 基于指纹仪器的指纹特征采集和基于摄像装置的人脸视频图像采集等；S33.指纹、声音、人脸特征验证模块负责将采集到的指纹、声音和人脸数据进行预处 理、提取特征信息，完成与持证人对应模板特征的1 1验证；S34.融合决策模块主要完成在人脸、声音和指纹特征匹配所得分值基础之上，依据 决策融合方法进行决策级融合以鉴别持证人身份是否与所持证件一致。4.根据权利要求1所述的一种三模态生物特征持证人身份鉴别系统，其特征在于，所 述中心服务软件模块又包括以下几个模块S41.交互通信模块主要负责接收终端设备发送的设备合法性验证信息，以确定当前 设备的接入请求是否合法，以及负责接收合法终端上传和下载的生物特征及其辅助数据；S42.数据存取模块负责存储通过通信模块接收到的终端数据(存储到系统数据库SDB)，以及按身份证信息检索终端请求的生物特征数据并回送交给通信模块向终端设备下 传；S43.终端设备权限验证模块依据接收到的终端设备编码等信息来验证所接入服务 中心系统的终端设备是否合法，并依据验证结果为终端分配权限。5.一种三模态生物特征持证人身份鉴别系统的控制方法，包括用于身份鉴别的...

【专利技术属性】
技术研发人员：蒲晓蓉，张禄平，黄东，樊科，周毅，李鹏，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：90[中国|成都]