基于多模态无感身份认证的毫米波安检方法及装置制造方法及图纸

本发明专利技术公开了一种基于多模态无感身份认证的毫米波安检方法及装置，在毫米波安检过程中同时获取人员的毫米波图像和至少两种无感身份认证模态图像，并分别计算出多个单模态质量分数，根据毫米波图像和至少两种无感身份认证模态图像分别提取多个单模态特征，输入经训练的特征融合模型进行特征融合，得到多模态融合特征，根据多个单模态质量分数计算得到多模态质量分数，基于毫米波图像得到安检结果；通过多个单模态特征或多模态融合特征进行身份认证，将该人员的安检结果与身份信息建立对应关系并存储或更新在数据库中。该方法不仅能将安检结果与身份认证结果绑定管理，还能保证具有较高的身份认证准确率。有较高的身份认证准确率。有较高的身份认证准确率。

【技术实现步骤摘要】
基于多模态无感身份认证的毫米波安检方法及装置


[0001]本专利技术涉及安检领域，具体涉及一种基于多模态无感身份认证的毫米波安检方法及装置。

技术介绍

[0002]随着人脸识别技术的迅猛发展，越来越多的场所逐步使用了人脸识别认证系统核实乘客的身份信息，如火车站、轮渡和机场等。随着卫生要求的提高，各大场所的安检更加注重使用人脸识别无接触的身份认证方式。无接触和无感身份认证的安检系统将会被越来越广泛的应用。
[0003]目前机场常规的安检流程是旅客要进入航站楼安检区，先进行人脸识别身份验证，然后旅客再经过工作人员的人工手检或毫米波安检仪相关设备的自动检测，以最终确定旅客是否携带危险的违禁物品。使用毫米波自动检测危险物品是一种非常便捷安全的方式，可以大量减少工作人员与旅客之间的接触。但人脸认证结合毫米波安检的产品目前还存在不完善的地方，人脸认证设备和毫米波安检仪是分开独立的系统，旅客先经过人脸认证系统后再排队过毫米波安检仪，这种做法毫米波检测结果与人脸认证结果是无法关联绑定的，从而很难达到身份认证和安检数据的绑定储存与溯源。如申请号为CN201810765062.X的专利公开了一种毫米波和摄像头融合的人脸识别的方法，该方法用毫米波人脸图像提高人脸识别精度；如申请号CN201911116583.3的专利公开了一种基于毫米波图像的人脸识别方法。以上两种方法都引入毫米波人脸图像进行身份认证，但毫米波图像人脸成像粗糙，分辨率差，轮廓形状特征区分性差；而且毫米波人脸训练数据也极难获取，没有海量的数据训练学习，最终身份认证的准确率很难保证。如申请号CN201811653641.1的专利公开了在毫米波安检通道上安装光学镜头仅通过人脸识别进行旅客身份认证，并且将毫米波图像与光学图像进行匹配实现了毫米波检测结果与旅客身份认证绑定，但仅通过人脸识别在旅客化妆、戴口罩、戴墨镜、戴帽子或者人脸角度过大时身份认证的准确率不高，并且该申请专利并未对安检数据进行数据库管理。
[0004]有鉴于此，提出一种无感身份认证的毫米波安检方法是至关重要的。

技术实现思路

[0005]针对上述
技术介绍
提到的技术问题。本申请的实施例的目的在于提出了一种基于多模态无感身份认证的毫米波安检方法及装置，来解决以上
技术介绍
部分提到的技术问题。
[0006]第一方面，本申请的实施例提供了一种基于多模态无感身份认证的毫米波安检方法，包括以下步骤：
[0007]S1，在毫米波安检过程中同时获取人员的毫米波图像和至少两种无感身份认证模态图像，并分别计算出毫米波图像和至少两种无感身份认证模态图像所对应的多个单模态质量分数，根据毫米波图像和至少两种无感身份认证模态图像分别提取多个单模态特征，
多个单模态特征包括体态特征和至少两种无感身份认证模态特征；
[0008]S2，将多个单模态特征输入经训练的特征融合模型进行特征融合，得到多模态融合特征，根据多个单模态质量分数计算得到多模态质量分数，基于毫米波图像得到安检结果；
[0009]S3，通过多个单模态特征进行身份认证，若身份认证成功，则得到该人员的身份信息，若身份认证失败，则通过多模态融合特征进行身份认证，若身份认证成功，则得到该人员的身份信息；
[0010]S4，将该人员的安检结果与身份信息建立对应关系并存储在数据库中，同时将多个单模态质量分数、多模态质量分数、单模态特征和多模态融合特征记录在对应关系中，或者根据多个单模态质量分数和多模态质量分数分别在对应关系中更新多个单模态特征和多模态融合特征。
[0011]作为优选，至少两种无感身份认证模态图像包括人脸图像和虹膜图像，至少两种无感身份认证模态特征包括人脸特征和虹膜特征，体态特征、人脸特征和虹膜特征通过对应的经训练的深度学习模型分别提取体态特征、人脸特征和虹膜特征，多个单模态质量分数为体态图像质量分数、人脸图像质量分数和虹膜图像质量分数。
[0012]作为优选，步骤S1中分别计算出毫米波图像和至少两种无感身份认证模态图像所对应的多个单模态质量分数，具体包括：
[0013]通过毫米波图像体态完整度和清晰度综合计算体态图像质量分数；
[0014]通过人脸图像的人脸角度、亮度和清晰度综合计算人脸图像质量分数；
[0015]通过虹膜图像的虹膜完整度、视线方向、亮度和清晰度综合计算虹膜图像质量分数。
[0016]作为优选，特征融合模型包括concat层、dropout层和全连接层，步骤S2具体包括：
[0017]将多个维度为D*1*1的单模态特征输入concat层进行特征拼接，得到维度为3D*1*1的拼接特征，将拼接特征输入dropout层随机冻结部分特征，得到识别特征，将识别特征输入全连接层降维融合得到维度为D*1*1的多模态融合特征；
[0018]将多个单模态质量分数进行加权计算处理，得到多模态质量分数。
[0019]作为优选，步骤S3具体包括：
[0020]S31，将多个单模态特征分别与相应的单模态特征数据库中的单模态标准特征进行特征比对，得到多个第一特征比对分数，若至少一个第一特征比对分数大于或等于第一阈值，则身份认证成功，确定该人员的身份信息；
[0021]S32，若多个第一特征比对分数均小于第一阈值，则将多模态融合特征与多模态融合特征数据库中的多模态融合标准特征进行特征比对，得到第二特征比对分数，若第二特征比对分数大于第二阈值，则身份认证成功，确定该人员的身份信息，若第二特征比对分数小于第二阈值，则身份认证失败。
[0022]作为优选，第二阈值小于第一阈值。
[0023]作为优选，步骤S4具体包括：
[0024]若步骤S31中的基于人脸特征的身份认证成功，且多模态融合特征数据库中不存在该人员对应的多模态融合标准特征，则将该人员的安检结果、身份信息、单模态质量分数、多模态质量分数、单模态特征和多模态融合特征建立对应关系加密存储在数据库中；
[0025]若步骤S31中的基于人脸特征的身份认证成功，且多模态融合特征数据库中存在该人员对应的多模态融合标准特征，则将该人员的安检结果与身份信息建立对应关系，并分别根据单模态质量分数、多模态质量分数对相应的单模态特征数据库中的单模态标准特征以及多模态融合特征数据库中的多模态融合标准特征进行更新。
[0026]第二方面，本申请的实施例提供了一种基于多模态无感身份认证的毫米波安检装置，包括：
[0027]特征提取模块，被配置为在毫米波安检过程中同时获取人员的毫米波图像和至少两种无感身份认证模态图像，并分别计算出毫米波图像和至少两种无感身份认证模态图像所对应的多个单模态质量分数，根据毫米波图像和至少两种无感身份认证模态图像分别提取多个单模态特征，多个单模态特征包括体态特征和至少两种无感身份认证模态特征；
[0028]特征融合模块，被配置为将多个单模态特征输入经训练的特征融合模型进行特征融合，得到多模态融合特征，根据多个单模态质量分数计算得到多模态质量分数，基于毫米波图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态无感身份认证的毫米波安检方法，其特征在于，包括以下步骤：S1，在毫米波安检过程中同时获取人员的毫米波图像和至少两种无感身份认证模态图像，并分别计算出所述毫米波图像和至少两种无感身份认证模态图像所对应的多个单模态质量分数，根据所述毫米波图像和至少两种无感身份认证模态图像分别提取多个单模态特征，多个所述单模态特征包括体态特征和至少两种无感身份认证模态特征；S2，将多个所述单模态特征输入经训练的特征融合模型进行特征融合，得到多模态融合特征，根据多个所述单模态质量分数计算得到多模态质量分数，基于所述毫米波图像得到安检结果；S3，通过多个所述单模态特征进行身份认证，若身份认证成功，则得到该人员的身份信息，若身份认证失败，则通过所述多模态融合特征进行身份认证，若身份认证成功，则得到该人员的身份信息；S4，将该人员的所述安检结果与所述身份信息建立对应关系并存储在数据库中，同时将多个所述单模态质量分数、多模态质量分数、单模态特征和多模态融合特征记录在所述对应关系中，或者根据多个所述单模态质量分数和多模态质量分数分别在所述对应关系中更新多个所述单模态特征和多模态融合特征。2.根据权利要求1所述的基于多模态无感身份认证的毫米波安检方法，其特征在于，所述至少两种无感身份认证模态图像包括人脸图像和虹膜图像，所述至少两种无感身份认证模态特征包括人脸特征和虹膜特征，所述体态特征、人脸特征和虹膜特征通过对应的经训练的深度学习模型分别提取所述体态特征、人脸特征和虹膜特征，多个所述单模态质量分数为体态图像质量分数、人脸图像质量分数和虹膜图像质量分数。3.根据权利要求2所述的基于多模态无感身份认证的毫米波安检方法，其特征在于，所述步骤S1中分别计算出所述毫米波图像和至少两种无感身份认证模态图像所对应的多个单模态质量分数，具体包括：通过毫米波图像体态完整度和清晰度综合计算体态图像质量分数；通过人脸图像的人脸角度、亮度和清晰度综合计算人脸图像质量分数；通过虹膜图像的虹膜完整度、视线方向、亮度和清晰度综合计算虹膜图像质量分数。4.根据权利要求1所述的基于多模态无感身份认证的毫米波安检方法，其特征在于，所述特征融合模型包括concat层、dropout层和全连接层，所述步骤S2具体包括：将多个维度为D*1*1的所述单模态特征输入所述concat层进行特征拼接，得到维度为3D*1*1的拼接特征，将所述拼接特征输入所述dropout层随机冻结部分特征，得到识别特征，将所述识别特征输入所述全连接层降维融合得到维度为D*1*1的多模态融合特征；将多个所述单模态质量分数进行加权计算处理，得到所述多模态质量分数。5.根据权利要求1所述的基于多模态无感身份认证的毫米波安检方法，其特征在于，所述步骤S3具体包括：S31，将多个所述单模态特征分别与相应的单模态特征数据库中的单模态标准特征进行特征比对，得到多个第一特征比对分数，若至少一个所述第一特征比对分数大于或等于第一阈值，则身份认证...

【专利技术属性】
技术研发人员：袁嘉言，贾宝芝，王汉超，张帅，何一凡，
申请(专利权)人：厦门瑞为信息技术有限公司，
类型：发明
国别省市：