一种多维度多模态群体生物特征识别系统以及方法技术方案

本发明专利技术公开了一种多维度多模态群体生物特征识别系统以及方法，主要面向远距离场景中人脸、虹膜和步态生物特征的群体获取与识别，包括：主动式可配置光电成像元件、高分辨多维计算成像模块、自适应全向光源，机电控制交互平台、高性能数据计算平台和生物特征数据处理软件。本发明专利技术可以在现实复杂场景中针对非限定状态的用户人群实现全向多模态实时生物特征高效获取，满足复杂场景中的高通量身份识别需求，基于可动态配置的光机电算，通过时空复用的计算成像装置与机制实现远距离大景深全向360°大范围内人群的人脸、虹膜、步态多模态生物特征有效获取与融合识别，在军事国防、反恐布控、安检通关、金融支付等国计民生领域拥有广泛应用前景。

【技术实现步骤摘要】
一种多维度多模态群体生物特征识别系统以及方法
本专利技术涉及生物特征识别、计算机视觉、计算成像等领域，尤其涉及一种面向远距离场景多目标的人脸、虹膜和步态生物信息获取和识别的多维度多模态高通量群体生物特征识别系统，具体涉及一种多维度多模态群体生物特征识别系统以及方法。
技术介绍
生物特征识别是通过自动获取和分析人体的生理和行为特征，实现身份鉴别的技术，常见的生物特征模态包括指纹、虹膜、人脸、掌纹、静脉、笔迹、步态、语音等。人体模态的生物特征信息主要分布于面部(人脸、虹膜、眼周、眼纹)和手部(指纹、掌纹、静脉)。与手部生理特征相比，人体面部的人脸和虹膜特征具有信息丰富、直观可见、非接触采集、识别快速的独特优势，在涉及身份识别的国计民生众多领域已得到广泛应用。而步态生物特征具有超远采集距离、无察觉识别、动态识别、多人识别、难于伪装等优点，可以实现多人非配合状态下的获取与识别。当前单一模态的生物特征识别装置已得到了快速发展，特别是近距离的虹膜和人脸识别设备在环境受控的情况下可以基本正确识别主动配合的用户，步态识别只需要利用现有高清摄像头，就可以达到中远距离的高精度识别。但当应用场景中光线、距离、遮挡、人数等发生变化或者目标对象出现诸如运动、眨眼、侧脸等状态参数变化时，现有生物特征采集设备无法有效采集高质量信息，生物特征识别系统的性能也会发生急剧下降，无法满足复杂真实世界中的多种应用领域对于身份识别的现实需求，严重影响生物特征识别的可靠性、准确性与鲁棒性。由于虹膜尺寸很小(直径1cm左右)，而且亚洲人虹膜信息采集需要近红外辅助光源，远距离虹膜图像获取是虹膜识别中的首要难题。人脸识别性能受很多外部环境的影响，易于收到外在伪造攻击，如何保证采集图像的真实性并且建立适应复杂环境的人脸成像技术成为制约瓶颈。步态特征受成像装置视角影响很大，如何布置多视角采集将直接影响识别精度，三维图像获取也将为步态感知提供更加丰富的深度信息。多模态生物特征识别由于其在识别精度、鲁棒性和适用场景等方面比单模态的生物识别技术具有独特优势，因此多模态生物识别装置的研发即为重要。但现有几乎所有多模态生物特征成像设备几乎一次只能获取单人信息，很难采集非配合多人运动状态下的生物特征信息，还没有针对多种模态协同的系统性成像装置与识别系统。本专利技术针对远距离场景中的虹膜、人脸、步态三种生物特征模态，提出远距离、大景深、多目标、多视角的多模态融合识别系统。其中虹膜识别精度和可靠性最佳，人脸识别易用性和适用范围最广，步态识别距离和非配合性最好，三种模态各取所长融合识别。本专利技术借助光学、机械、电子、计算机、视觉、机器学习等多领域技术融合的成像装置实现多维度多模态的群体生物特征识别，将有效解决现有生物特征识别系统采集距离有效、只能采集单个目标、模态单一、识别过程需要人员主动配合等技术难题，增强生物识别系统对用户和环境的自适应能力，实现从人配合机器到机器主动适应人，扩大生物识别技术在现实场景的应用范围。
技术实现思路
本专利技术的目的是提供一种多维度多模态群体生物特征识别系统以及方法，该系统能够实现远距离场景中多人虹膜、人脸、步态三种生物特征模态融合的图像信息采集与身份识别，主动感知场景与目标状态进行自适应生物特征图像获取，采集二维与三维生物特征，无需目标主动配合，实时获取多人目标虹膜图像，实现行进中虹膜图像获取，实现远距离、大景深、大视场的生物特征识别，同时具有极高的鲁棒性，能够有效应对多种伪造攻击。为实现本专利技术的目的，本专利技术提供了一种多维度多模态群体生物特征识别系统，所述系统包括生物特征成像单元、机电控制交互平台、高性能数据计算平台、生物特征感知软件；其中，所述生物特征成像单元用于采集预设场景中多个用户的虹膜、人脸和步态三种生物特征模态的图像与视频序列；所述机电交互控制单元用于实现硬件与软件的交互连通，完成数据的传输与控制的执行；所述高性能数据计算平台用于整个系统提供计算运行支持，保证多维多模态生物特征信息的运算处理与感知分析；所述生物特征感知软件用于进行生物特征信息的感知分析，实现多模态生物特征识别核心算法，进行识别结果的人机交互控制与现实。其中，图像获取采用焦栈序列的方式获取时序过程中的一系列连续图像帧，取代传统的单帧图像获取方式，从而保证识别对象处于动态过程中仍能够清晰捕捉高质量图像信息，也可以从多个对焦帧序列中使用图像质量增强方法利用多帧离焦图像生成聚焦图像。其中，所述生物特征成像单元包括主动成像模块、计算成像模块、场景成像模块、近红外成像模块、偏振成像模块、自适应光源；所述主动成像模块包括由液体变焦镜头和二维反射摆镜组成，其用于实现围绕远距离虹膜为主的景深和视场扩展；其中，主动成像模块为能够根据所感知场景和目标状态主动调整成像的装置，取代传统的固定模式成像，通过可动态配置的光电机械计算执行控制指令主动配合适应目标的距离、姿态、角度、高度等关键参数，利用液体变焦镜头快速调整大范围景深，利用二维反射镜精准调整拍摄角度，主动成像模块与计算感知算法形成闭环反馈，同步调整控制自适应光源，实现传感与认知协同的生物特征成像。所述计算成像模块由多光场相机拼接和相机阵列组成，其用于实现场景目标三维信息感知、多目标自动重聚焦和穿透式遮挡成像；其中，使用基于时空复用的计算成像机制，充分借助成像装置与感知算法的时间调控快和空间覆盖大特点，在牺牲一定程度成像的时间和空间性能情况下，同时实现高时间和高空间分辨率下的多模态多维多人实时生物特征成像与识别。所述场景成像模块由多个相机组成，其用于获取场景信息；所述近红外成像模块由多个高分辨相机与自适应光源组成，其用于实现远距离多人虹膜图像采集；所述偏振成像模块采用四角度偏振相机，其用于多人人脸图像采集，实现活体与假体的实时区分；具体地，其可以远距离实时采集多人人脸图像，通过材质物体偏振特性稳定区分包含打印、屏显、硅胶等多种人脸假体，实现非接触式精准鉴伪。所述自适应光源用于实现不同采集距离、不同高度目标、不同角度目标的多光谱照明投射。其中，所述机电交互控制平台包括信号采集获取模块、硬件驱动模块、模拟数字信号转换模块、机电执行模块、逻辑控制模块、人机交互模块；其中，所述高性能数据计算平台包括数据传输模块、多线程并行计算模块、图像数据预处理模块、图像数据增强模块、图像质量评价模块、图像显示模块。其中，所述生物特征感知软件包括场景感知算法、虹膜识别算法、人脸识别算法、步态识别算法、融合识别算法单元模块。其中，所述生物特征感知软件的算法流程如下：主动成像、优化成像、特征提取和融合感知，其中，主动成像通过场景建模、检测定位、人机交互、目标分割选择成像内容；优化成像通过图像增强，三维重建，焦点扫描提高成像质量；特征提取通过特征点提取、信息编码提取生物特征知识；融合感知通过多模态生物特征和多元深度信息融合实现。相应地，还提供了一种多维度多模态本文档来自技高网...

【技术保护点】
1.一种多维度多模态群体生物特征识别系统，其特征在于，/n所述系统包括生物特征成像单元、机电控制交互平台、高性能数据计算平台、生物特征感知软件；/n其中，所述生物特征成像单元用于采集预设场景中多个用户的虹膜、人脸和步态三种生物特征模态的图像与视频序列；/n所述机电交互控制单元用于实现硬件与软件的交互连通，完成数据的传输与控制的执行；/n所述高性能数据计算平台用于整个系统提供计算运行支持，保证多维多模态生物特征信息的运算处理与感知分析；/n所述生物特征感知软件用于进行生物特征信息的感知分析，实现多模态生物特征识别核心算法，进行识别结果的人机交互控制与现实。/n

【技术特征摘要】
1.一种多维度多模态群体生物特征识别系统，其特征在于，
所述系统包括生物特征成像单元、机电控制交互平台、高性能数据计算平台、生物特征感知软件；
其中，所述生物特征成像单元用于采集预设场景中多个用户的虹膜、人脸和步态三种生物特征模态的图像与视频序列；
所述机电交互控制单元用于实现硬件与软件的交互连通，完成数据的传输与控制的执行；
所述高性能数据计算平台用于整个系统提供计算运行支持，保证多维多模态生物特征信息的运算处理与感知分析；
所述生物特征感知软件用于进行生物特征信息的感知分析，实现多模态生物特征识别核心算法，进行识别结果的人机交互控制与现实。


2.根据权利要求1所述的一种多维度多模态群体生物特征识别系统，其特征在于，
所述生物特征成像单元包括主动成像模块、计算成像模块、场景成像模块、近红外成像模块、偏振成像模块、自适应光源；
所述主动成像模块包括由液体变焦镜头和二维反射摆镜组成，其用于实现围绕远距离虹膜为主的景深和视场扩展；
所述计算成像模块由多光场相机拼接和相机阵列组成，其用于实现场景目标三维信息感知、多目标自动重聚焦和穿透式遮挡成像；
所述场景成像模块由多个相机组成，其用于获取场景信息；
所述近红外成像模块由多个高分辨相机与自适应光源组成，其用于实现远距离多人虹膜图像采集；
所述偏振成像模块采用四角度偏振相机，其用于多人人脸图像采集，实现活体与假体的实时区分；
所述自适应光源用于实现不同采集距离、不同高度目标、不同角度目标的多光谱照明投射。


3.根据权利要求1所述的一种多维度多模态群体生物特征识别系统，其特征在于，
所述机电交互控制平台包括信号采集获取模块、硬件驱动模块、模拟数字信号转换模块、机电执行模块、逻辑控制模块、人机交互模块。


4.根据权利要求1所述的一种多维度多模态群体生物特征识别系统，其特征在于，
所述高性能数据计算平台包括数据传输模块、多线程并行计算模块、图像数据预处理模块、图像数据增强模块、图像质量评价模块、图像显示模块。


5.根据权利要求1所述的一种多维度多模态群体生物特征识别系统，其特征在于，
所述生物特征感知软件包括场景感知算法、虹膜识别算法、人脸识别算法、步态识别算法、融合识别算法单元模块。


6.根据权利要求1所述的一种多维度多模态群体生物特征识别系统，其特征在于，
所述生物特征感知软件的算法流程如下：主动成像、优化成像、特征提取和融合感知，
其中，主动成像通过场景建模、检测定位、人机交互、目标分割选择成像内容；优化成像通过图像增强，三维重建，焦点扫描提高成像质量；特征提取通过特征点提取、信息编码提取生物特征知识；融合感知通过多模态生物特征和多元深度信息融合实现。


7.一种多维度多模态群体生物特征识别方法，其特征在于，
所述方法包括如下步骤：
步骤S101：用户进入采集场景区域，生物特征识别系统启动开始图像采集...

【专利技术属性】
技术研发人员：孙哲南，张堃博，谭铁牛，申振腾，
申请(专利权)人：天津中科智能识别产业技术研究院有限公司，
类型：发明
国别省市：天津;12