多模态生物特征采集方法、装置、可读存储介质及设备制造方法及图纸

本发明专利技术公开了一种多模态生物特征采集方法、装置、可读存储介质及设备，属于生物识别领域。本发明专利技术通过人脸镜头采集可见光2D人脸图像，并将载台旋转到第一采集位置上互斥点亮补光灯和结构光灯分别采集虹膜图像和局部人脸3D结构光图像；然后将载台旋转到至少一个第二采集位置上互斥点亮补光灯和结构光灯分别采集局部近红外人脸图像和局部人脸3D结构光图像；最后将虹膜图像和所有局部近红外人脸图像拼接得到2D近红外人脸图像，将所有局部人脸3D结构光图像拼接得到3D人脸图像。本发明专利技术复用一个虹膜镜头采集虹膜图像、2D近红外人脸图像和3D人脸图像，降低了设备的复杂度和成本、缩小了设备体积，提高了生物特征识别的安全性和可靠性。靠性。靠性。

【技术实现步骤摘要】
多模态生物特征采集方法、装置、可读存储介质及设备


[0001]本专利技术涉及生物识别领域，特别是指一种多模态生物特征采集方法、装置、可读存储介质及设备。

技术介绍

[0002]2D人脸识别技术是目前最主流的生物识别技术，其易用性和数据样本的丰富性是其他生物识别技术所无法比拟的。但是在安全性上略有欠缺，比如无法区分双胞胎，易受假体攻击等。随着人脸识别公司对人脸识别技术的进一步发展和研究，出现了3D人脸识别技术，并且突破了2D人脸识别技术对环境要求高、易被攻破等缺点，可以更为快速的识别。
[0003]同时，虹膜识别以虹膜的高度唯一性、稳定性和不可更改的特性，被公认为生物特征识别中最安全、最准确的身份识别方法，已在众多领域有了广泛地应用。
[0004]因此，将2D人脸识别技术、3D人脸识别技术以及虹膜识别技术组合在一起进行多模态生物特征识别可以很好的利用其各自的优势，显著提高识别率。
[0005]进行上述多模态生物特征识别首先需要获得满足要求的2D人脸图像、3D人脸图像和虹膜图像，但是，现有技术中通过一个设备同时获得2D人脸图像、3D人脸图像和虹膜图像是非常困难的。
[0006]现有技术通过结构光的方法采集3D人脸图像，通过投射器投射到被测物体表面的主动结构光结构信息，如激光条纹、格雷码、正弦条纹等，然后通过镜头拍摄被测物体表面得到结构光图像，根据结构光图像得到3D人脸信息。
[0007]现有技术的人脸镜头的采集范围(视场角)较大，可以一次采集整张人脸图像，但是人脸镜头的分辨率较低，如果通过人脸镜头拍摄结构光图像，得到的结构光图像分辨率低，很难满足高精度的识别要求，因此不能通过现有的人脸镜头拍摄3D人脸结构光图像。虹膜镜头的分辨率较高，但是其视场角较小(30
°
左右)，只能拍摄得到眼部区域的图像，因此也不能通过现有的虹膜镜头拍摄3D人脸结构光图像。
[0008]可见，现有技术无法使用人脸镜头和虹膜镜头在同一个设备上实现采集2D人脸图像、3D人脸图像和虹膜图像。如果为采集3D人脸结构光图像而专门配备额外的一个镜头，会使得设备结构复杂，成本高。配备的镜头分辨率要很高，视场角也要很大，这种镜头成本非常高昂，并且这种镜头采集的图像分辨率和尺寸很大，以现有设备的处理性能很难实现实时处理。

技术实现思路

[0009]为解决现有技术中无法通过现有人脸镜头和虹膜镜头采集3D人脸图像的缺陷，本专利技术提供一种多模态生物特征采集方法、装置、可读存储介质及设备，在一个设备上只采用人脸镜头和虹膜镜头两个镜头即可同时采集到可见光2D人脸图像、虹膜图像、2D近红外人脸图像和3D人脸图像，降低了设备的复杂度和成本、缩小了设备体积，提高了生物特征识别的安全性和可靠性。
[0010]本专利技术提供技术方案如下：
[0011]第一方面，本专利技术提供一种多模态生物特征采集方法，人脸镜头和虹膜镜头固定设置在可旋转的载台上，所述载台上固定设置有补光灯和结构光灯，所述方法包括：
[0012]获取所述载台位于初始位置时由人脸镜头采集的人脸图像；
[0013]控制所述载台转动到第一采集位置，其中，所述第一采集位置使得虹膜在所述虹膜镜头的视场范围内居中；
[0014]控制补光灯和结构光灯分时互斥开启，获取由虹膜镜头分时采集的虹膜图像和局部人脸3D结构光图像；
[0015]控制所述载台旋转到至少一个第二采集位置，对每一个第二采集位置，控制补光灯和结构光灯分时互斥开启，获取由虹膜镜头分时采集的局部近红外人脸图像和局部人脸3D结构光图像；
[0016]将所述虹膜图像和所有局部近红外人脸图像拼接在一起得到包含完整人脸的近红外人脸图像，将所有局部人脸3D结构光图像拼接在一起得到包含完整人脸的3D人脸图像。
[0017]第二方面，本专利技术提供一种多模态生物特征采集装置，人脸镜头和虹膜镜头固定设置在可旋转的载台上，所述载台上固定设置有补光灯和结构光灯，所述装置包括：
[0018]第一获取模块，用于获取所述载台位于初始位置时由人脸镜头采集的人脸图像；
[0019]旋转模块，用于控制所述载台转动到第一采集位置，其中，所述第一采集位置使得虹膜在所述虹膜镜头的视场范围内居中；
[0020]第二获取模块，用于控制补光灯和结构光灯分时互斥开启，获取由虹膜镜头分时采集的虹膜图像和局部人脸3D结构光图像；
[0021]第三获取模块，用于控制所述载台旋转到至少一个第二采集位置，对每一个第二采集位置，控制补光灯和结构光灯分时互斥开启，获取由虹膜镜头分时采集的局部近红外人脸图像和局部人脸3D结构光图像；
[0022]拼接模块，用于将所述虹膜图像和所有局部近红外人脸图像拼接在一起得到包含完整人脸的近红外人脸图像，将所有局部人脸3D结构光图像拼接在一起得到包含完整人脸的3D人脸图像。
[0023]第三方面，本专利技术提供一种用于多模态生物特征采集的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的多模态生物特征采集方法的步骤。
[0024]第四方面，本专利技术提供一种用于多模态生物特征采集的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的多模态生物特征采集方法的步骤。
[0025]本专利技术具有以下有益效果：
[0026]本专利技术复用一个虹膜镜头采集虹膜图像、2D近红外人脸图像和3D人脸图像，使得在一个设备上只采用人脸镜头和虹膜镜头两个镜头即可同时采集到可见光2D人脸图像、虹膜图像、2D近红外人脸图像和3D人脸图像，获得2D人脸信息、虹膜信息和3D人脸信息，降低了设备的复杂度和成本、缩小了设备体积。并且可以利用获得的2D人脸信息、虹膜信息和3D人脸信息进行多模态生物特征识别和活体检测，提高了生物特征识别的安全性和可靠性。
附图说明
[0027]图1为本专利技术的多模态生物特征采集方法一个示例的流程图；
[0028]图2为采用本专利技术的多模态生物特征采集方法的多模态采集设备中各个部件的示意图；
[0029]图3为人脸镜头和虹膜镜头的视场角示意图；
[0030]图4为载台旋转到第一采集位置时人脸镜头和虹膜镜头的视场角示意图；
[0031]图5为人眼的第一当前位置与第一目标位置的示意图；
[0032]图6为图1所示的多模态生物特征采集方法的示例中步骤S200的一个示例的流程图；
[0033]图7为图1所示的多模态生物特征采集方法的示例中步骤S500的一个示例的流程图；
[0034]图8为图1所示的多模态生物特征采集方法的示例中步骤S500的另一个示例的流程图；
[0035]图9为虹膜图像的示意图；
[0036]图10为局部近红外人脸图像的示意图；
[0037]图11为近红外人脸图像的示意图；
[0038]图12为本专利技术的多模态生物特征采集装置一个示例的示意图；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态生物特征采集方法，其特征在于，人脸镜头和虹膜镜头固定设置在可旋转的载台上，所述载台上固定设置有补光灯和结构光灯，所述方法包括：获取所述载台位于初始位置时由人脸镜头采集的人脸图像；控制所述载台转动到第一采集位置，其中，所述第一采集位置使得虹膜在所述虹膜镜头的视场范围内居中；控制补光灯和结构光灯分时互斥开启，获取由虹膜镜头分时采集的虹膜图像和局部人脸3D结构光图像；控制所述载台旋转到至少一个第二采集位置，对每一个第二采集位置，控制补光灯和结构光灯分时互斥开启，获取由虹膜镜头分时采集的局部近红外人脸图像和局部人脸3D结构光图像；将所述虹膜图像和所有局部近红外人脸图像拼接在一起得到包含完整人脸的近红外人脸图像，将所有局部人脸3D结构光图像拼接在一起得到包含完整人脸的3D人脸图像。2.根据权利要求1所述的多模态生物特征采集方法，其特征在于，所述控制所述载台转动到第一采集位置，包括：对所述人脸图像进行人脸检测，得到人脸图像中人眼的第一当前位置；计算人眼的第一当前位置与第一目标位置之间的第一差值，当所述第一差值的绝对值大于第一预设阈值时，根据所述第一差值计算得到第一角度差；根据所述第一角度差计算载台所需转动的第一角度，并控制所述载台按照所述第一角度进行转动；获取由虹膜镜头采集的前置虹膜图像，并对所述前置虹膜图像进行人眼检测，得到前置虹膜图像中人眼的第二当前位置；计算人眼的第二当前位置与第二目标位置之间的第二差值，当所述第二差值的绝对值大于第二预设阈值时，根据所述第二差值计算得到第二角度差；根据所述第二角度差计算载台所需转动的第二角度，并控制所述载台按照所述第二角度转动到第一采集位置。3.根据权利要求2所述的多模态生物特征采集方法，其特征在于，所述根据所述第一角度差计算载台所需转动的第一角度，之前还包括：将第一角度差乘以系数k进行校正，k＝标准人脸大小/人脸图像中的人脸大小。4.根据权利要求1
‑
3任一所述的多模态生物特征采集方法，其特征在于，所述将所述虹膜图像和所有局部近红外人脸图像拼接在一起得到包含完整人脸的近红外人脸图像，包括：提取所述虹膜图像和所有局部近红外人脸图像的特征点，并统计所述虹膜图像和所有局部近红外人脸图像的相同位置的特征点；将所述虹膜图像和所有局部近红外人脸图像的相同位置的特征点重合对齐，找到重叠区域；以所述重叠区域为基准，将所述虹膜图像和所有局部近红外人脸图像进行融合，得到所述近红外人脸图像。5.根据权利要求1
‑
3任一所述的多模态生物特征采集方法，其特征在于，所述将所述虹膜图像和所有局部近红外人脸图像拼接在一起得到包含完整人脸的近红外人脸图像，包
括：提取所述人脸图像、虹膜图像和所有局部近红外人脸图像的特征点；以人脸图像的特征点为基准，将虹膜图像和所有局部近红外人脸图像的特征点与相同位置的人脸图像的特征点重合对齐；将对齐后的虹膜图像和所有局部近红外...

【专利技术属性】
技术研发人员：彭程，
申请(专利权)人：北京眼神智能科技有限公司北京眼神科技有限公司，
类型：发明
国别省市：