一种基于卷积神经网络的多模态特征融合方法及装置制造方法及图纸

本发明专利技术公开了一种基于卷积神经网络的多模态特征融合方法包括：从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对用于生物特征识别的多模态卷积神经网络进行训练。这样解决了现有技术中单一模态识别具有的局限性问题，提高了生物特征识别的准确度。

A Multi-modal Feature Fusion Method and Device Based on Convolutional Neural Network

The invention discloses a multi-modal feature fusion method based on convolution neural network, which includes: extracting multi-modal features from different heterogeneous images and obtaining the first feature set of each modal; in multi-modal convolution neural network, according to the correlation between different modes, selecting features that meet the preset conditions from the first feature set of each modal, and obtaining each modal. The second feature set of the multi-modal convolution neural network; the weights of the second feature set of each modal are determined at the full connection layer of the multi-modal convolution neural network, and the second feature set of multiple modals is fused according to the weights, so that the fused second feature set can train the multi-modal convolution neural network for biometric recognition. In this way, the limitation of single modal recognition in the existing technology is solved, and the accuracy of biometric recognition is improved.

【技术实现步骤摘要】
一种基于卷积神经网络的多模态特征融合方法及装置
本专利技术涉及图像处理领域，尤其涉及一种基于卷积神经网络的多模态特征融合方法及装置。
技术介绍
随着科学技术的发展，生物识别技术越来越成熟，人们的生活也越来越依赖于生物特征识别技术，例如：指纹、人脸识别解锁等功能均依赖于生物识别技术。现有技术中，通常采用单模态的图像特征进行生物特征识别，不同的模态可以理解为在不同场景下得到的图像，例如可见光人脸图像、近红外虹膜图像等。但是每种模态都具有一定的局限性，若采用某一种模态训练的识别模型，将该识别模型用于对其它模态的图像进行识别时，会影响识别结果的准确性。因此，现在亟待需要一种可以将不同模态进行融合的方式。
技术实现思路
本专利技术实施例公开了一种基于卷积神经网络的多模态特征融合方法、装置及系统，解决了现有技术中单一模态识别具有的局限性问题，提高了生物特征识别的准确度。本专利技术实施例公开了一种基于卷积神经网络的多模态特征融合方法，包括：从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据所述权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对用于生物特征识别的多模态卷积神经网络进行训练。可选的，所述异质图像包括：可见光人脸图像、近红外人脸图像、可见光虹膜图像、近红外虹膜图像，其中，每一种图像对应一种模态。可选的，在所述异质图像为近红外人脸图像或者可见光人脸图像的情况下，所述从不同的异质图像中提取多个模态的特征，包括：对输入的所述可见光人脸图像或者近红外人脸图像进行检测，得到人脸的位置信息和关键点的位置信息；对输入的所述可见光人脸图像或者近红外人脸图像进行预处理；将预处理后的所述近红外人脸图像或者可见光人脸图像输入到已训练的的人脸图像特征提取模型中，提取近红外光下的人脸特征或者可见光下的人脸特征。可选的，在所述异质图像为可见光虹膜图像或者近红外虹膜图像的情况下，所述从不同的异质图像中提取多个模态的特征，包括：分别采用第一方式和第二方式提取所述可见光虹膜图像或者近红外虹膜图像中双眼的相关性特征，得到第一目标特征集和第二目标特征集；依据第一目标特征集和第二目标特征集的互补性，从第一目标特征集和第二目标特征集中提取虹膜的深度特征。可选的，所述依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，包括：分别从每个模态的第一特征集中筛选出具有最大化类间差异和最小化类内差异的特征，得到每个模态的第三特征集；通过多元变量回归模型对每个模态的第三特征集进行分析，得到每个模态的第二特征集。本专利技术实施例还公开了一种基于卷积神经网络的多模态特征融合装置，包括：多模态特征提取单元，用于从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；筛选单元，用于在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；融合单元，用于在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据所述权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对用于生物特征识别的多模态卷积神经网络进行训练。可选的，所述异质图像包括：可见光人脸图像、近红外人脸图像、可见光虹膜图像、近红外虹膜图像，其中，每一种图像对应一种模态。可选的，所述筛选单元，包括：筛选子单元，用于分别从每个模态的第一特征集中筛选出具有最大化类间差异和最小化类内差异的特征，得到每个模态的第三特征集；分析子单元，用于通过多元变量回归模型对每个模态的第三特征集进行分析，得到每个模态的第二特征集。本专利技术实施例还公开了一种基于卷积神经网络的多模态特征融合系统，包括：采集端和数据处理端；所述采集端，用于获取表示不同模态的异质图像；所述数据处理端，用于从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据所述权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对用于生物特征识别的多模态卷积神经网络进行训练。可选的，所述异质图像包括：可见光人脸图像、近红外人脸图像、可见光虹膜图像、近红外虹膜图像，其中，每一种图像对应一种模态。本专利技术实施例公开了一种基于卷积神经网络的多模态特征融合方法、装置及系统，包括：从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对用于生物特征识别的多模态卷积神经网络进行训练。由此可知，通过将多模态的特征进行融合，并依据该融合的特征对多模态卷积神经网络进行训练，得到用于特征识别的多模态卷积神经网络，这样解决了现有技术中单一模态识别具有的局限性问题，提高了生物特征识别的准确度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1示出了本专利技术实施例提供的一种基于卷积神经网络的多模态特征融合方法的流程示意图；图2示出了可见光人脸图像或者近红外人脸图像进行特征提取的流程示意图；图3示出了可见光虹膜图像或者近红外虹膜图像进行特征提取的流程示意图；图4示出了特征融合的示意图；图5示出了本专利技术实施例提供的一种基于卷积神经网络的多模态特征融合装置的结构示意图；图6示出了本专利技术实施例提供的一种基于卷积神经网络的多模态特征融合系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参考图1，示出了本专利技术实施例提供的一种基于卷积神经网络的多模态特征融合方法的流程示意图，在本实施例中，该方法包括：S101：从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；本实施例中，异质图像是在不同场景条件下的图像，例如不同的光照、不同的拍摄角度、不同的镜头设置(近距离和远距离)、不同的拍摄场地(办公室、银行、小区等)。本实施例中以如下的四种图像为例对本方案进行说明，包括：可见光人脸图像、近红外人脸图像、可见光虹膜图像和近红外虹膜图像。其中，本实施例中，可以采用多种方式对不同模态(例如，人脸或者虹膜)的图像进行特征提取，本实施例中不进行限定。但是，为了清楚的解释本方案的具体实本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的多模态特征融合方法，其特征在于，包括：从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据所述权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对生物特征识别的多模态卷积神经网络进行训练。

【技术特征摘要】
1.一种基于卷积神经网络的多模态特征融合方法，其特征在于，包括：从不同的异质图像中提取多个模态的特征，得到每个模态的第一特征集；在多模态卷积神经网络中，依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，得到每个模态的第二特征集；在多模态卷积神经网络的全连接层，确定每个模态的第二特征集的权重，并依据所述权重将多个模态的第二特征集进行融合，以使融合后的第二特征集对生物特征识别的多模态卷积神经网络进行训练。2.根据权利要求1所述的方法，其特征在于，所述异质图像包括：可见光人脸图像、近红外人脸图像、可见光虹膜图像、近红外虹膜图像，其中，每一种图像对应一种模态。3.根据权利要求2所述的方法，其特征在于，在所述异质图像为近红外人脸图像或者可见光人脸图像的情况下，所述从不同的异质图像中提取多个模态的特征，包括：对输入的所述可见光人脸图像或者近红外人脸图像进行检测，得到人脸的位置信息和关键点的位置信息；对输入的所述可见光人脸图像或者近红外人脸图像进行预处理；将预处理后的所述近红外人脸图像或者可见光人脸图像输入到已训练的的人脸图像特征提取模型中，提取近红外光下的人脸特征或者可见光下的人脸特征。4.根据权利要求2所述的方法，其特征在于，在所述异质图像为可见光虹膜图像或者近红外虹膜图像的情况下，所述从不同的异质图像中提取多个模态的特征，包括：分别采用第一方式和第二方式提取所述可见光虹膜图像或者近红外虹膜图像中双眼的相关性特征，得到第一目标特征集和第二目标特征集；依据第一目标特征集和第二目标特征集的互补性，从第一目标特征集和第二目标特征集中提取虹膜的深度特征。5.根据权利要求1所述的方法，其特征在于，所述依据不同模态之间的相关性，从每个模态的第一特征集中筛选出符合预设条件的特征，包括：分别从每个模态的第一特征集中筛选出具有最大化类间差异和最小化类内差异的特征，得到每个模态的第三特征集；通过多元变量回归模型对每个...

【专利技术属性】
技术研发人员：仲崇亮，
申请(专利权)人：中控智慧科技股份有限公司，
类型：发明
国别省市：广东,44