基于深度卷积神经网络的异质人脸识别方法技术

技术编号:15124512 阅读:332 留言:0更新日期:2017-04-10 02:46
本发明专利技术公开了一种基于深度卷积神经网络的异质人脸识别方法。该方法通过对可见光、近红外-可见光图像进行相同预处理;用预处理的可见光图像对深度卷积神经网络预训练,为异质图像的深度卷积神经网络训练提供先验知识;将近红外和可见光图像按照一定规则构成三元组,并挑选出预训练的异质图像深度卷积神经网络较难区分的难三元组;将挑选出的难三元组输入预训练后的异质图像深度卷积神经网络进行精调,反复迭代难三元组选择、精调过程至异质图像深度卷积神经网络性能不再提升,之后利用训练好的异质图像深度卷积神经网络模型进行异质人脸识别。本发明专利技术显著提升了异质人脸识别准确率,可有效缓解小规模数据在卷积神经网络训练中易过拟合的问题。

【技术实现步骤摘要】

本专利技术涉及生物特征识别、计算机视觉、模式识别和机器学习等
,具体涉及一种基于深度卷积神经网络的异质人脸识别方法
技术介绍
基于生物特征的身份识别对于安防领域及各种身份认证系统具有重要作用。人脸识别由于其非接触性和非强制性,及准确、方便、直观的特点,具有良好的发展和应用前景。传统的人脸识别主要基于人脸的可见光图像识别。可见光图像源非常广阔和易搜集,但也存在着受光照等条件影响较大的缺陷。环境光照变化时,人脸识别的性能会急剧下降。因此,不受环境光影响的近红外人脸识别系统逐渐受到重视和发展。近红外人脸识别目前已经成为人脸识别领域的研究热点。近红外成像设备采用高于环境光强度的主动近红外光源成像,配合相应波段的滤波片,能够得到不受环境光照变化影响的稳定的近红外图像。只有图像整体亮度随距离变化而单调变化,而像素间的关系则不会受到影响。因此,基于近红外图像的人脸识别不仅适用于白天,也适用于夜晚,甚至其他复杂光线条件。这使得近红外图像有很好的应用前景,如可以应用于刑侦,用户注册等系统。因此,如何进行异质人脸的识别和匹配,已经成为一个亟待解决的问题。异质人脸的识别由于其数据源具有较大的跨模态差异,以及近红外图像难以大量收集等原因,存在很大的困难。为了解决这些难题,研究者们应用传统的机器学习方法及具有强大识别性能的深度学习,尝试克服模态间的差异。传统的异质人脸识别的方法主要有以下几种:设计模态不变的特征,将人脸图像从一个模态变换到另一个模态,或者将两种模态的图像同时投影到一个共同的子空间上。随着深度学习的发展,自动编码机(AE),深度玻尔兹曼机(DBM)等无监督深度学习算法被应用到跨域图像的识别中,但相比可见光域的人脸识别,其性能仍有很大的提升空间。深度学习的另一分支,卷积神经网络(CNNs),由于具有层级化的结构,在可见光域的人脸识别、物体识别、细粒度物体分类等任务上都获得了优异的性能。加之GPU等硬件的大幅加速,使得大规模的图像处理变得简单可行。但由于近红外图像需要用专门的成像设备进行拍摄,搜集难度较大,现存的匹配的近红外与可见光人脸图像集,规模较小,远远不够用于卷积神经网络的训练。如何利用大量的可见光图像信息,以及如何利用现存的小规模近红外-可见光图像集进行深度卷积神经网络的训练成为当前异质人脸识别的两大难题。而转移学习(transferlearning)可用于解决源域与目标域的训练数据分布不同的问题。通过转移学习,网络模型从源域数据中学到的知识可以为目标域的训练提供先验。如果我们能将转移学习运用到异质人脸识别中,就能够建立可见光图像库和近红外-可见光图像库之间的连接,将从可见光数据上学到的信息转移到异质数据上,从而实现对异质人脸识别处理。
技术实现思路
有鉴于此,本专利技术目的提出一种基于深度卷积神经网络的异质人脸识别方法,其可利用大量可见光图像提升近红外-可见光人脸识别的性能,可应用于异质图像比对系统,可以有效提升其综合性能,解决了卷积神经网络在小规模异质数据库上训练容易过拟合的问题,为小规模跨域图像的识别和匹配提供了一种新思路。本专利技术是这样实现的,一种基于深度卷积神经网络的异质人脸识别方法,包括以下步骤:步骤S1,对预训练图像中的人脸图像及相关的可见光图像-近红外图像进行相同的图像预处理,得到预设大小的灰度图像;步骤S2,用预处理好的可见光图像对预设深度卷积神经网预训练,得到人脸的高层次特征表达,得到预训练的异质人脸识别卷积神经网络模型;步骤S3,按预设方法分别以训练图像中的近红外图像、可见光图像作为锚点,构建由锚点、正样本和负样本组成的跨域近红外-可见光三元组,并利用所述预训练的异质人脸识别卷积神经网络模型从训练图像中选取跨域难三元组;步骤S4,将选取的跨域难三元组输入所述预训练的异质人脸识别卷积神经网络模型进行训练,得到跨近红外域和可见光域的统一深层特征表达;并按步骤S3-S4的方法,利用上一轮训练好的异质人脸识别卷积神经网络模型,进行下一轮难三元组选择和训练,计算异质识别的正确率及真阳性率,多次迭代直到所述异质识别的正确率及真阳性率的评价标准达到最高值,获得最终的异质人脸识别卷积神经网络模型;S5,将近红外图像或可见光图像输入该最终的异质人脸识别卷积神经网络模型,通过比较近红外图像或可见光图像与人脸识别系统注册时图像库中的可见光人脸图像或近红外图像高层特征的相似度得分,实现对人脸图像识别。步骤S1中,所述图像预处理的步骤如下:运用人脸检测器,通过定位图像关键点的坐标进行对齐操作获得对齐的图像块,然后对对齐的图像进行裁剪和缩放,并处理成预设大小的灰度图像。步骤S3中,所述跨域近红外-可见光三元组的损失用下式来表达:loss=ΣiN[||f(xia)-f(xip)||22-||f(xia)-f(xip)||22]+]]>其中,N为三元组的总数,xia为锚点,xip为正样本,xin为负样本。步骤S3中,所述的利用所述预训练的异质人脸识别卷积神经网络模型从训练图像中选取跨域难三元组的步骤是:将所有训练图像输入所述预训练的异质人脸识别卷积神经网络模型中训练,得到高层次的特征表达,计算近红外图像和可见光图像的相似度得分,将该相似度得分与实际相似度不匹配的图像选出来组成难三元组。步骤S3中,所述跨域难三元组通过以下方法选取:以训练图像中的可见光图像为锚点,遍历所有近红外图像,并对可见光图像与近红外图像两者的相似度分排序,以相似度分较高且与锚点来自不同ID的近红外图像作为难负样本,相似度分较低且与锚点来自同一ID的近红外图像作为难正样本,然后以该锚点与一个难正样本、一个难负样本组成一类难三元组;以训练图像中的近红外图像为锚点,遍历所有可见光图像,并对可见光图像与近红外图像两者的相似度分排序,以相似度分较高且与锚点来自不同ID的可见光图像作为难负样本,相似度分较低且与锚点来自同一ID的可见光图像作为难正样本,然后以该锚点与一个难正样本、一个难负样本组成另一类难三元组。步骤S4中,所述的将选取的跨域难三元组输入所述异质人脸识别深度卷积神经网络模型训练后,是通过使该异质人脸识别深度卷积神经网络模型通过误差梯度反传进行参数精调,使该异质人脸识别深度卷积神经网络模型在学到人脸表达的本质特征的同时,又学到不依赖于近红外或可见光域的非本质特征,从而得本文档来自技高网
...

【技术保护点】
一种基于深度卷积神经网络的异质人脸识别方法,其特征在于,包括以下步骤:步骤S1,对预训练图像中的人脸图像及相关的可见光图像‑近红外图像进行相同的图像预处理,得到预设大小的灰度图像;步骤S2,用预处理好的可见光图像对预设深度卷积神经网预训练,得到人脸的高层次特征表达,得到预训练的异质人脸识别卷积神经网络模型;步骤S3,按预设方法分别以训练图像中的近红外图像、可见光图像作为锚点,构建由锚点、正样本和负样本组成的跨域近红外‑可见光三元组,并利用所述预训练的异质人脸识别卷积神经网络模型从训练图像中选取跨域难三元组;步骤S4,将选取的跨域难三元组输入所述预训练的异质人脸识别卷积神经网络模型进行训练,得到跨近红外域和可见光域的统一深层特征表达;并按步骤S3‑S4的方法,利用上一轮训练好的异质人脸识别卷积神经网络模型,进行下一轮难三元组选择和训练,计算异质识别的正确率及真阳性率,多次迭代直到所述异质识别的正确率及真阳性率的评价标准达到最高值,获得最终的异质人脸识别卷积神经网络模型;步骤S5,将近红外图像或可见光图像输入该最终的异质人脸识别卷积神经网络模型,通过比较近红外图像或可见光图像与人脸识别系统注册时图像库中的可见光人脸图像或近红外图像高层特征的相似度得分,实现对人脸图像识别。...

【技术特征摘要】
1.一种基于深度卷积神经网络的异质人脸识别方法,其特征在于,
包括以下步骤:
步骤S1,对预训练图像中的人脸图像及相关的可见光图像-近红外图
像进行相同的图像预处理,得到预设大小的灰度图像;
步骤S2,用预处理好的可见光图像对预设深度卷积神经网预训练,得
到人脸的高层次特征表达,得到预训练的异质人脸识别卷积神经网络模型;
步骤S3,按预设方法分别以训练图像中的近红外图像、可见光图像作
为锚点,构建由锚点、正样本和负样本组成的跨域近红外-可见光三元组,
并利用所述预训练的异质人脸识别卷积神经网络模型从训练图像中选取
跨域难三元组;
步骤S4,将选取的跨域难三元组输入所述预训练的异质人脸识别卷积
神经网络模型进行训练,得到跨近红外域和可见光域的统一深层特征表达;
并按步骤S3-S4的方法,利用上一轮训练好的异质人脸识别卷积神经网络
模型,进行下一轮难三元组选择和训练,计算异质识别的正确率及真阳性
率,多次迭代直到所述异质识别的正确率及真阳性率的评价标准达到最高
值,获得最终的异质人脸识别卷积神经网络模型;
步骤S5,将近红外图像或可见光图像输入该最终的异质人脸识别卷积
神经网络模型,通过比较近红外图像或可见光图像与人脸识别系统注册时
图像库中的可见光人脸图像或近红外图像高层特征的相似度得分,实现对
人脸图像识别。
2.根据权利要求1所述的基于深度卷积神经网络的异质人脸识别方
法,其特征在于,步骤S1中,所述图像预处理的步骤如下:
运用人脸检测器,通过定位图像关键点的坐标进行对齐操作获得对齐
的图像块,然后对对齐的图像进行裁剪和缩放,并处理成预设大小的灰度
图像。
3.根据权利要求1或2所述的基于深度卷积神经网络的异质人脸识
别方法,其特征在于,步骤S3中,所述跨域近红外-可见光三元组的损失
用下式来表达:
loss=ΣiN[||f(xia)-f(xip)||22-||f(xia)-f(xip)||22]+]]>其中,N为三元组的总数,xia为锚点,xip为正样本,xin...

【专利技术属性】
技术研发人员:谭铁牛赫然孙哲南刘霄翔
申请(专利权)人:天津中科智能识别产业技术研究院有限公司
类型:发明
国别省市:天津;12

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1