一种基于光场成像技术的人脸识别及攻击检测方法及其装置制造方法及图纸

本发明专利技术公开了一种基于光场成像技术的人脸识别及攻击检测方法及其装置，采集RAW图像并计算每个子影像的中心坐标；利用子影像坐标求解得到深度图，并对图像进行RGB深度图像渲染，得到光场图像；对光场图像进行二维图像识别攻击，确定光场图像的维度数；对光场图像进行局部特征提取，再进行全局特征提取，再判别面具攻击；根据光场相机的四维信息，选取光场图像中的图像进行特征提取，再进行特征认证，完成人脸识别。本发明专利技术首次采用光场成像技术来实施人脸识别，具有实时性强，检测速度快的优势；有效避免了传统对焦所带来的不稳定性，避免了动作序列检测的复杂算法的使用；对人脸识别的准确程度有了大幅度的提高。

【技术实现步骤摘要】
一种基于光场成像技术的人脸识别及攻击检测方法及其装置
本专利技术涉及光场成像技术、数字图像处理技术以及机器学习技术，特别涉及一种基于光场成像技术的人脸识别及攻击检测方法及其装置。
技术介绍
人脸识别(FaceRecognition)是通过摄像头等图像采样设备采集含有人脸信息的图像或视频流，提取相关特征后通过与数据库的比对结果进行身份识别的技术。人脸识别技术发展经历了基于人脸几何结构特征的模式识别方法，基于三维人脸建模的识别方法以及目前可适用于真实环境条件的基于深度神经网络的识别方式等阶段。最近几年，深度学习算法尤其是深度卷积神经网络的发展大大提高了人脸识别的准确性，在国际权威人脸识别公开测试集LFW(labeledfaceinthewild)中，无限制条件下人脸验证测试(unrestrictedlabeledoutsidedata)中提交的最新识别率为99.80％，该识别率甚至已经超过人类自身的人脸识别能力。然而必须说明的是，获得上述高识别率的实验是在理想条件，即没有恶意识别攻击的条件下进行的，并且使用人为噪音较小的数据集进行测试。现有的人脸识别系统在面对各类识别攻击时仍然十分脆弱，主要的缺陷包括并不局限于：单纯的人脸识别系统无法有效区分真实人脸与二维图像/视频或者三维面具；而现有的识别攻击检测方法(PresentationAttackDetection,PAD)，如要求用户配合系统指令完成眨眼等动作序列，大大增加了系统冗余度并降低了其稳定性，经试验测试，现有检测方法的部分漏洞由于用户体貌特征不明显等缘故，甚至导致无法准确识别出用户本人的系统故障。因此当前人脸识别系统的痛点在于，在保证用户使用便捷性以及系统稳定性的同时解决识别过程中的攻击检测问题。基于以上难点，本专利提出一种基于光场成像技术的人脸识别及攻击检测装置。该装置能够通过单次成像得到摄像头前方空间包含人脸信息的四维光场数据，通过光场数据中耦合的深度信息辨别二维图像/视频攻击，并通过LBP(局部二值化)算法用以高效检测三维面具攻击，在攻击检测后对用户身份进行认证。该装置仅通过单次采样，无需用户配合进行复杂的面部动作，提高了用户使用的便捷程度；与此同时，使用光场成像及相关图像处理算法进行识别攻击检测，有效提高了攻击检测效率。
技术实现思路
本专利技术的目的在于解决传统人脸识别过程中存在无法识别二维图像攻击和三维面具攻击以及人脸识别需要复杂的配合动作的缺陷，提供一种基于光场成像技术的人脸识别及攻击检测方法及其装置。本专利技术采用的技术方案如下：一种基于光场成像技术的人脸识别及攻击检测方法，包括以下几个步骤：步骤1：打开光场相机，进行相机校准，光场相机采集RAW图像并在图像计算单元计算RAW图像中的每个子影像坐标；步骤2：用光场相机拍摄得到原始光场图像，利用子影像坐标求解得到深度图，并对图像进行RGB深度图像渲染，得到光场图像；步骤3：对光场图像进行二维图像识别攻击，根据线性支持向量机(SVM)分类器确定光场图像的维度数，若维度数为3，则进入下一步，否则自动将该图像标记为恶意攻击；步骤4：对光场图像进行局部特征提取，再进行全局特征提取，再使用支持向量机判别面具攻击；步骤5：根据光场相机的四维信息，选取一系列光场图像中人脸清晰度高的几张图像进行特征提取，再进行特征认证，完成人脸识别。进一步，所述步骤1中的相机校准包括以下几个步骤：步骤1.1：将光场相机进行多次曝光，并采集RAW图像，每一次曝光采集，均通过伽马校正调整照片的光强；步骤1.2：将多次采集的RAW图像求取平均值，得到处理后的白色图像；步骤1.3：处理后的白色图像RGB值相等，再使用Demosaic算法得到可观测的RGB图像；将RGB图像转化为灰度图；步骤1.4：从灰度图中找到频域系数最大值，并反求出偏转角，旋转校正，得到旋转校正后的图像；步骤1.5：对旋转校正后的图像做侵蚀处理，根据抛物线原理找出每个子影像中的光强最大值以确定中心坐标，最后利用Delaunay三角剖分算法适应图像，平移得到校正后的图像。进一步，所述步骤2中的RGB深度图像渲染包括以下几个步骤：步骤2.1：根据光场表示方式L(x,y,u,v)，分别固定u和x，y和v数值，即u和x的数值固定y和v变化以及y和v的数值固定u和x变化，在RAW图像中遍历其他两项得到纵向与横向的EPI；步骤2.2：通过权重函数定义平行四边形的尺寸，权重函数如下：其中，dθ(i,j)＝i-(xr+(j-ur)·tanθ)，c为常数，a为主镜焦距与关注点对应像距的比值，xr和ur为关注点坐标，权重用以决定范围内像素对于求解距离的贡献度，为遍历像素到关注点的距离，距离关注点越近的像素权重越高；步骤2.3：关注点对应特定物点，随坐标的改变而改变，该点到传感器平面的光线角度有变化量θ，定义的SPO随坐标的改变而旋转，中心线斜率即为θ；通过对比中心线两侧的图像差异可得到直方图距离，找到轮廓位置与非轮廓位置的θ角；步骤2.4：根据相似三角形关系式，得即可由θ推出关注点深度信息，其中，f为uv，xy面的距离，再耦合两方向的EPI的遍历深度信息，得到完整深度图；步骤2.5：建立以微透镜阵列平面和传感器平面分别为uv和xy平面的光场坐标系，根据相似三角形原理，将完整深度图中每个深度的信息进行坐标代换，得到各个深度对应的光场表达式；步骤2.6：根据傅里叶中心切片定理，在频域对光场表达式做成像平面的积分得到再聚焦的光场图像。进一步，所述二维图像识别攻击包括以下几个步骤：步骤3.1：给定一个光场，进行一次曝光后获得一个深度图像，在进行RGB渲染后得到：ID＝{ID1,ID2,ID3,...,IDk}，其中，ID代表深度图像进行RGB渲染后得到的一组二维图像的集合，k代表经过渲染得到的图像的数量；对于每一张经过渲染得到的图像，采取Viola-Jonesfacedetector进行人脸寻找，得到局部人脸图像；步骤3.2：对局部人脸图像进行高斯滤波去除高频，再将被滤波处理的图像的大小进行调整，并记为Ip＝{IpD1,IpD2,IpD3,...,IpDk}，其中，Ip指光场图像集；步骤3.3：定量地测量Ip中每一个图像的焦点，对焦点的测量表示为FMC，其中，表示第k个深度图像所计算出来的关于焦点的参数；步骤3.3：进一步计算反映光场相机所渲染的多个图像之间的焦点变化的定量值，所述公式如下：VFA＝max(FMC)-min(FMC)VFFu＝VFA||VFR其中，VFFu表示将VFA与VFR两个参数相结合的一种线性运算；步骤3.4：采用线性支持向量机(SVM)分类器确定所获得的图像样本的维度数，其中SVM分类器事先用两组样本进行训练，一组样本为二维的图片，一组为三维的真事人像；焦点的参数FMC作为横坐标，参数VFFu作为纵坐标，则在坐标系中SVN分类器会根据之前训练的结果对图像进行二维三维的判断。进一步，所述步骤4的三维面具识别攻击包括以下几个步骤：步骤4.1：基于三维面具与真实人脸在眼部和鼻子处有显著差异的认识，则选择眼部和鼻子作为局部特征，即光场图像中的眼部区域和鼻子区域作为局部特征；步骤4.2：使用Haar级联检测器提取眼部区域，依次使用短时傅里叶变换(STFT)、功率谱密度计算(本文档来自技高网...

【技术保护点】
1.一种基于光场成像技术的人脸识别及攻击检测方法，其特征在于，包括以下几个步骤：步骤1：采集RAW图像，计算RAW图像中的每个子影像坐标；步骤2：利用子影像坐标求解得到深度图，并对图像进行RGB深度图像渲染，得到光场图像；步骤3：对光场图像进行二维图像识别攻击，确定光场图像的维度数，若维度数为3，则进入下一步，否则自动将该图像标记为恶意攻击；步骤4：对光场图像进行局部特征提取，再进行全局特征提取，再判别面具攻击；步骤5：根据光场相机的四维信息，选取光场图像中的几张图像进行特征提取，再进行特征认证，完成人脸识别。

【技术特征摘要】
1.一种基于光场成像技术的人脸识别及攻击检测方法，其特征在于，包括以下几个步骤：步骤1：采集RAW图像，计算RAW图像中的每个子影像坐标；步骤2：利用子影像坐标求解得到深度图，并对图像进行RGB深度图像渲染，得到光场图像；步骤3：对光场图像进行二维图像识别攻击，确定光场图像的维度数，若维度数为3，则进入下一步，否则自动将该图像标记为恶意攻击；步骤4：对光场图像进行局部特征提取，再进行全局特征提取，再判别面具攻击；步骤5：根据光场相机的四维信息，选取光场图像中的几张图像进行特征提取，再进行特征认证，完成人脸识别。2.根据权利要求1所述的一种基于光场成像技术的人脸识别及攻击检测方法，其特征在于，所述步骤1包括以下几个步骤：步骤1.1：将光场相机进行多次曝光，并采集RAW图像，每一次曝光采集，均通过伽马校正调整照片的光强；步骤1.2：将多次采集的RAW图像求取平均值，得到处理后的白色图像；步骤1.3：使用Demosaic算法得到可观测的RGB图像，将RGB图像转化为灰度图；步骤1.4：从灰度图中找到频域系数最大值，并反求出偏转角，旋转校正，得到旋转校正后的图像；步骤1.5：对旋转校正后的图像做侵蚀处理，根据抛物线原理找出每个子影像中的光强最大值以确定中心坐标，最后利用Delaunay三角剖分算法适应图像，平移得到校正后的图像。3.根据权利要求1所述的一种基于光场成像技术的人脸识别及攻击检测方法，其特征在于，所述步骤2中的RGB深度图像渲染包括以下几个步骤：步骤2.1：根据光场表示方式L(x,y,u,v)，分别固定u和x，y和v数值，在RAW图像中遍历其他两项得到纵向与横向的EPI；步骤2.2：通过权重函数定义平行四边形的尺寸，权重函数如下：其中，dθ(i,j)＝i-(xr+(j-ur)·tanθ)，c为常数，a为主镜焦距与关注点对应像距的比值，xr和ur为关注点坐标，权重用以决定范围内像素对于求解距离的贡献度；步骤2.3：关注点到传感器平面的光线角度有变化量θ，定义的SPO随坐标的改变而旋转，中心线斜率即为θ；通过对比中心线两侧的图像差异得到直方图距离，找到轮廓位置与非轮廓位置的θ角；步骤2.4：根据相似三角形关系式，得由θ推出关注点深度信息，其中，f为uv，xy面的距离，再耦合两方向的EPI的遍历深度信息，得到完整深度图；步骤2.5：建立以微透镜阵列平面和传感器平面分别为uv和xy平面的光场坐标系，根据相似三角形原理，将完整深度图中每个深度的信息进行坐标代换，得到各个深度对应的光场表达式；步骤2.6：根据傅里叶中心切片定理，在频域对光场表达式做成像平面的积分得到再聚焦的光场图像。4.根据权利要求1所述的一种基于光场成像技术的人脸识别及攻击检测方法，其特征在于，所述二维图像识别攻击包括以下几个步骤：步骤3.1：给定一个光场，进行一次曝光后获得一个深度图像，在进行RGB渲染后得到：ID＝{ID1,ID2,ID3,...,IDk}，其中，ID代表深度图像进行RGB渲染后得到的一组二维图像的集合，k代表经过渲染得到的图像的数量；对于每一张经过渲染得到的图像，采取Viola-Jonesfa...

【专利技术属性】
技术研发人员：姜柏帆，张岚，程平，杨正军，
申请(专利权)人：四川奇迹云科技有限公司，四川虹电数字家庭产业技术研究院有限公司，
类型：发明
国别省市：四川,51