一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法技术

一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法，收集标注口罩区域的人脸图像集，训练口罩分割语义模型M

【技术实现步骤摘要】
一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法
本专利技术涉及模式识别
，具体为一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法。
技术介绍
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，已广泛用于政府、军队、银行、社会福利保障、电子商务、安全防务等领域，是十分重要的一项身份识别技术。当目标人物佩戴口罩时，由于口罩遮挡了口、鼻等生物信息，造成现有的人脸识别方法识别准确率急剧下降，甚至会失效，给基于人脸识别技术的应用带来极大风险。专利技术一种适用于戴口罩的人脸特征表达学习和提取方法，同时适用于戴口罩人员和不戴口罩人员的人脸识别任务，是当下人脸识别的必然需求。
技术实现思路
为了克服现有技术的不足，本专利技术的目的在于提供一种适用于戴口罩的基于卷积神经网络的人脸识别方法，以解决上述
技术介绍
中提出的戴口罩人员人脸识别问题。为实现上述目的，本专利技术提供如下技术方案：一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法，包括以下步骤：步骤1：收集标注口罩区域的人脸图像集，训练口罩分割语义模型Ms，其功能是为人脸图像的每个像素点标记口罩区域或非口罩区域标签；步骤2：输入尺寸为M×N的人脸图像I，对I进行语义分割，对人脸图像的像素点I(x,y)(x＝1,2,…,M；y＝1,2,…,N)分类，得到I对应的语义矩阵S，S上的点S(x,y)(x＝1,2,…,M；y＝1,2,…,N)定义如下：步骤3：定义尺寸为M×N的掩膜矩阵M，点M(x,y)(x＝1,2,…,M；y＝1,2,…,N)计算如下：其中，步骤4：修改卷积神经网络各卷积层输入，选择一个深度学习网络结构作为人脸卷积神经网络模型Mf，假设Mf有J个卷积层，符号记为{CNNi(Xi)}i＝1,…,J(4)其中，CNNi()表示第i个卷积层，包括卷积、归一化和激活等操作，Xi为第i个卷积层的输入，有如下两个关系：X1＝I(5)Xj＝CNNi(Xi)(6)式(6)中j和i的关系由卷积神经网络模型的网络结构决定；将M执行最大池化(MaxPooling)操作得到掩膜矩阵集合{Mi}i＝1,…,J，与Mf的各卷积层{CNNi}i＝1,…,J输入尺寸一一对应。用{Mi}i＝1,…,J对{Xi}i＝1,…,J进行如下修改：Mf的J个卷积层修改为：Mf的全连接层、分类层不变，将修改后的卷积层的新输出结果作为输入即可，原全连接层FC表示为：FC(I)＝F({CNNi(Xi)}i＝1,…,J)(9)修改卷积层后，全连接层FC表示为：其中，函数F()是全卷积层的符号表达；原分类层输出表示为：f(I)＝f(FC(I))＝f(F({CNNi(Xi)}i＝1,…,J))(11)修改卷积层后，分类层输出表示为：其中，函数f()是分类层的符号表达。全连接层数据FC(I)即为输入人脸图像的特征表达。如果需要学习人脸卷积神经网络模型的参数，转向步骤5；步骤5：根据分类层f(I)结果与人脸ID的损失函数，反向传播更新神经网络模型参数，执行步骤1至步骤4，直至收敛。与现有技术相比，本专利技术的有益效果是：能够同时适用戴口罩和不戴口罩的人脸识别任务，显著地提高人脸识别方法在戴口罩人员的识别准确率。附图说明图1是本专利技术一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法的卷积神经网络框架图。图2是本专利技术一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法的模型学习流程图。图3是本专利技术一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法的人脸特征表达流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。参照图1～图3，一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法，包括人脸图像特征表达学习方案和人脸图像特征表达提取方案两部分。人脸图像特征表达学习方案：S1：收集2000张标注口罩区域的人脸图像训练UNet网络，得到口罩分割语义模型Ms；S2：收集1000000张标注ID的人脸图像组成数据集G，用Ms对G的图像进行处理到各图像的语义分割矩阵S，依据S计算各图像的掩膜矩阵M，将G按比例分成互不重叠的训练集T和验证集V；S3：初始化DenseNet121模型参数Mf，设置初始学习率0.01、SGD学习方式、Step＝10000、batch_size＝96等超参数，设置Softmax分类器f()和交叉熵损失函数；S3：对G中每幅图像的掩膜矩阵M，执行J次最大池化得到{Mi}i＝1,…,J，要求{Mi}i＝1,…,J的尺寸与Mf的卷积层{CNNi}i＝1,…,J输入尺寸一一对应；S4：在T上随机采样batch_size个训练样本，按照公式(7)和(8)实施前向传播，计算Mf的各卷积层的特征图S5：计算全连接层和Softmax分类层，根据分类结果与人脸ID的交叉熵损失反向更新DenseNet121模型参数Mf；S6：将V上的图像按照公式(7)、(8)实施前向传播，计算Mf的各卷积层的特征图全连接层和Softmax分类层，计算分类结果与人脸ID的交叉熵损失，若损失满足终止条件则终止学习过程，否则转向S4；人脸图像特征表达提取方案：S1：输入人脸图像I；S2：加载口罩分割语义模型Ms，对I进行语义分割得到矩阵S，依据S计算掩膜矩阵M；S3：加载DenseNet人脸特征模型Mf；S4：将M执行J次最大池化得到{Mi}i＝1,…,J，与Mf的各卷积层{CNNi}i＝1,…,J输入尺寸一一对应；S5：进行前向传播，按照公式(7)和(8)计算Mf的各卷积层的特征图；S6：按照公式(10)计算全连接层，输出FC(I)。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本文档来自技高网...

【技术保护点】
1.一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法，其特征在于，所述方法包括以下步骤：/n步骤1收集标注口罩区域的人脸图像集，训练口罩分割语义模型M

【技术特征摘要】
1.一种适用于戴口罩的人脸卷积神经网络特征表达学习和提取方法，其特征在于，所述方法包括以下步骤：
步骤1收集标注口罩区域的人脸图像集，训练口罩分割语义模型Ms，其功能是为人脸图像的每个像素点标记口罩区域或非口罩区域标签；
步骤2输入尺寸为M×N的人脸图像I，对I进行语义分割，对人脸图像的像素点I(x，y)分类，x＝1，2，...，M；y＝1，2，...，N，得到I对应的语义矩阵S，S上的点S(x，y)定义如下：



步骤3定义尺寸为M×N的掩膜矩阵M，点M(x，y)计算如下：



其中，



步骤4修改卷积神经网络各卷积层输入，选择一个深度学习网络结构作为人脸卷积神经网络模型Mf，假设Mf有J个卷积层，符号记为
{CNNi(Xi)}i＝1，...，J(4)
其中，CNNi()表示第i个卷积层，包括卷积、归一化和激活等操作，Xi为第i个卷积层的输入，有如下两个关系：
X1＝I(5)
Xj＝CNNi(Xi)(6)
式(6)中j和i的关系由卷积神经网络模型的网络结构决定；
...

【专利技术属性】
技术研发人员：高华，陈胜勇，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33