基于多尺度联合特征编码器的单样本人脸识别方法技术

本发明专利技术公开了一种基于多尺度联合特征编码器的单样本人脸识别方法，包括如下步骤：图像预处理；人脸区域划分；多尺度区域独立特征学习，对每块人脸区域分别训练，得到独立特征编码矩阵；联合特征学习，对各区域多尺度独立特征编码矩阵进行分解和聚类学习，得到联合特征编码矩阵；特征提取，通过多尺度联合特征编码矩阵对人脸图像进行特征提取；特征识别，对每个区域提取到的特征进行对比，获取识别结果。本发明专利技术提供了基于稀疏自动编码技术的联合特征学习方法，可以在有限的人脸训练数据条件下学习到鲁棒的人脸特征，解决了在遮挡和光照干扰情况下的人脸识别问题，极大扩大了人脸识别的应用场景。

Single sample face recognition method based on multi-scale joint feature coder

The invention discloses a single sample face recognition method based on a multi-scale joint feature encoder, which comprises the following steps: image preprocessing; face region division; multi-scale region independent feature learning; training each face region separately to obtain an independent feature coding matrix; joint feature learning to multi-scale each region. Degree-independent feature coding matrix is decomposed and clustered to get joint feature coding matrix; feature extraction is carried out by multi-scale joint feature coding matrix for face image feature extraction; feature recognition is carried out by comparing the features extracted from each region to obtain recognition results. The invention provides a joint feature learning method based on sparse automatic coding technology, which can learn robust face features under the condition of limited face training data, solves the problem of face recognition under the condition of occlusion and illumination interference, and greatly enlarges the application scene of face recognition.

【技术实现步骤摘要】
基于多尺度联合特征编码器的单样本人脸识别方法
本专利技术涉及人脸识别
，具体涉及一种基于多尺度联合特征编码器的单样本人脸识别方法。
技术介绍
人脸由于其唯一性和不可复制性，是身份识别中一项重要的生物特征。人脸识别技术更是由于其非接触性和易采集性被广泛应用于各种安全领域。但是实际应用中存在各种复杂场景和单样本集限制，因此高效且普适的人脸识别算法日益成为当前研究的热点。实际识别应用场景中人脸识别技术往往面临着遮挡，光照和姿态等因素的影响，传统人脸识别方法往往简单低效，已无法应对复杂场景下的人脸识别。并且实际识别应用场景大部分待识别目标只有唯一或者有限的人脸样本图像，而现阶段流行的深度学习方法又需要大量的训练图像。因此急需新方法解决此类问题。
技术实现思路
本专利技术的专利技术目的在于：为了解决现有技术的不足，针对复杂场景和单样本人脸数据情况提供一种更精确、更便捷的人脸识别方法，本专利技术提供了一种本专利技术的技术方案是：一种基于多尺度联合特征编码器的单样本人脸识别方法，该方法包括如下步骤：训练多尺度联合特征编码器：对人脸图像进行图像预处理，包括尺寸归一化，灰度图转换，以及图像增强等；将预处理后的人脸图像划分为多个大小相同且不重叠的人脸区域；对各人脸区域进行不同尺度模板的遍历采样，得到每个人脸区域在不同尺度下的训练数据集；基于预设的图像特征编码方式(图像特征编码方式可采用任一惯用方式)，对各尺度下各人脸区域的训练数据集进行特征编码训练，得到不同尺度下不同人脸区域的独立特征编码矩阵，完成多尺度区域独立特征学习；基于相同的分解数，将各独立特征编码矩阵分解为多个特征编码向量，即各独立特征编码矩阵分解得到的特征编码向量数相同；由同一人脸区域同一尺度下的特征编码向量构成不同尺度下不同人脸区域的特征编码向量集合，简称不同尺度下各人脸区域的特征，再将同一尺度下的所有人脸区域的特征融合为当前尺度下的联合特征编码矩阵，得到不同尺度的联合特征编码矩阵，基于预设的图像特征编码方式和不同尺度的联合特征编码矩阵得到多尺度联合特征编码器；对待识别人脸图像、待匹配人脸图像进行特征提取：对待识别人脸图像、待匹配人脸图像进行图像预处理(与训练多尺度联合特征编码器时的图像预处理方式相同)后，将其划分为多个大小相同且不重叠的待识别人脸区域、待匹配人脸区域，其中人脸区域数均与训练多尺度联合特征编码器时划分的人脸区域数相同；对各人脸区域进行不同尺度模板的遍历采样，得到每个人脸区域在不同尺度下的待识别数据集，待匹配数据集；基于多尺度联合特征编码器对待识别数据集进行特征提取，得到取待识别人脸图像在不同尺度下的特征矩阵；基于多尺度联合特征编码器对待匹配数据集进行特征提取，得到取待匹配人脸图像在不同尺度下的特征矩阵；计算待识别人脸图像与待匹配人脸图像的匹配度：基于各尺度下的特征矩阵，基于向量距离计算待识别图像与待匹配图像在同一人脸区域的相似度，其中优选的相似度计算公式为：其中，st(i,j)表示待识别人脸图像i和待匹配人脸图像j在人脸区域t的相似度，表示待识别人脸图像i和待匹配人脸图像j在人脸区域t提取到的特征距离，即其中d()表示距离函数，分别表示待识别人脸图像i、待匹配人脸图像j在人脸区域t的特征，M表示待匹配人脸图像的数量，k表示待匹配人脸图像标识符，ε表示平滑参数，通常取值为大于0的数，优选值为0.1；根据不同人脸区域的预置权重计算待识别人脸图像与待匹配人脸图像的整体相似度，即待识别人脸图像与待匹配人脸图像的匹配度为所有人脸区域的相似度加权和。优选的，各人脸区域的权重设置方式为：为了进一步提升识别准确度，对待识别人脸图像进行人脸区域筛选后，再计算整体相似度：基于训练用于识别是否为正常人脸区域的人脸区域分类器，将待识别人脸图像的各人脸区域输入到训练好的人脸区域分类器，将异常人脸区域(如遮挡、光照和表情影响下的人脸区域)舍弃，仅对正常人脸区域进行人脸区域的相似度加权求和得到整体相似度。此外，还可以设置相似度阈值，将低于相似度阈值的待匹配人脸图像作为异常匹配结果，仅输出不低于相似度阈值的匹配结果。综上所述，由于采用了上述技术方案，本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：通过区域独立特征编码技术对不同尺度下的人脸区域特征进行学习，得到了不同尺度下的人脸信息，再对所有独立编码矩阵分解，聚类重构得到全局的联合特征，对单样本人脸信息表示能力更强。通过对各区域相似度的计算，对各区域进行加权，增强有益区域抑制干扰区域，以提高复杂场景下的人脸识别率。附图说明图1：本专利技术的多尺度联合特征编码器的训练原理示意图。图2：本专利技术实施例中的测试原理示意图。图3：本专利技术中实施例中的人脸区域划分示意图。图4：本专利技术中实施例中的采样尺度示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本专利技术作进一步地详细描述。实施例一、参考附图1，本专利技术中训练多尺度联合特征编码器的具体实施步骤如下：S1：训练集人脸图像预处理的具体步骤为：S11：将图像从彩色空间转换到灰度空间；S12：进行图像增强操作。S2：训练集人脸图像区域划分，将人脸划分成不重叠区域的具体步骤为：S21：训练集人脸数据都为无标签数据，训练集人脸可以与测试集人脸数据的类别相关或者不相关；S22：将预处理过的人脸图像划分为T个相同大小的不重叠的区域，参考附图三；S23：以m×m像素大小为模板在每个区域中遍历采样，得到训练数据集，其中第t个区域的数据集为其中t表示采样区域，i表示在t区域采样数，x表示采样数据，采样模板参考附图四；S24：以m×2m像素大小为模板在每个区域中遍历采样，得到训练数据集，其中第t个区域的数据集为其中t表示采样区域，i表示在t区域采样数，x表示采样数据，采样模板参考附图四；S25：以2m×m像素大小为模板在每个区域中遍历采样，得到训练数据集，其中第t个区域的数据集为其中t表示采样区域，i表示在t区域采样数，x表示采样数据，采样模板参考附图四；S3：独立区域特征学习，对每块人脸区域基于预设的特征编码方式(如稀疏自动编码)分别训练，得到独立特征编码矩阵；S31：对m×m尺度下各区域的数据分别训练得到独立特征编码矩阵S32：对m×2m尺度下各区域的数据集分别训练得到独立特征编码矩阵S33：对2m×m尺度下各区域的数据集分别训练得到独立特征编码矩阵S4：联合特征学习，对各区域相互独立的特征编码矩阵进行分解和聚类学习，得到联合特征编码矩阵；S41：将所有独立特征编码矩阵分解为若干特征编码向量，为简化描述，用Wt表示当前待分解的独立特征编码矩阵，其分解步骤为：其中，Wt表示当前尺度下第t个人脸区域的独立特征编码矩阵，表示第t个人脸区域的特征编码向量集合，i表示分解的特征编码向量标识符，k表示分解的特征编码向量数，ω表示特征编码向量；S42：通过聚类算法将所有特征编码向量融合为一个联合特征编码矩阵，如：其中，表示第t个人脸区域的特征编码向量集合,Wu表示当前尺度下的联合特征编码矩阵，本实施例中，用分别表示m×m、2m×m和m×2m尺度下的联合特征编码矩阵。由和预设的特征编码方式得到多尺度联合特征编码器。二、参考附图2，基于多尺度联合特征编码器的单样本人脸识别处理本文档来自技高网...

【技术保护点】
1.一种基于多尺度联合特征编码器的单样本人脸识别方法，其特征在于，包括如下步骤：训练多尺度联合特征编码器：对人脸图像进行图像预处理；将预处理后的人脸图像划分为多个大小相同且不重叠的人脸区域；对各人脸区域进行不同尺度模板的遍历采样，得到每个人脸区域在不同尺度下的训练数据集；基于预设的图像特征编码方式，对各尺度下各人脸区域的训练数据集进行特征编码训练，得到不同尺度下不同人脸区域的独立特征编码矩阵；基于相同的分解数，将各独立特征编码矩阵分解为多个特征编码向量，即各独立特征编码矩阵分解得到的特征编码向量数相同；由同一人脸区域同一尺度下的特征编码向量构成不同尺度下不同人脸区域的特征编码向量集合，再将同一尺度下的所有人脸区域的特征编码向量集合融合为当前尺度下的联合特征编码矩阵，得到不同尺度的联合特征编码矩阵；基于预设的图像特征编码方式和不同尺度的联合特征编码矩阵得到多尺度联合特征编码器；对待识别人脸图像、待匹配人脸图像进行特征提取：对待识别人脸图像、待匹配人脸图像进行图像预处理后，将其划分为多个大小相同且不重叠的待识别人脸区域、待匹配人脸区域，其中人脸区域数均与训练多尺度联合特征编码器时划分的人脸区域数相同；对各人脸区域进行不同尺度模板的遍历采样，得到每个人脸区域在不同尺度下的待识别数据集，待匹配数据集；基于多尺度联合特征编码器对待识别数据集进行特征提取，得到取待识别人脸图像在不同尺度下的特征矩阵；基于多尺度联合特征编码器对待匹配数据集进行特征提取，得到取待匹配人脸图像在不同尺度下的特征矩阵；计算待识别人脸图像与待匹配人脸图像的匹配度：基于各尺度下的特征矩阵，基于向量距离计算待识别图像与待匹配图像在同一人脸区域的相似度；根据不同人脸区域的预置权重，由对各人脸区域的相似度进行加权和得到待识别人脸图像与待匹配人脸图像的匹配度。...

【技术特征摘要】
1.一种基于多尺度联合特征编码器的单样本人脸识别方法，其特征在于，包括如下步骤：训练多尺度联合特征编码器：对人脸图像进行图像预处理；将预处理后的人脸图像划分为多个大小相同且不重叠的人脸区域；对各人脸区域进行不同尺度模板的遍历采样，得到每个人脸区域在不同尺度下的训练数据集；基于预设的图像特征编码方式，对各尺度下各人脸区域的训练数据集进行特征编码训练，得到不同尺度下不同人脸区域的独立特征编码矩阵；基于相同的分解数，将各独立特征编码矩阵分解为多个特征编码向量，即各独立特征编码矩阵分解得到的特征编码向量数相同；由同一人脸区域同一尺度下的特征编码向量构成不同尺度下不同人脸区域的特征编码向量集合，再将同一尺度下的所有人脸区域的特征编码向量集合融合为当前尺度下的联合特征编码矩阵，得到不同尺度的联合特征编码矩阵；基于预设的图像特征编码方式和不同尺度的联合特征编码矩阵得到多尺度联合特征编码器；对待识别人脸图像、待匹配人脸图像进行特征提取：对待识别人脸图像、待匹配人脸图像进行图像预处理后，将其划分为多个大小相同且不重叠的待识别人脸区域、待匹配人脸区域，其中人脸区域数均与训练多尺度联合特征编码器时划分的人脸区域数相同；对各人脸区域进行不同尺度模板的遍历采样，得到每个人脸区域在不同尺度下的待识别数据集，待匹配数据集；基于多尺度联合特征编码器对待识别数据集进行特征提取，得到取待识别人脸图像在不同...

【专利技术属性】
技术研发人员：刘欣刚，梅永勇，余涛，严敬仁，王艺豪，代成，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51