【技术实现步骤摘要】
一种利用门控融合判别特征进行漫画人脸识别的方法
本专利技术提到了一种利用门控融合判别特征进行漫画人脸识别(GatedFusionofDiscriminantFeaturesforCaricatureRecognition)的新方法，主要涉及一种利用深层次网络进行训练，提出通过自主学习权重来处理局部特征、并与全局特征进行融合的方式，以构建一个准确率较高的漫画人脸识别模型。
技术介绍
一张面部素描的漫画，试图通过夸大一些突出特征来描绘面部特征。而漫画已在新闻和社交媒体中广泛使用，导致对漫画识别的广泛需求。尽管漫画很容易被人识别，但由于照片和漫画之间的严重几何变形以及漫画风格的变化，漫画识别对于计算机来说是一个巨大的挑战。匹配人脸照片和漫画并非易事。一开始，研究人员专注于设计和学习面部属性特征。但通过启发式设计和费力地标记属性限制了性能和泛化能力。而最近卷积神经网络(CNN)的杰出能力，让研究人员开始使用CNN来进行漫画识别例如，使用两个CNN分别从照片和漫画中提取特征，并使用验证损失和识别损失的联合来监督表示学习；整合全...
【技术保护点】
1.一种利用门控融合判别特征进行漫画人脸识别的方法,其特征在于包括如下步骤：/n步骤(1)数据预处理/n对于全局模型部分：将图片根据5个关键点进行仿射变化并裁减到统一尺寸大小；所述的关键点为：左眼中、右眼中、鼻尖、左嘴角、右嘴角；/n对于局部模型部分：将图片根据数据集自带的17个关键点所在的位置按照设定比例裁剪得到局部图片并进行缩放；/n步骤(2)特征提取及融合/n对于全局及局部模型分别利用一个在Sphereface上预训练好的20层ResNet模型以及轻量级的Sphereface模型进行特征提取；将提取出来的17个局部特征与全局特征进行特征融合；在全局及局部模型中我们还嵌...
【技术特征摘要】
1.一种利用门控融合判别特征进行漫画人脸识别的方法,其特征在于包括如下步骤：
步骤(1)数据预处理
对于全局模型部分：将图片根据5个关键点进行仿射变化并裁减到统一尺寸大小；所述的关键点为：左眼中、右眼中、鼻尖、左嘴角、右嘴角；
对于局部模型部分：将图片根据数据集自带的17个关键点所在的位置按照设定比例裁剪得到局部图片并进行缩放；
步骤(2)特征提取及融合
对于全局及局部模型分别利用一个在Sphereface上预训练好的20层ResNet模型以及轻量级的Sphereface模型进行特征提取；将提取出来的17个局部特征与全局特征进行特征融合；在全局及局部模型中我们还嵌入了CBAM注意力机制模型；
步骤(3)识别准确度
将融合后的漫画及人脸照片的特征之间计算余弦距离，按照排序可计算得到rank-1和rank-10的分数。
2.根据权利要求1所述的一种利用门控融合判别特征进行漫画人脸识别的方法,其特征在于步骤(1)所述的数据预处理：
1-1.WebCaricature数据库是一个包含252位人物身份的6042个漫画和5974张照片组成，所以将数据集中随机一半人物身份的图片作为训练集，剩下的作为测试集；
1-2.在处理全局模型的输入图片时，将图片缩放为112*96的固定尺寸；而在处理局部模型的输入图片时，根据17个关键点所在位置为中心按照H/112*20的大小裁剪出局部图片块，并将图片大小调整为20*20，其中H表示输入图像的高度，17个关键点分别对应WebCaricature数据集中所提到的关键点。
3.根据权利要求2所述的一种利用门控融合判别特征进行漫画人脸识别的方法,其特征在于步骤(2)所述的特征提取及处理：
2-1.在sphereface模型的Conv1.x之后嵌入CBAM注意力机制模型；CBAM包括通道和空间注意力模块；给定特征映射F∈RC×H×W，通道注意模块推断1维信道注意向量Mc∈RC×1×1，空间注意模型推断2维空间注意力图Ms∈R1×H×W；整个操作过程为：
其中表示按元素方向乘法，F*表示通道注意模块的输出，F**表示空间注意模型的输出，也就是CBAM的输出；
2-2针对全局模型，利用在Sphereface上训练好的20层模型对输入的整张图片进行特征提取得到向量F2_g，对于局部模型部分，我们利用轻量级的Sphereface网络对17个局部图片块进行特征提取，得到向量F...
【专利技术属性】
技术研发人员：俞俊，高飞，戴玲娜，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。