基于自适应对比知识蒸馏的人脸属性识别方法及系统技术方案

本发明专利技术涉及一种基于自适应对比知识蒸馏的人脸属性识别方法及系统，该方法包括：数据获取及预处理；教师网络预训练；对教师网络和学生网络的主干网络划分卷积组，对分组后的蒸馏点进行基于特征的知识蒸馏，并将提取的特征输入共享特征的过滤器机制；将过滤器机制非线性映射后的特征输入基于关系的对比知识蒸馏；利用教师网络和学生网络对人脸属性分类任务的预测结果进行基于响应的知识蒸馏；利用自适应阶梯型蒸馏损失自适应调控不同蒸馏点基于响应、特征和关系的知识蒸馏在不同训练阶段的重要性并与人脸属性分类任务联合训练；通过得到的网络模型进行人脸属性识别。该方法及系统有利于提高知识蒸馏得到的学生网络的精度，提高人脸属性识别的性能。高人脸属性识别的性能。高人脸属性识别的性能。

【技术实现步骤摘要】
基于自适应对比知识蒸馏的人脸属性识别方法及系统


[0001]本专利技术涉及本专利技术属于计算机视觉
，具体涉及一种基于自适应对比知识蒸馏的人脸属性识别方法及系统。

技术介绍

[0002]人脸属性识别旨在识别人脸的各种属性，例如“拱形眉毛”、“秃头”、“高颧骨”、“苍白皮肤”和“椭圆形脸”等等。人脸属性识别的应用范围很广，包括图像检索、人脸验证、人脸识别和图像生成。随着深度学习的发展，近年来出现了大量的人脸属性识别方法。然而，这些方法通常参数量大、计算量大，无法部署在资源有限的移动设备上。为了解决FAR的这个问题，本专利技术将专注于知识蒸馏技术。
[0003]知识蒸馏是模型压缩方法之一，旨在将知识从一个模型(教师网络)转移到另一个模型(学生网络)。根据蒸馏模式的不同，知识蒸馏可以分为基于响应、基于特征和基于关系的知识蒸馏方法。基于关系的知识蒸馏方法可以充分利用样本之间的关系来提取信息。但是，如果教师网络学习到的样本之间的相互关系不准确，则会降低学生网络在蒸馏过程中的性能。
[0004]最近，由于对比学习能够捕获嵌入空间中特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应对比知识蒸馏的人脸属性识别方法，其特征在于，包括以下步骤：A.获取数据并进行预处理；B.对教师网络进行预训练；C.对教师网络的主干网络和学生网络的主干网络进行卷积组的划分，并对每个分组后的蒸馏点进行基于特征的知识蒸馏；D.将教师网络和学生网络的主干网络提取的特征输入到共享特征的过滤器机制，以缓解学生网络在知识蒸馏中特征匹配困难的问题；E.将共享特征的过滤器机制进行非线性映射后的特征输入到基于关系的对比知识蒸馏中，通过引入身份信息让学生网络更好地学习如何挖掘样本之间的相互关系；F.利用教师网络和学生网络对于人脸属性分类任务的预测结果进行基于响应的知识蒸馏；G.利用自适应阶梯型蒸馏损失来自适应地调控不同蒸馏点基于响应、特征和关系的知识蒸馏在不同训练阶段的重要性并与人脸属性分类任务进行联合训练；H.通过训练得到的网络模型进行人脸属性识别。2.根据权利要求1所述的基于自适应对比知识蒸馏的人脸属性识别方法，其特征在于，所述步骤A具体包括以下步骤：A1.分别获取人脸图片、人脸属性识别标注和人脸身份信息标注；A2.将人脸图片、人脸属性识别标注和人脸身份信息标注整合到一起作为标签源数据集D＝{(x1,y1,id1),...,(x
N
,y
N
,id
N
)}，其中N是训练样本的总数，x
i
表示第i个训练样本，它对应一个d维的属性类别标签y
i
∈R
d
和一个的身份标签id
i
∈{1,...,K}，其中是0、1向量；A3.随机数据增强处理；对于每个输入样本x
i
，经过两次随机数据增强Aug(.)，得到预输入教师网络的数据和学生网络的数据A4.数据划分为批，每批数据由n个样本组成，和3.根据权利要求2所述的基于自适应对比知识蒸馏的人脸属性识别方法，其特征在于，所述步骤B的具体实现方法为：对教师网络和学生网络进行两阶段训练，首先提前训练教师网络，冻结教师网络的参数，再联合训练教师网络和学生网络；对于教师网络的预训练，将一批数据增强后的数据和人脸属性分类标签输入到教师网络进行预训练：其中，A人脸属性的类别总数，其中，A人脸属性的类别总数，和分别表示教师网络第i个训练图像的第j个属性对应的预测输出和标签。4.根据权利要求3所述的基于自适应对比知识蒸馏的人脸属性识别方法，其特征在于，所述步骤C的具体实现方法为：
对于教师网络T和学生网络S的编码器f
t
和f
s
，按照不同的卷积组进行分割f
t
＝{f
t1
,...,f
tG
}和f
s
＝{f
s1
,...,f
sG
}，G是分割的卷积组的总数；对于教师网络T的第i个蒸馏点的特征表示为：同理，对于学生网络S的第i个蒸馏点的特征表示为：对于第i个蒸馏点进行知识蒸馏：其中，i∈{1,...,G}，Adaptor(
·
)表示适配器，将F
ti
和F
si
匹配到同一纬度。5.根据权利要求4所述的基于自适应对比知识蒸馏的人脸属性识别方法，其特征在于，所述步骤D的具体实现方法为：对于教师网络和学生网络的主干网络后提取的特征和其中B、C、H和W分别是特征的批大小、通道数、高度和宽度；在共享特征的过滤器机制结构中，由于使用权重共享的结构，因此要求F
t
和F
s
(C1≥C2)平展后以相同的维度输入；将F
t
和F
s
分别输入到自适应均值池化层，F
′
t
＝AAP(F
t
)和F
′
s
＝AAP(F
s
)，利用一个匹配器对F
s
′
进行上采样，F
s
″
＝Adaptor(F
s
′
)，将两者匹配到同一纬度；F
t
′
和F
s

【专利技术属性】
技术研发人员：陈思，朱雪岩，王大寒，朱顺痣，吴芸，
申请(专利权)人：厦门理工学院，
类型：发明
国别省市：