一种动物面部识别方法，包括：采用跨物种注意力知识迁移方法，将在人脸图像上训练的人脸识别网络作为教师网络，将动物面部训练的动物面部识别网络作为学生网络，将从教师网络得到的注意力图知识转移到学生网络中；设置注意力图对齐投影块，以对齐两个网络的注意力图，通过降低两个网络的注意力图之间的种间距离，使大型教师网络的先验知识能够更有效地转移到相对浅的学生网络中；以及采用特征融合的方法，利用迁移后的学生网络从上半部分动物面部图像提取上部特征，利用预训练后的学生网络从对应的下半部分动物面部图像提取下部特征，并将上部特征和下部特征进行加权融合，以有效利用动物面部特征进行个体身份识别。
【技术实现步骤摘要】
本专利技术涉及个体身份识别技术，特别是一种基于跨物种注意力知识蒸馏的动物面部识别方法。
技术介绍
1、现有技术的个体身份识别主要有基于人工的识别方法、基于传统计算机视觉技术的方法和基于深度学习神经网络构造的方法。其中，基于人工的传统识别方法是指通过人眼对动物面部图像进行观察和比较，确定每个动物的身份。这种方法需要经过专门训练的工作人员对动物进行观察和记录，然后手动输入数据进行分类；基于手工特征提取的数字图像处理方法，提取lbp、hog等图像特征后，使用分类器对动物面部图像进行分类，常用的分类器有支持向量机svm、决策树dt、k近邻算法knn等；基于深度学习神经网络构造的方法主要使用卷积神经网络cnn进行特征提取和分类，通过使用预训练的卷积神经网络模型(如vgg、resnet、inception等)或者自定义的卷积神经网络模型，从原始图像数据中提取出具有辨别特征的特征向量进行分类。在这一步骤中，还包括迁移学习技术，将已经训练好的模型作为基础，利用少量的数据和简单的微调来实现快速训练。
2、但上述方法均存在不同程度的缺陷：基于人工的识别方法依赖人工操作，需要大量的时间和人力成本，同时准确度不高，容易受到操作人员的主观因素影响；基于传统计算机视觉技术的方法，在遇到复杂场景和光照变化等因素时容易受到影响，且需要手动设计和调整特征提取和分类器；基于深度学习神经网络构造的方法，需要构建大规模的动物面部数据集以支撑深度学习神经网络的训练，且传统的基于深度学习神经网络的方法需要大量的计算资源和训练时间，难以在生产环境中部署。
技术实现思路
1、本专利技术所要解决的技术问题是针对现有技术的上述缺陷，提供一种基于跨物种注意力知识蒸馏的动物面部识别方法。
2、为了实现上述目的，本专利技术提供了一种动物面部识别方法，其中，基于种间距离的跨物种面部注意力知识蒸馏框架，包括如下步骤：
3、s100、采用跨物种注意力知识迁移方法，将在人脸图像上训练的人脸识别网络作为教师网络，将动物面部训练的动物面部识别网络作为学生网络，将从所述教师网络得到的注意力图知识转移到所述学生网络中；
4、s200、设置注意力图对齐投影块，以对齐所述人脸识别网络和动物面部识别网络的注意力图，通过降低所述人脸识别网络的注意力图和动物面部识别网络的注意力图之间的种间距离，使大型教师网络的先验知识能够更有效地转移到相对浅的所述学生网络中；以及
5、s300、采用特征融合的方法，利用迁移后的所述学生网络从上半部分动物面部图像提取上部特征，利用预训练后的学生网络从对应的下半部分动物面部图像提取下部特征，并将所述上部特征和下部特征进行加权融合，以有效利用动物面部特征进行个体身份识别。
6、上述的动物面部识别方法，其中，步骤s100中，进一步包括：
7、s110、收集包含人脸图像和动物面部图像的数据集，并进行数据标注；
8、s120、利用带有注意力模块的深度卷积神经网络作为所述教师网络对上半部分所述人脸图像进行注意力图提取，并将所述教师网络构造所述注意力图的能力建成一个知识库；以及
9、s130、构建带有注意力模块的所述学生网络，使用知识蒸馏下的知识迁移方法，将所述教师网络中注意力模块在人脸上半部图像构造注意力图的知识，通过减少所述教师网络和学生网络之间对应注意力图的种间距离引导到所述学生网络上相应的注意力模块。
10、上述的动物面部识别方法，其中，步骤s110中，还包括数据集面部对齐预处理，使所述动物面部图像和人脸图像的眼睛在同一水平线上对齐。
11、上述的动物面部识别方法，其中，使用进行动物面部图像的眼睛关键点检测，并使用仿射变换将动物面部图像和人脸图像的眼睛在同一水平线上；获取对齐后动物面部图像矩形并裁剪，裁剪后的动物面部图像的眼睛与裁剪图像顶部的距离为定值。
12、上述的动物面部识别方法，其中，步骤s130中，通过adaface对所述教师模型和学生模型进行训练，对上半部分人脸图像训练过的所述教师网络和上半部分动物面部图像训练过的学生网络提取出对应注意力模块的注意力图，通过减少对应所述注意力图之间的种间距离实现跨物种面部特征知识迁移。
13、上述的动物面部识别方法，其中，使用adaface损失函数作为所述教师网络和学生网络上半部分面部识别的训练损失函数：
14、
15、gangle和gadd为惩罚项：
16、
17、为图片质量的评估函数，通过批量正则化中的均值和方差进行图片质量评估：
18、
19、其中，θj为wj与xi之间的夹角，xi∈rd为身份属于yi的特征向量；wj∈rd为神经网络最后一层全连接的权重w∈rd×n的第j列，bj∈rn为第j列的偏置项；n和n分别为批量大小和身份类别数量；s为用于缩放的超参数，角度惩罚项m用于减小模型的训练收敛难度；μz和σz为批量正则化中的均值和标准差。
20、上述的动物面部识别方法，其中，步骤s200中，所述教师网络与学生网络的注意力模块在网络中所处的深度和得到的注意力图张量均不同，采用特征映射方法，通过将所述学生网络的注意力图特征向量投影到所述教师网络对应的注意力图特征向量空间中，使所述学生网络和教师网络对应的注意力图对齐。
21、上述的动物面部识别方法，其中，步骤s200中，进一步包括：
22、s210、所述学生网络利用特征提取模块提取出动物上半部分面部图像的注意力图，并展平为动物特征向量；
23、s220、将所述动物特征向量投影到教师网络对应的注意力图特征向量空间中；
24、s230、计算所述动物特征向量与所述教师网络的特征向量之间的种间距离；以及
25、s240、再将所述动物特征向量投影回所述学生网络下一层所需要的空间中。
26、上述的动物面部识别方法，其中，所述种间距离为：
27、
28、其中，人脸识别模型的第i个注意力模块得到的注意力图展平后的特征向量为at(i)，动物面部识别模型的第i个注意力模块得到的注意力图展平后的特征向量为as(i)；fci，1为第i个注意力模块的第一个全连接层，使学生网络注意力图特征向量对齐后维度与相应的教师网络注意力图特征向量相同。
29、上述的动物面部识别方法，其中，将所述种间距离作为蒸馏损失，得到整个知识蒸馏框架的损失函数为：
30、losstotal＝loss1+λ·loss2；
31、其中，λ为蒸馏损失函数的权重因子。
32、上述的动物面部识别方法，其中，步骤s300中，进一步包括：
33、s310、将上半部分和下半部分的动物面部图像数据输入到对应的学生网络中，得到不同输入源的特征向量；
34、s320、使用动物面部结构驱动的特征融合模块将不同输入源的特征向量进行融合，形成最终特征向量；以及...
【技术保护点】
1.一种动物面部识别方法，其特征在于，基于种间距离的跨物种面部注意力知识蒸馏框架，包括如下步骤：
2.如权利要求1所述的动物面部识别方法，其特征在于，步骤S100中，进一步包括：
3.如权利要求2所述的动物面部识别方法，其特征在于，步骤S110中，还包括数据集面部对齐预处理，使所述动物面部图像和人脸图像的眼睛在同一水平线上对齐。
4.如权利要求3所述的动物面部识别方法，其特征在于，使用进行动物面部图像的眼睛关键点检测，并使用仿射变换将动物面部图像和人脸图像的眼睛在同一水平线上；获取对齐后动物面部图像矩形并裁剪，裁剪后的动物面部图像的眼睛与裁剪图像顶部的距离为定值。
5.如权利要求2所述的动物面部识别方法，其特征在于，步骤S130中，通过AdaFace对所述教师模型和学生模型进行训练，对上半部分人脸图像训练过的所述教师网络和上半部分动物面部图像训练过的学生网络提取出对应注意力模块的注意力图，通过减少对应所述注意力图之间的种间距离实现跨物种面部特征知识迁移。
6.如权利要求5所述的动物面部识别方法，其特征在于，使用AdaFace损失函数作为所述教师网络和学生网络上半部分面部识别的训练损失函数：
7.如权利要求1所述的动物面部识别方法，其特征在于，步骤S200中，所述教师网络与学生网络的注意力模块在网络中所处的深度和得到的注意力图张量均不同，采用特征映射方法，通过将所述学生网络的注意力图特征向量投影到所述教师网络对应的注意力图特征向量空间中，使所述学生网络和教师网络对应的注意力图对齐。
8.如权利要求7所述的动物面部识别方法，其特征在于，步骤S200中，进一步包括：
9.如权利要求8所述的动物面部识别方法，其特征在于，所述种间距离为：
10.如权利要求9所述的动物面部识别方法，其特征在于，将所述种间距离作为蒸馏损失，得到整个知识蒸馏框架的损失函数为：
11.如权利要求1所述的动物面部识别方法，其特征在于，步骤S300中，进一步包括：
12.如权利要求11所述的动物面部识别方法，其特征在于，步骤S310中，选择CASIA-WebFace人脸数据集合预训练后的IResNet50作为下半部分动物面部识别的主干网络，并直接将动物面部下半部分图像输入所述主干网络进行特征提取。
13.如权利要求12所述的动物面部识别方法，其特征在于，通过简单加权拼接得到融合后的特征向量f：
14.如权利要求11所述的动物面部识别方法，其特征在于，步骤S330中，采用面部识别比对，计算待识别动物面部和比对动物面部的特征向量相似度是否超过阈值进行动物个体身份识别；或采用所述最终特征向量分类，将所述最终特征向量接入全连接层或分类器进行动物个体身份识别。
...
【技术特征摘要】
1.一种动物面部识别方法，其特征在于，基于种间距离的跨物种面部注意力知识蒸馏框架，包括如下步骤：
2.如权利要求1所述的动物面部识别方法，其特征在于，步骤s100中，进一步包括：
3.如权利要求2所述的动物面部识别方法，其特征在于，步骤s110中，还包括数据集面部对齐预处理，使所述动物面部图像和人脸图像的眼睛在同一水平线上对齐。
4.如权利要求3所述的动物面部识别方法，其特征在于，使用进行动物面部图像的眼睛关键点检测，并使用仿射变换将动物面部图像和人脸图像的眼睛在同一水平线上；获取对齐后动物面部图像矩形并裁剪，裁剪后的动物面部图像的眼睛与裁剪图像顶部的距离为定值。
5.如权利要求2所述的动物面部识别方法，其特征在于，步骤s130中，通过adaface对所述教师模型和学生模型进行训练，对上半部分人脸图像训练过的所述教师网络和上半部分动物面部图像训练过的学生网络提取出对应注意力模块的注意力图，通过减少对应所述注意力图之间的种间距离实现跨物种面部特征知识迁移。
6.如权利要求5所述的动物面部识别方法，其特征在于，使用adaface损失函数作为所述教师网络和学生网络上半部分面部识别的训练损失函数：
7.如权利要求1所述的动物面部识别方法，其特征在于，步骤s200中，所述教师网络与学生网络的注意力模块在网络中所处的深度和得到...
【专利技术属性】
技术研发人员：柴秀娟，向炜曦，张凝，孙坦，
申请(专利权)人：中国农业科学院农业信息研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。