一种复杂牛场环境牛脸识别方法技术

针对在复杂牛场环境下存在牛群遮挡、牛脸脏污以及牛的活动状态和姿态多样性等问题引起的牛身份识别困难的难题。本发明专利技术公开了一种基于Vision

【技术实现步骤摘要】
一种复杂牛场环境牛脸识别方法


[0001]本专利技术涉及生物识别领域，具体涉及一种复杂牛场环境牛脸识别算方法。

技术介绍

[0002]在规模化养牛场，要实现个体化、自动化、信息化的日常精细化管理，实现每头牛健康状况的跟踪和奶、肉制品的可追溯性，关键在于对个体牛的识别。
[0003]传统的牛个体识别可以通过物理方法或嵌入微芯片的方式对身体某一部位进行标记，通过射频ID的方式对牛个体加以区分。但这种方式不能防止欺诈行为，包括复制标记和盗窃设备，还会对牛本身造成伤害,因此利用牛脸进行个体识别的方法开始兴起。
[0004]由于近几年人工智能技术的高速发展，在牛脸识别方面也涌现了许多基于深度学习的新方法，在模型设计上基于卷积神经网络(Convolutional Neural Networks，CNN)的牛脸识别技术日趋成熟，如基于增量识别的牛脸识别算法，运用CNN提取的特征构造稀疏表示分类模型，计算各类别的残差，依据残差最小原则进行牛个体识别的方法，或是去除VGG(Visual Geometry Group)网络的冗余参数，在不影响识别率的前提下减少了网络参数，为奶牛的识别技术提供了一种新的思路。还有一种基于VGG建立了牛脸特征提取模型的方法，采用欧氏距离计算牛脸特征间的相似度，采用softmax loss和中心损失作为模型训练的损失函数，增大了模型提取特征的类间距离，减小了类内距离，提高了识别性能。卷积神经网络因其强大的特征表达能力在牛脸识别领域取得了一些成果，但由于其局部感受野的局限性，提取牛脸特征时，往往忽略了牛脸图像的全局上下文信息，并不能很好地表征牛脸，也没有考虑牛脸脏污对识别的影响。
[0005]在感受野方面，研究员们也开始在识别前着重解决感受野的局限性。如视觉Transformer(Vision
‑
Transformer，VIT)模型，利用Transformer全局感受野的特性得到了比CNN更好的性能。经过我们测试，VIT只使用全局特征，忽视了局部特征。将VIT的全局特征直接加到每一块局部特征中，融合了局部特征和全局特征之间的信息，但却忽略了局部特征之间的相关性。

技术实现思路

[0006]针对在复杂牛场环境下由于牛群遮挡、牛脸脏污以及牛的活动状态和姿态多样性等问题引起的牛身份识别困难的难题。
[0007]本专利技术提出一种基于Vision
‑
Transformer的复杂牛场环境牛脸识别算法。本专利技术在VIT模型的基础上对复杂牛场环境设计了全新的特征融合方式。在VIT模型中加入本专利技术提出的patch
‑
shift网络层充分学习牛脸图像全局特征和局部特征以及局部特征之间的相关性，有效缓解了复杂牛场环境下牛脸脏污对识别的影响，并在算法中加入可学习的Mask矩阵使模型抑制不含牛脸信息的图像块，学习到更加鲁棒的牛脸特征。为解决在复杂牛场环境下的牛身份识别困难的问题，
[0008]本专利技术所采用的技术方案为：
[0009]1.一种复杂牛场环境牛脸识别方法，包括以下步骤：
[0010]S1、采集牛脸数据：
[0011]在不同的光照条件下和同一拍摄高度下，同时采集正脸、左侧脸、右侧脸三种不同的牛脸姿态的牛脸视频数据，从视频流中截取每头牛的正脸、左侧脸、右侧脸图片数据，并将牛脸图片数据划分为训练集和测试集；
[0012]S2、基于Vision
‑
Transformer对复杂牛场环境牛脸进行数据处理
[0013]S2
‑
1首先将输入的牛脸图片分为N个大小相同的图像块，并使用Vision
‑
Transformer的图像块编码器E将每个图像块编码为维度为D的特征向量；
[0014]S2
‑
2之后在N个特征向量组成的矩阵中，加入可学习的分类向量x
cls
，所述分类向量x
cls
用于表示牛脸图像经过编码后的全局特征，
[0015]S2
‑
3最后加入包含空间信息的位置编码即可得到编码器的输入序列：
[0016][0017]S2
‑
4在z0前向传播到第l
‑
1层编码器时将提取的牛脸特征分别输入全局分支和局部信息融合分支，其中，输入全局分支的牛脸特征作为全局分支输入特征，输入局部信息融合分支的牛脸特征作为局部分支输入特征；
[0018]S2
‑
5在全局分支将全局分支输入特征输入第l层编码器中提取全局分支特征；
[0019]S2
‑
6在局部信息融合分支中，利用patch
‑
shift网络层让牛脸的全局特征和局部分支输入特征进行融合，得到patch
‑
shift网络层信息融合后的特征；
[0020]S2
‑
7将patch
‑
shift网络层信息融合后的特征输入第l层编码器得到最终包含特征之间相关性的输出特征S＝TransformerLayer(G
M
)；
[0021]S2
‑
8最后将全局分支提取的全局分支特征和局部信息融合分支提取的包含特征之间相关性的输出特征输入MLP中进行分类；
[0022]S3、使用所述步骤S1中所述的训练集，构建损失函数，对所述步骤S2中基于Vision
‑
Transformer对复杂牛场环境牛脸进行数据处理的方法进行训练，当总损失下降到不大于0.01时结束训练，得到训练好的牛脸数据处理方法；
[0023]S4、将步骤S1中所述的测试集中的数据输入训练好的牛脸数据处理方法中，提取牛脸图像特征并进行识别比对。
[0024]作为优选，所述S3中的损失函数包括：三元组损失L
triplet
和交叉熵损失L
softmax
。
[0025]作为优选，所述S2
‑
6中，所述局部信息融合分支的结构从下到上包括：自适应平均池化层、拼接层、patch
‑
shift网络层、第l层编码器，MLP分类器；
[0026]在所述自适应平均池化层、拼接层进行池化和拼接的过程具体包括以下步骤：
[0027]首先将第l
‑
1层的编码器输出z
l
‑1使用平均池化将N+1个局部分支输入特征平均分为K份，再将K个均分后的局部分支输入特征和全局特征拼接得到局部信息融合分支的输入特征即：
[0028][0029]式中，γ为自适应平均池化层，ψ表示拼接池化后的局部分支输入特征和全局特征；
[0030]所述patch
‑
shift网络层的结构从下到上包括：shift模块、卷积核大小为1的卷积层Conv；可学习矩阵Mask；激活函数ReLU；所述patch
‑
shift网络层的运行过程包括以下步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂牛场环境牛脸识别方法，其特征在于，包括以下步骤：S1、采集牛脸数据：在不同的光照条件下和同一拍摄高度下，同时采集正脸、左侧脸、右侧脸三种不同的牛脸姿态的牛脸视频数据，从视频流中截取每头牛的正脸、左侧脸、右侧脸图片数据，并将牛脸图片数据划分为训练集和测试集；S2、基于Vision
‑
Transformer对复杂牛场环境牛脸进行数据处理S2
‑
1首先将输入的牛脸图片分为N个大小相同的图像块并使用Vision
‑
Transformer的图像块编码器E将每个图像块编码为维度为D的特征向量S2
‑
2之后在N个特征向量组成的矩阵中，加入可学习的分类向量x
cls
，所述分类向量x
cls
用于表示牛脸图像经过编码后的全局特征，S2
‑
3最后加入包含空间信息的位置编码即可得到编码器的输入序列：S2
‑
4在z0前向传播到第l
‑
1层编码器时将提取的牛脸特征分别输入全局分支和局部信息融合分支，其中，输入全局分支的牛脸特征作为全局分支输入特征，输入局部信息融合分支的牛脸特征作为局部分支输入特征；S2
‑
5在全局分支将全局分支输入特征输入第l层编码器中提取全局分支特征；S2
‑
6在局部信息融合分支中，利用patch
‑
shift网络层让牛脸的全局特征和局部分支输入特征进行融合，得到patch
‑
shift网络层信息融合后的特征；S2
‑
7将patch
‑
shift网络层信息融合后的特征输入第l层编码器得到最终包含特征之间相关性的输出特征S＝TransformerLayer(G
M
)；S2
‑
8最后将全局分支提取的全局分支特征和局部信息融合分支提取的包含特征之间相关性的输出特征输入MLP中进行分类；S3、使用所述步骤S1中所述的训练集，构建损失函数，对所述步骤S2中基于Vision
‑
Transformer对复杂牛场环境牛脸进行数据处理的方法进行训练，当总损失下降到不大于0.01时结束训练，得到训练好的牛脸数据处理方法；S4、将步骤S1中所述的测试集中的数据输入训练好的牛脸数据处理方法中，提取牛脸图像特征并进行识别比对。2.如权利要求1所述的一种复杂牛场环境牛脸识别方法，其特征在于，所述S3中的损失函数包括：三元组损失L
triplet
和交叉熵损失L
softmax
。3.如权利要求2所述的一种复杂牛场环境牛脸识别方法，其特征在于，所述S2
‑
6中，所述局部信息融合分支的结构从下到上包括：自适应平均池化层、拼接层、patch
‑
shift网络层、第l层编码器，MLP分类器；在所述自适应平均池化层、拼接层进行池化和拼接...

【专利技术属性】
技术研发人员：沈雷，方一昊，郑鹏，蓝雷斌，黄安祥，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：