本发明专利技术公开了一种基于改进Gaitbase模型的牛的步态识别方法，步骤如下：获取和预处理牛的步态数据集，目标检测和跟踪，生成单一个体的步态RGB图像，提取黑白轮廓图像序列输入步态识别网络，在时间池化提取黑白轮廓图像步态特征后，通过SAM空间注意力机制进行优化然后再进行水平池化操作；最后，通过计算欧式距离度量，计算特征相似度并输出行牛的信息识别结果。本发明专利技术实现了一种基于改进Gaitbase模型的牛的步态识别方法，通过SAM空间注意力机制优化提取的步态特征，提高牛的步态识别准确率，解决牛的步态识别的问题，并使其更适用于牛的步态识别。
【技术实现步骤摘要】
本专利技术涉及计算机视觉与模式识别，具体涉及一种基于改进gaitbase模型的牛的步态识别方法，主要涉及包括生物特征识别、身份识别、图像处理、深度图像的牛的步态特征识别。
技术介绍
1、由于步态识别是最关键的远距离生物特征识别技术之一，在各界越来越受欢迎。
2、目前步态识别算法大多是基于深度学习的，主流的深度学习步态识别算法分为三类：基于步态能量图的步态识别、基于黑白轮廓图序列的步态识别和基于骨架的步态识别算法。基于步态能量图的步态识别方法通过将目标的一个步态周期内所有轮廓图以重心为中心合成到一张图片中获得步态能量图，在步态能量图的基础上进行识别。基于黑白轮廓图序列的步态识别方法以序列集合特征的每一帧黑白轮廓图为单位提取步态特征实现识别的目的。基于骨架的步态识别方法将3d姿态、关节角度、肢体长度以及关节运动这四个特征拼接作为3d人体关节点特征输入网络通过人体的骨架结构来建立模型进行识别。
3、目前养殖场对牛的个体识别主要依赖于皮肤烙号、耳标、佩戴标签等传统方法，这些方法需要消耗很大的人力、物力等成本。而基于深度学习的毛色等特征识别、牛脸识别等方法会因为缺少特殊的毛色特征或者需要牛配合识别而导致实际应用中存在困难。现有的基于牛的骨架能量图的牛的步态识别处理的步骤比较复杂、繁琐。
技术实现思路
1、本专利技术的目的是为了解决当前牛的个体识别在实际应用场景中现有方法存在的应用困难以及复杂、繁琐的步骤，提供一种基于改进gaitbase模型的牛的步态识别方法。
2、本专利技术的目的可以通过采取如下技术方案达到：
3、一种基于改进gaitbase模型的牛的步态识别方法，所述步态识别方法包括以下步骤：
4、s1、获取牛的行走视频，得到牛的步态视频序列，形成牛的步态数据集，并分为训练集和测试集两部分；
5、s2、从步态视频序列中提取牛的rgb步态序列图像；
6、s3、将上述牛的rgb步态序列图像整理分类，并从牛的rgb步态序列图像中提取单一牛只个体的黑白轮廓图像；
7、s4、将所述黑白轮廓图像输入gaitbase步态识别网络进行特征提取得到牛的步态特征；
8、s5、将所述牛的步态特征通过sam空间注意力机制进行优化，得到优化后的步态特征；
9、s6、将优化后的步态特征与牛的步态数据集中不同步态视频序列进行特征相似度计算，同时用损失函数l显示预测值和实际值之间的差距，并通过反向传播更新参数进行训练，当损失函数l的取值小于设定阈值，完成gaitbase步态识别网络的训练；
10、s7、采集牛的步态视频执行步骤s2-s5步骤得到优化后的牛的步态特征，计算优化后的牛的步态特征与牛的步态数据集中不同步态视频序列特征相似度，以相似度最高的步态视频序列对应的样本id作为牛的步态识别结果。
11、进一步地，所述步骤s1中获取牛的行走视频，得到牛的步态视频序列，形成牛的步态数据集，过程如下：利用摄像头记录下牛行走的过程，角度集中在牛的侧面。侧面拍摄获取的牛的步态数据可以在基于gaitbase步态识别网络中获取到更完整的步态特征，提升模型的精度和鲁棒性。
12、进一步地，所述步骤s2中提取牛的rgb步态序列图像，过程如下：
13、利用yolov5对牛的步态视频序列的每一帧图片进行检测和跟踪，检测出步态视频中的每一头牛，然后对每一头牛进行框选标记，再对步态视频中出现的每一头牛进行跟踪，下一步依照步态视频序列对跟踪的每一头牛的框选标记进行裁剪，得到每一头牛的rgb步态序列图像。yolov5模型属于现有技术，出自yolov5:v3.1-bug fixes and performanceimprovements期刊，jocher g，stoken a，borovec j作者。
14、进一步地，所述步骤s3中提取单一牛只个体的黑白轮廓图像，过程如下：
15、将单一牛只个体的rgb步态序列图像输入到实例分割模型solov2中，通过实例分割模型solov2识别rgb步态序列图像中的牛，并且将识别到的牛的图像掩膜输出成为单一牛只个体的黑白轮廓步态序列图像，其中背景为黑色像素，牛只个体为白色像素。黑白轮廓图像去除了环境信息，降低数据量的同时最大程度避免环境对牛的步态识别的影响。solov2模型属于现有技术，出自solov2:dynamic and fast instance segmentation论文，xinlong wang,rufeng zhang,tao kong,lei li,chunhua shen作者。
16、进一步地，所述步骤s4中提取得到牛的步态特征，过程为：将黑白轮廓图像序列输入gaitbase步态识别网络进行特征提取，所述gaitbase步态识别网络的结构为顺序连接的卷积层conv-1、卷积层conv-2、池化层maxpool-1、卷积层conv-3、卷积层conv-4、池化层maxpool-2、卷积层conv-5、卷积层conv-6，以卷积层conv-6的输出作为牛的步态特征。
17、进一步地，所述sam空间注意力机制的工作过程如下：首先对gaitbase模型输出的牛的步态特征分别通过最大池化maxpooling以及平均池化aeragepooling得到聚合特征映射的空间信息，聚合特征映射的空间信息维度为[n,c,h,w]，其中n为图像批次大小，c为通道数，h为图像高，w为图像宽，然后通过concat操作沿第二维度将最大池化maxpooling以及平均池化aeragepooling得到的聚合特征映射的空间信息进行融合得到完整的空间信息，维度为[n,2c,h,w]，concat操作是在给定维度上将多个张量拼接成一个给定张量序列的操作，所有张量除连接维度外必须具有相同的形状或为空，获得完整的空间信息之后通过卷积层conv-1、激活sigmoid获得最终的空间信息。以激活sigmoid后的输出作为最终的空间信息。
18、进一步地，所述步骤s5中通过sam空间注意力机制进行优化过程如下：
19、通过基于gaitbase步态识别网络提取的牛的步态特征维度为[n,c,h,w],其中n为图像批次大小，c为通道数，h为图像高，w为图像宽，然后通过sam空间注意力机制获取牛的步态特征的空间信息维度为[n,c,h,w]，其中n为图像批次大小，c为通道数，h为图像高，w为图像宽，通过将牛的步态特征与sam空间注意力机制获取的牛的步态特征的空间信息相乘得到优化后的步态特征。以将牛的步态特征与sam空间注意力机制获取的牛的步态特征的空间信息相乘后得到的结果作为优化后的步态特征。
20、进一步地，所述损失函数l＝ltri+lce，其中ltri表示三元损失函数，lce表示交叉熵损失函数，三元损失函数ltri的表达式为：
21、ltri＝max(d(x1,x2)-d(x1,x3)+margin,0)
22、其中本文档来自技高网
...
【技术保护点】
1.一种基于改进Gaitbase模型的牛的步态识别方法，其特征在于，所述步态识别方法包括以下步骤：
2.根据权利要求1所述的一种基于改进Gaitbase模型的牛的步态识别方法，其特征在于，所述步骤S2过程如下：
3.根据权利要求1所述的一种基于改进Gaitbase模型的牛的步态识别方法，其特征在于，所述步骤S3过程如下：
4.根据权利要求1所述的一种基于改进Gaitbase模型的牛的步态识别方法，其特征在于，所述Gaitbase步态识别网络的结构为顺序连接的卷积层Conv-1、卷积层Conv-2、池化层Maxpool-1、卷积层Conv-3、卷积层Conv-4、池化层Maxpool-2、卷积层Conv-5、卷积层Conv-6，以卷积层Conv-6的输出作为牛的步态特征。
5.根据权利要求1所述的一种基于改进Gaitbase模型的牛的步态识别方法，其特征在于，所述SAM空间注意力机制的工作过程如下：首先对Gaitbase模型输出的牛的步态特征分别通过最大池化Maxpooling以及平均池化Aeragepooling得到聚合特征映射的空间信息，聚合特征映射的空间信息维度为[n,c,h,w]，其中n为图像批次大小，c为通道数，h为图像高，w为图像宽，然后通过Concat操作沿第二维度将最大池化Maxpooling以及平均池化Aeragepooling得到的聚合特征映射的空间信息进行融合得到完整的空间信息，维度为[n,2c,h,w]，Concat操作是在给定维度上将多个张量拼接成一个给定张量序列的操作，所有张量除连接维度外必须具有相同的形状或为空，获得完整的空间信息之后通过卷积层Conv-1、激活Sigmoid获得最终的空间信息。
6.根据权利要求5所述的一种基于改进Gaitbase模型的牛的步态识别方法，其特征在于，所述步骤S5中通过SAM空间注意力机制进行优化过程如下：
7.根据权利要求1所述的一种基于改进Gaitbase模型的牛的步态识别方法，其特征在于，所述损失函数L＝Ltri+Lce，其中Ltri表示三元损失函数，Lce表示交叉熵损失函数，三元损失函数Ltri的表达式为：
8.根据权利要求1所述的一种基于改进Gaitbase模型的牛的步态识别方法，其特征在于，所述牛的步态识别方法还包括测试步骤，过程如下：
...
【技术特征摘要】
1.一种基于改进gaitbase模型的牛的步态识别方法，其特征在于，所述步态识别方法包括以下步骤：
2.根据权利要求1所述的一种基于改进gaitbase模型的牛的步态识别方法，其特征在于，所述步骤s2过程如下：
3.根据权利要求1所述的一种基于改进gaitbase模型的牛的步态识别方法，其特征在于，所述步骤s3过程如下：
4.根据权利要求1所述的一种基于改进gaitbase模型的牛的步态识别方法，其特征在于，所述gaitbase步态识别网络的结构为顺序连接的卷积层conv-1、卷积层conv-2、池化层maxpool-1、卷积层conv-3、卷积层conv-4、池化层maxpool-2、卷积层conv-5、卷积层conv-6，以卷积层conv-6的输出作为牛的步态特征。
5.根据权利要求1所述的一种基于改进gaitbase模型的牛的步态识别方法，其特征在于，所述sam空间注意力机制的工作过程如下：首先对gaitbase模型输出的牛的步态特征分别通过最大池化maxpooling以及平均池化aeragepooling得到聚合特征映射的空间信息，聚合特征映...
【专利技术属性】
技术研发人员：陈欣，杜贺文，邓小玲，兰玉彬，龙拥兵，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。