一种基于神经网络的湖羊行为实时识别方法技术

本发明专利技术公开了一种基于神经网络的湖羊行为实时识别方法，包括：采集湖羊行为视频，以建立湖羊行为数据集；对所述湖羊行为数据集进行数据预处理；建立基于注意力机制的TSM神经网络模型，并利用预处理后的数据进行训练；将所述基于注意力机制的TSM神经网络模型搭载到AI边缘计算设备上；利用所述AI边缘计算设备的摄像头实时采集湖羊状态，利用所述基于注意力机制的TSM神经网络模型识别湖羊行为并输出识别结果；本发明专利技术利用时移模块增强前后帧之间的联系，丰富了时间维度上的信息；利用注意力模块增强了对湖羊信息的感知；在模型复杂度较低的情况下，得到了较为准确的识别效果。得到了较为准确的识别效果。得到了较为准确的识别效果。

【技术实现步骤摘要】
一种基于神经网络的湖羊行为实时识别方法


[0001]本专利技术涉及湖羊行为识别的
，尤其涉及一种基于神经网络的湖羊行为实时识别方法。

技术介绍

[0002]动物行为在动物饲养过程中是很重要的一项指标，它在揭示动物的情绪表现、健康状况和饲养繁殖规律方面有着重大的研究意义；因此，需要对动物的重要行为进行及时识别并作出相应处理。
[0003]湖羊作为我国一级保护地方畜禽种类，且多进行大规模舍饲，实时监测湖羊反刍、进食等行为具有重要意义。传统检测识别手段多为人工观察或处理器数据检测，前者耗时耗力且容易丢失一些时间段的行为数据，后者则成本太大，难以普及。随着深度学习和硬件设备的发展，利用神经网络可以实时、有效识别湖羊行为。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述现有存在的问题，提出了本专利技术。
[0006]为解决上述技术问题，本专利技术提供如下技术方案，包括：采集湖羊行为视频，以建立湖羊行为数据集；对所述湖羊行为数据集进行数据预处理；建立基于注意力机制的TSM神经网络模型，并利用预处理后的数据进行训练；将所述基于注意力机制的TSM神经网络模型搭载到AI边缘计算设备上；利用所述AI边缘计算设备的摄像头实时采集湖羊状态，利用所述基于注意力机制的TSM神经网络模型识别湖羊行为并输出识别结果。
[0007]作为本专利技术所述的一种基于神经网络的湖羊行为实时识别方法的一种优选方案，其中，所述采集湖羊行为视频包括：布置湖羊运动场；将拍摄设备分别架设在所述湖羊运动场的正前方、左侧和右侧，采集湖羊行为视频。
[0008]作为本专利技术所述的一种基于神经网络的湖羊行为实时识别方法的一种优选方案，其中，所述建立湖羊行为数据集包括：对湖羊行为视频进行数据清洗，挑选出包含湖羊连续动作的视频，并裁剪成时长为10秒的视频片段；根据湖羊行为类别将所述视频片段分类，其中，80％的视频数据划分为训练集，20％的视频数据划分为测试集。
[0009]作为本专利技术所述的一种基于神经网络的湖羊行为实时识别方法的一种优选方案，其中，所述数据预处理包括：将所述视频片段平均分为8段，利用视频处理软件对所述视频片段进行抽帧处理，每秒抽取30帧图片；分别从所述视频片段的每一段中随机选取一帧作为训练图片；将所述训练图片裁剪成224像素
×
224像素，并利用水平翻转、角落裁剪和尺度抖动，对所述训练图片进行数据增强。
[0010]作为本专利技术所述的一种基于神经网络的湖羊行为实时识别方法的一种优选方案，
其中，所述训练包括：利用划分好的训练集和测试集在带有GPU的设备上进行训练和验证；输出训练结果，保存权重文件。
[0011]作为本专利技术所述的一种基于神经网络的湖羊行为实时识别方法的一种优选方案，其中，所述识别湖羊行为包括：使用神经网络模型ResNet
‑
50，加入时移模块和注意力层，建立基于注意力机制的TSM神经网络模型。
[0012]作为本专利技术所述的一种基于神经网络的湖羊行为实时识别方法的一种优选方案，其中，所述时移模块包括：时移模块将前一帧特征图的特征信息插入到当前帧；时移模块主要操作为位移和权值叠加，位移表示如下：
[0013][0014]其中，X为输入，X
i
为第i个输入，分别为输入X
i
移位
‑
1、0、+1；
[0015]权值叠加Y为：
[0016]Y＝W1X
‑1+W2X0+W3X1[0017]其中，W1、W2、W3分别为X
‑1、X0、X1的权重。
[0018]作为本专利技术所述的一种基于神经网络的湖羊行为实时识别方法的一种优选方案，其中，所述注意力层包括：
[0019][0020][0021][0022]其中，为小批量，为的均值，为的方差，ε为数据稳定常数，γ和β为待学习参数，F为输入特征图，M为注意力图，为矩阵乘法。
[0023]作为本专利技术所述的一种基于神经网络的湖羊行为实时识别方法的一种优选方案，其中：将每一次通过时移模块后的特征图依次经过层归一化、1*1卷积层和ReLU激活函数，与最终输出特征图相加。
[0024]作为本专利技术所述的一种基于神经网络的湖羊行为实时识别方法的一种优选方案，其中，所述识别结果包括：湖羊行为包括反刍行为、进食行为和奔跑行为。
[0025]本专利技术的有益效果：本专利技术利用时移模块增强前后帧之间的联系，丰富了时间维度上的信息；利用注意力模块增强了对湖羊信息的感知；在模型复杂度较低的情况下，得到了较为准确的识别效果。
附图说明
[0026]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0027]图1为本专利技术第一个实施例所述的一种基于神经网络的湖羊行为实时识别方法的流程图；
[0028]图2为本专利技术第一个实施例所述的一种基于神经网络的湖羊行为实时识别方法的采集湖羊行为视频的地点图；
[0029]图3为本专利技术第一个实施例所述的一种基于神经网络的湖羊行为实时识别方法的湖羊三种行为连续帧图；
[0030]图4为本专利技术第一个实施例所述的一种基于神经网络的湖羊行为实时识别方法的基于注意力机制的TSM神经网络模型结构示意图；
[0031]图5为本专利技术第一个实施例所述的一种基于神经网络的湖羊行为实时识别方法的时移模块图；
[0032]图6为本专利技术第一个实施例所述的一种基于神经网络的湖羊行为实时识别方法的注意力层图；
[0033]图7为本专利技术第一个实施例所述的一种基于神经网络的湖羊行为实时识别方法的损失值变化曲线图；
[0034]图8为本专利技术第一个实施例所述的一种基于神经网络的湖羊行为实时识别方法的平均准确率对比图。
具体实施方式
[0035]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明，显然所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术的保护的范围。
[0036]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。
[0037]其次，此处所称的“一个实施例”或“实施例”是指可包含于本专利技术至少一个实现方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的湖羊行为实时识别方法，其特征在于，包括：采集湖羊行为视频，以建立湖羊行为数据集；对所述湖羊行为数据集进行数据预处理；建立基于注意力机制的TSM神经网络模型，并利用预处理后的数据进行训练；将所述基于注意力机制的TSM神经网络模型搭载到AI边缘计算设备上；利用所述AI边缘计算设备的摄像头实时采集湖羊状态，利用所述基于注意力机制的TSM神经网络模型识别湖羊行为并输出识别结果。2.如权利要求1所述的一种基于神经网络的湖羊行为实时识别方法，其特征在于，所述采集湖羊行为视频包括：布置湖羊运动场；将拍摄设备分别架设在所述湖羊运动场的正前方、左侧和右侧，采集湖羊行为视频。3.如权利要求1或2所述的一种基于神经网络的湖羊行为实时识别方法，其特征在于，所述建立湖羊行为数据集包括：对湖羊行为视频进行数据清洗，挑选出包含湖羊连续动作的视频，并裁剪成时长为10秒的视频片段；根据湖羊行为类别将所述视频片段分类，其中，80％的视频数据划分为训练集，20％的视频数据划分为测试集。4.如权利要求1或3所述的一种基于神经网络的湖羊行为实时识别方法，其特征在于，所述数据预处理包括：将所述视频片段平均分为8段，利用视频处理软件对所述视频片段进行抽帧处理，每秒抽取30帧图片；分别从所述视频片段的每一段中随机选取一帧作为训练图片；将所述训练图片裁剪成224像素
×
224像素，并利用水平翻转、角落裁剪和尺度抖动，对所述训练图片进行数据增强。5.如权利要求1或4所述的一种基于神经网络的湖羊行为实时识别方法，其特征在于，所述训练包括：利用划分好的训练集和测试...

【专利技术属性】
技术研发人员：欧士路，钱姝含，范谦，陈培根，王梦芝，戚子扬，李海明，
申请(专利权)人：扬州大学，
类型：发明
国别省市：