【技术实现步骤摘要】
本专利技术属于视频图像理解，涉及肉牛行为，具体涉及一种基于时刻偏移损失的肉牛异常行为视频时序定位方法。
技术介绍
1、肉牛养殖过程中，饲喂人员需要随时监测、及时发现肉牛的异常状况，进而对肉牛圈舍环境、饲料等进行调整。传统养殖环节依赖人力开展巡场工作，监测肉牛的异常行为。该方式耗时耗力，成本较高，且难以实现圈舍全天候监测。
2、随着养殖场监控设施的普及和计算机视觉技术的发展，结合深度学习技术，构建肉牛异常行为时序定位方法，使得实现肉牛异常行为全天候监测成为可能。近年来，基于深度学习技术和计算机视觉的动物行为识别方法取得了较快的发展。例如，王少华等人在文献“基于改进yolo v3模型的奶牛发情行为识别研究”提出了一种基于改进yolo v3模型的奶牛发情行为识别方法，引入密集模块，并使用中心点距离融合交并比的边界框损失函数，实现了复杂养殖场景下对奶牛爬跨行为的识别。例如，wang等人在文献“e3d:an efficient3d cnn for the recognition of dairy cow's basic motion behavior.”提出了一种基于三维卷积神经网络的奶牛基础行为识别方法，通过融合深度可分离卷积和高效通道模块提取单牛的行为视频时空特征，实现了对奶牛躺卧、站立、行走、饮水、进食等行为的识别。以上方法均只涉及牛行为识别，针对牛行为时序定位的方法尚处于初步研究阶段。牛行为时序定位方法不仅要预测视频中包含了哪些异常行为，还需要预测行为的开始时间和结束时刻，更符合真实养殖场场景下，肉牛精准管理需要掌握行
3、现有的采用滑动窗口策略的牛行为时序定位方法仅针对单一目标，时序定位结果的准确性较差，难以满足实际大规模养殖下肉牛行为时序定位的需求。因此设计一种针对养殖场监控视频视野范围内的肉牛异常行为时序定位方法，来实现高精度肉牛异常行为时序定位是非常有必要的。
技术实现思路
1、针对现有技术存在的不足，本专利技术的目的在于，提供一种基于时刻偏移损失的肉牛异常行为视频时序定位方法，以解决现有技术中的时序定位方法仅针对单一目标且准确性差的技术问题。
2、为了解决上述技术问题，本专利技术采用如下技术方案予以实现：
3、一种基于时刻偏移损失的肉牛异常行为视频时序定位方法，该方法包括以下步骤：
4、步骤s1，构建肉牛异常行为时序定位数据集：
5、收集真实养殖场监控视角下包含肉牛异常行为的视频，所述的肉牛异常行为包括爬跨行为、奔跑行为和打斗行为；标注每段视频中的异常行为时序片段；每段视频包含多个异常行为时序标签，每个异常行为时序标签包含行为起始时刻、行为结束时刻和行为类别。
6、步骤s2，提取肉牛异常行为视频特征：
7、将长度为l帧的视频每间隔4帧进行采样，输入双分支频谱通道时空聚合与激励模型，提取视频帧的特征，每个视频帧表示为长度2048的特征向量，最终每个视频表示为一个维度为l/4×2048的特征向量。
8、步骤s3，实现肉牛异常行为时序定位方法：
9、采用基于聚合可扩展粒度金字塔的多头时序定位模型构建肉牛异常行为时序定位模型，所述的肉牛异常行为时序定位模型包括主干网络、聚合可扩展粒度感知金字塔以及边界定位多分支预测头；采用肉牛异常行为时序定位模型实现肉牛异常行为时序定位方法。
10、步骤s4，基于步骤s1得到的肉牛异常行为时序定位数据集，利用中心点-始末时刻偏移损失函数和焦点损失函数训练步骤s3中得到的肉牛异常行为时序定位模型。
11、具体的，步骤s4中包括：
12、步骤s401，使用中心点-始末时刻偏移损失函数计算模型的时序预测值和真实值的损失：
13、
14、式中：
15、iou为预测序列和真实序列计算的交并比；
16、c为预测序列和真实序列最小外接序列长度；
17、cp为模型预测的异常行为的中心时刻；
18、cg为真实的异常行为的中心时刻；
19、lp为模型预测的异常行为的起始时刻；
20、lg为真实的异常行为的起始时刻；
21、rop为模型预测的异常行为的结束时刻；
22、rg为真实的异常行为的结束时刻。
23、步骤s402，使用焦点损失函数计算模型的分类损失lc：
24、lc＝-αt(1-pt)γlog(pt)
25、式中：
26、αt表示不同类别的权重；
27、pt表示模型预测的类别概率；
28、γ表示用于抑制简单样本的损失贡献，促进难样本的损失贡献；
29、步骤s403，将lcsed和lc求和得到损失l，通过反向传播l，调整肉牛异常行为时序定位模型参数，直至迭代次数达到预设初始值完成训练。
30、步骤s5，肉牛异常行为时序定位：
31、将真实场景下的肉牛监控视频输入步骤s4中训练完成的肉牛异常行为时序定位模型，识别肉牛异常行为，并定位异常行为的发生时间和结束时刻。
32、本专利技术还具有如下技术特征：
33、优选的，步骤s1中，所述的视频的时长涵盖30秒，60秒，120秒和300秒。
34、优选的，步骤s3中，所述的肉牛异常行为时序定位模型中，预设的输入特征向量最大长度lmax为2304，当l/4≤lmax时，在下标区间[l/4,lmax]位置补0；当l/4>lmax时，舍弃下标区间[lmax,l/4]的特征，从而获得形状为[2048,2304]的特征向量。
35、优选的，步骤s3中，所述的主干网络由2个编码卷积模块和1个聚合可扩展粒度感知模块堆叠构成。
36、优选的，步骤s3中，所述的聚合可扩展粒度感知金字塔由6层聚合可扩展粒度感知模块和层归一化操作构成。
37、优选的，步骤s3中，所述的边界定位多分支预测头包含一个分类头、一个起始时刻预测头、一个中心时刻预测头和一个结束时刻预测头；经聚合可扩展粒度感知金字塔提取的视频特征分别输入至分类头、起始时刻预测头、中心时刻预测头和结束时刻预测头，完成对异常行为类别、起始时刻、中心时刻和结束时刻的预测。
38、本专利技术与现有技术相比，具有如下技术效果：
39、(ⅰ)本专利技术提出一种计算行为发生、结束和中心时刻偏移量的损失函数——中心点-始末时刻偏移损失函数，构建基于聚合可扩展粒度金字塔的多头时序定位模型，实现基于时刻偏移损失的肉本文档来自技高网...
【技术保护点】
1.一种基于时刻偏移损失的肉牛异常行为视频时序定位方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的基于时刻偏移损失的肉牛异常行为视频时序定位方法，其特征在于，步骤S1中，所述的视频的时长涵盖30秒，60秒，120秒和300秒。
3.如权利要求1所述的基于时刻偏移损失的肉牛异常行为视频时序定位方法，其特征在于，步骤S3中，所述的肉牛异常行为时序定位模型中，预设的输入特征向量最大长度Lmax为2304，当L/4≤Lmax时，在下标区间[L/4,Lmax]位置补0；当L/4>Lmax时，舍弃下标区间[Lmax,/4]的特征，从而获得形状为[2048,2304]的特征向量。
4.如权利要求1所述的基于时刻偏移损失的肉牛异常行为视频时序定位方法，其特征在于，步骤S3中，所述的主干网络由2个编码卷积模块和1个聚合可扩展粒度感知模块堆叠构成。
5.如权利要求1所述的基于时刻偏移损失的肉牛异常行为视频时序定位方法，其特征在于，步骤S3中，所述的聚合可扩展粒度感知金字塔由6层聚合可扩展粒度感知模块和层归一化操作构成。
...
【技术特征摘要】
1.一种基于时刻偏移损失的肉牛异常行为视频时序定位方法，其特征在于，该方法包括以下步骤：
2.如权利要求1所述的基于时刻偏移损失的肉牛异常行为视频时序定位方法，其特征在于，步骤s1中，所述的视频的时长涵盖30秒，60秒，120秒和300秒。
3.如权利要求1所述的基于时刻偏移损失的肉牛异常行为视频时序定位方法，其特征在于，步骤s3中，所述的肉牛异常行为时序定位模型中，预设的输入特征向量最大长度lmax为2304，当l/4≤lmax时，在下标区间[l/4,lmax]位置补0；当l/4>lmax时，舍弃下标区间[lmax,/4]的特征，从而获得形状为[2048,2304]的特征向量。
4.如权利要求1所述的基于时刻偏移损失的肉牛异...
【专利技术属性】
技术研发人员：张宏鸣，武杰，韩亚敏，蔡明宇，黄铝文，蒲攀，李斌，昝林森，王洪宝，黄小星，赵乾坤，
申请(专利权)人：西北农林科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。