基于平衡损失的Resnet-3D卷积牛视频目标检测方法技术

本发明专利技术公开了一种基于平衡损失的Resnet‑3D卷积牛视频目标检测方法。本发明专利技术步骤如下：1、将输入的原始牛群视频序列切分成帧，获得帧图片数据集并标注；然后对标注好的帧图片数据集进行划分，获得训练集与测试集；2、以滑动窗口的方式选取多个连续帧图片，依次得到连续的帧图片序列，从而对数据集进行扩充增强；3、将得到的帧图片序列通过目标检测网络Faster rcnn进行分类回归和位置回归，获取目标检测模型；4、将测试视频输入训练好的目标检测模型，得到牛的检测框及其置信度。本发明专利技术能有效解决高密度牛群因遮挡而检测不到的问题。同时本发明专利技术中是使用视频做测试，通过网络模型输出的是视频，可以有效解决图像融合视频时目标短暂丢失的问题。

【技术实现步骤摘要】
基于平衡损失的Resnet-3D卷积牛视频目标检测方法
本专利技术属于计算机视觉领域，特别涉及到目标检测，具体提供一种基于平衡损失的Resnet-3D卷积牛视频目标检测方法。
技术介绍
畜牧业是我国的传统行业，近年来，随着计算机水平的提高以及计算机视觉技术的快速发展，目标检测技术应用于牲畜养殖方面得到越来越广泛的关注。然而，由于畜牧场的牛群高度密集、牧场环境恶劣，在自然环境下对牛的检测的难度较大。基于深度学习的目标检测算法可以更好的提取牛目标的特征，检测效果会更好。将计算机视觉深度学习算法应用于牛检测方面，有助于推进我国规模化养殖的发展，极大的方便牧民了解牧场实时情况以及提高我国的健康养殖水平。在2014年，研究人员提出了基于卷积神经网络特征的区域方法(RegionwithCNNfeatures,R-CNN)是第一个将区域分割算法和深度学习方法结合的目标检测算法，采用了选择性搜索算法选取候选区域，然后使用CNN对候选区域进行分类识别。接着，研究人员在2014年提出了空间金字塔池化网络(SpatialPyramidPoolingNetSP本文档来自技高网...

【技术保护点】
1.基于平衡损失的Resnet-3D卷积牛视频目标检测方法，其特征在于包括以下步骤：/nS1、数据集制作：将输入的原始牛群视频序列切分成帧，获得帧图片数据集，使用标注软件对选取的连续帧图片进行标注，得到带标注的帧图片数据集；然后对标注好的帧图片数据集进行划分，获得训练集与测试集；/nS2、以滑动窗口的方式选取多个连续帧图片，依次得到连续的帧图片序列，通过此方法获得不同的连续帧图片来对数据集进行扩充增强，同时通过连续帧图片倒序排列的方式进行增强；/nS3、将步骤S2得到的帧图片序列通过目标检测网络Faster rcnn进行分类回归和位置回归，获取目标检测模型；/nS4、将测试视频输入训练好的目标...

【技术特征摘要】
1.基于平衡损失的Resnet-3D卷积牛视频目标检测方法，其特征在于包括以下步骤：
S1、数据集制作：将输入的原始牛群视频序列切分成帧，获得帧图片数据集，使用标注软件对选取的连续帧图片进行标注，得到带标注的帧图片数据集；然后对标注好的帧图片数据集进行划分，获得训练集与测试集；
S2、以滑动窗口的方式选取多个连续帧图片，依次得到连续的帧图片序列，通过此方法获得不同的连续帧图片来对数据集进行扩充增强，同时通过连续帧图片倒序排列的方式进行增强；
S3、将步骤S2得到的帧图片序列通过目标检测网络Fasterrcnn进行分类回归和位置回归，获取目标检测模型；
S4、将测试视频输入训练好的目标检测模型，得到牛的检测框及其置信度。


2.根据权利要求1所述的基于平衡损失的Resnet-3D卷积牛视频目标检测方法，其特征在于步骤3具体实现如下：
S3.1、将训练集与测试集中标注好的帧图片，制成相应的文件格式，然后输入目标检测网络Fasterrcnn训练网络参数，得到一个相对较好的牛群目标检测模型；
S3.2、帧图片序列进入目标检测网络Fasterrcnn后会经过残差网络作为主干网络进行特征提取，使用Resnet-101作为特征提取的主干网络，并对主干网络的网络结构进行改进，使用3D卷积；主干网络分为5个卷积结构，分别为convl、conv2_x、conv3_x、conv4_x、conv5_x；conv1是一个步长为2的3D卷积层，conv2_x、conv3_x、conv4_x、conv5_x是4个残差3D卷积模块，conv2_x是由一个步长为2的最大池化层和3个残差3D卷积层组成，conv3_x是由4个残差3D卷积层组成，conv4_x是由23个残差3D卷积层组成，conv5_x是由3个残差3D卷积层组成；每个卷积模块都由卷积层、BN、ReLU构成，其中ReLU激活函数的表达式如下：
f(x)＝max(0，x)(1)
其中，x为神经元的输入；使用ReLU激活函数的目的能够克服梯度消失的问题，并且加快训练速度；
S3.3、帧图片序列经过主干网络特征提取完成之后得到特征图，特征图输入区域生成网络得到分类和候选框；
所述的区域生成网络包括分类网络和回归网络：分类网络通过softmax分类候选框，得到目标和背景分类；回归网络用于计算候选框的边界...

【专利技术属性】
技术研发人员：李琦，沈雷，何晶，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33