一种野外场景下的鸟类检测系统技术方案

本发明专利技术公开了一种野外场景下的鸟类检测系统的检测方法包括：S1、采集实际场景下的视频数据和网络上已有的鸟类图片、视频数据；S2、对采集到的鸟类数据使用数据预处理软件进行数据预处理；S3、对处理好的鸟类图片数据集进行数据增强；S4、利用数据增强后的鸟类数据集和不包含鸟的背景数据集训练深度学习目标检测模型；S5、将训练好的目标检测模型部署在实际野外环境下的边缘设备上；S6、利用摄像机采集野外场景下的鸟类保护区视频数据；S7、使用深度学习目标检测模型按图像检测目标，将检测结果返回给中心服务器。本发明专利技术减少了人工检测的成本，提高了模型的检测效果，得到符合实际场景下的结果，减轻中心服务器的处理压力。

【技术实现步骤摘要】
一种野外场景下的鸟类检测系统
本专利技术属于鸟类检测方法
，具体涉及一种野外场景下的鸟类检测系统。
技术介绍
保护区中鸟类的发现和统计一直是环境保护的一个重要内容。通过记录鸟群数量，鸟类出现时间以及停留时间，可以有效反映鸟群的当前健康状态，保护区的生态环境质量等等信息，方便专业人员开展环境保护工作。但是传统方法是通过人工对环境保护区中摄像机拍摄的视频数据进行分类和统计，这样的方法需要专家花费大量时间处理视频数据，耗时耗力，工作量很大。因此我们可以采用人工智能领域中基于深度学习的目标检测算法，自动检测保护区中出现的鸟类。目标检测指的是在图像中找出感兴趣的目标，确定目标类别和位置，例如检测出图像中是否有鸟类并且标出鸟类在图像中的位置信息。传统的目标检测算法大多是人工设计滤波器对图像进行处理，只能提取浅层的特征，检测准确度低，在实际环境中会受到各种噪声干扰，泛化能力差。而深度学习模型在提取高层特征以及对复杂特征的表征能力上有着不俗的表现，近年来也出去越来越多的基于深度学习的目标检测算法。这类基于深度学习的目标检测算法可以自动提取特征，泛化能力更强，更适合在实际环境中部署应用。目标检测任务关注检测的准确率和识别速度。由于检测图像的分辨率，目标大小，环境复杂程度的影响，会给目标检测带来很大的难度。最早出现的two-stage目标检测算法R-CNN将目标检测分为生成候选窗口和对候选窗口内的物体进行分类两个阶段，相较于传统方法在识别准确度上有了明显的提升，后续基于R-CNN提出了的一系列two-stage算法在一定程度上提高了检测的精确度和检测速度。但是由于自身的限制，两阶段的算法计算成本太高，一张图像检测时间过长，不符合实际应用，同时也不能利用局部目标在整体中的相对位置信息。研究人员因此提出了one-stage的目标检测算法，代表作就是YOLO系列，这类算法将整个流程放在一个网络中处理，直接得到候选区和目标类别，对检测速度有较大的提升。考虑到环境保护区中环境复杂，目标鸟类体积小，边缘设备算力有限等一系列特点，根据现有的目标检测算法和实际场景设计一个野外场景下目标检测系统是很有必要的。
技术实现思路
本专利技术目的在于克服当前基于深度学习的目标检测方法在野外条件下应用存在的部分缺陷。为了解决上述缺陷，本专利技术公开一个结合One-Stage目标检测模型，可以进行实际部署应用的野外场景下的鸟类检测系统。为实现上述目的，本专利技术采用以下技术方案：一种野外场景下的鸟类检测系统，该鸟类检测系统的检测方法包括：S1、采集鸟类视频数据与鸟类图片数据；包括摄像机拍摄的与互联网中已有的未标注的鸟类数据Dunlabeledbird，采集来自互联网中公开的标注好的鸟类图片数据集Dlabeled1，采集来自摄像机拍摄的不包含鸟的背景视频数据Dvideoenv；S2、对采集到的未标注的鸟类数据Dunlabeledbird使用编写的数据预处理软件进行数据预处理，得到鸟类图片数据集Dlabeled2；对采集到的不包含鸟的背景视频数据Dvideoenv，使用数据编写的预处理软件进行数据预处理，得到不包含鸟的背景图片数据集Dnegative；S3、对标记好的鸟类图片数据集Dlabeled1和Dlabeled2进行数据增强，得到扩充后的鸟类数据集Dpositive；S4、利用数据增强后的鸟类数据集Dpositive和不包含鸟的背景数据集Dnegative训练深度学习目标检测模型Modelbird；S5、将训练好的目标检测模型Modelbird部署在实际野外环境下的边缘设备上；S6、利用摄像机采集野外场景下的鸟类保护区视频数据；S7、使用深度学习目标检测模型Modelbird按图像检测目标，将检测结果返回给中心服务器。为优化上述技术方案，采取的具体措施还包括：进一步地，步骤S1包括：S11，摄像机部署在实际环境保护区内；S12，摄像机拍摄保护区内的鸟群和环境背景；S13，从互联网中的公开数据集采集已标注好的鸟类图像和未标注的鸟类图像、视频数据；S14，互联网中公开的标注好的鸟类图片数据组成数据集Dlabeled1。S15，摄像机拍摄的鸟类视频数据和从网络中采集的未标注的鸟类图像、视频数据组成数据集Dunlabeledbird；S16，摄像机拍摄的不包含鸟的背景视频数据组成数据集Dnegative。进一步地，步骤S2的数据预处理过程包括：设计并使用数据预处理软件，对不包含鸟的背景视频数据和未标注的鸟类视频数据进行抽帧，分别保存为不包含鸟的背景图像数据和包含鸟的图像数据，其中不包含鸟的背景图像数据组成数据集Dnegative；对所有未标记的包含鸟的图像数据进行质量检测，除去鸟类目标像素过低的图像；对质量检测后的图像数据进行标注，记录鸟类位置bounding-box信息，得到标注好的鸟类图片数据集Dlabeled2。进一步地，步骤S2还包括：编写一个视频数据预处理软件；使用视频数据预处理软件，对视频数据进行图像抽取；使用视频数据预处理软件，对图像数据进行质量检测，除去鸟类目标像素过低的图像。使用视频数据预处理软件，对图像数据进行数据标记，并记录鸟类位置信息。进一步地，步骤S3的数据增强过程包括：利用图像切割的方式对数据集进行数据增强，其方式为生成比图像尺寸小一些的矩形框，对图像进行随机的切割，最终以矩形框内的图像作为训练数据；利用图像翻转的方式对数据集进行数据增强，其方式为对图像进行左右翻转，并将翻转前和翻转后的图像同时作为训练数据；利用图像白化的方式对数据集进行数据集增强，其方式为对图像进行白化操作，即将图像本身归一化成Gaussian(0，1)分布，将归一化前及归一化后的图像同时作为训练数据。进一步地，步骤S4包括使用数据增强后的数据集Dpositive和背景数据集Dnegative训练目标检测网络YOLOV4，步骤如下：S41，将数据集Dpositive和Dnegative混合组成训练集Dtrain；S42，将数据集Dtrain划分为训练集，验证集，测试集；S43，修改YOLOv4网络为二分类网络；S44，根据数据集Dpositive计算锚框值并设置为YOLOV4锚框值；S45，设置目标检测网络的参数；S46，使用训练集和验证集训练目标检测网络；S47，使用测试集验证目标检测效果；S48，重复步骤S45-S47直到搜索到合适的参数。进一步地，步骤S44中，使用kmeans方法计算锚框值括：对数据集Dpositive中的所有boundingbox信息进行统计，使用kmeans算法将boundingbox信息分为9个类别；计算9个类别中平均boundingbox大小，作为对应锚框值大小。进一步地，边缘设备为网关，包括一块CPU和本文档来自技高网...

【技术保护点】
1.一种野外场景下的鸟类检测系统，其特征在于，该鸟类检测系统的检测方法包括：/nS1、采集鸟类视频数据与鸟类图片数据；包括未标注的鸟类数据D

【技术特征摘要】
1.一种野外场景下的鸟类检测系统，其特征在于，该鸟类检测系统的检测方法包括：
S1、采集鸟类视频数据与鸟类图片数据；包括未标注的鸟类数据Dunlabeledbird，采集来自公开的标注好的鸟类图片数据集Dlabeled1，采集来自摄像机拍摄的不包含鸟的背景视频数据Dvideoenv；
S2、对采集到的未标注的鸟类数据Dunlabeledbird使用数据预处理软件进行数据预处理，得到鸟类图片数据集Dlabeled2；对采集到的不包含鸟的背景视频数据Dvideoenv，使用数据预处理软件进行数据预处理，得到不包含鸟的背景图片数据集Dnegative；
S3、对标记好的鸟类图片数据集Dlabeled1和Dlabeled2进行数据增强，得到扩充后的鸟类数据集Dpositive；
S4、利用数据增强后的鸟类数据集Dpositive和不包含鸟的背景数据集Dnegative训练深度学习目标检测模型Modelbird；
S5、将训练好的目标检测模型Modelbird部署在实际野外环境下的边缘设备上；
S6、利用摄像机采集野外场景下的鸟类保护区视频数据；
S7、使用深度学习目标检测模型Modelbird按图像检测目标，将检测结果返回给中心服务器。


2.根据权利要求1所述的鸟类检测系统，其特征在于，步骤S1中未标注的鸟类数据Dunlabeledbird包括从网上获取的未标注鸟类图像数据和视频数据，以及摄像机拍摄的包含鸟的视频数据。


3.根据权利要求2所述的鸟类检测系统，其特征在于，步骤S2的数据预处理过程包括：
设计并使用数据预处理软件，对不包含鸟的背景视频数据和未标注的鸟类视频数据进行抽帧，分别保存为不包含鸟的背景图像数据和包含鸟的图像数据，其中不包含鸟的背景图像数据组成数据集Dnegative；
对所有未标记的包含鸟的图像数据进行质量检测，除去鸟类目标像素过低的图像；
对质量检测后的图像数据进行标注，记录鸟类位置bounding-box信息，得到标注好的鸟类图片数据集Dlabeled2。


4.根据权利要求1所述的鸟类检测系统，其特征在于，步骤S3的数据增强方式包括：
利用图像切割的方式对数据集进行数据增强，其方式为生成比图像尺寸小一些的矩形框，对图像进行随机的切割，最终以矩形框内的图像作为训练数据；
利用图像翻转的方式对数据集进行数据增强，其方式为对图像进行左右翻转，并将翻转前和翻转后的图像同时作为训练数据；
利用图像白化的方式对数据集进行数据集增强，其方式为对图像进行白化操作，即将图像本身归一化成Gaussian(0，1)分布，将归一化前及归一化后的图像同时作为训练数据。


5.根据权利要求1所述的鸟类检测系统，其特征在于，步骤S4包括使用数据增强后的数据集D...

【专利技术属性】
技术研发人员：腊孟珂，肖伟康，钟稚昉，杨仕雄，王言，
申请(专利权)人：南京大学环境规划设计研究院集团股份公司，
类型：发明
国别省市：江苏;32