一种大型养殖场体征异常禽类检测系统及检测方法技术方案

提供了一种大型养殖场体征异常禽类检测方法，具体为：预处理采集到的热成像图像，用于数据标注，然后采用基于实例分割通用框架(Mask RCNN)的目标检测及实例分隔方法，对热成像图像进行特征提取，像素对齐，目标的定位，分类和掩码分隔等操作，最后通过控制单张图像的目标检测数，使得在每张图片中的检测正确率得到提高。本方法是对现如今热成像图像在目标检测领域的一次尝试，打破传统方法带来的局限性，利用深度学习在图像特征处理上的优越性能，提高了模型的鲁棒性和准确性。验证了深度学习方法在热成像图像检测领域的可行性。同时也可将其扩展至畜牧业等领域，从而提高我国在养殖业方面的智能化水平。

A Detection System and Method for Abnormal Physiological Signs of Poultry in Large Aquaculture Farms

【技术实现步骤摘要】
一种大型养殖场体征异常禽类检测系统及检测方法
本专利技术总体地涉及热成像图像处理、深度学习技术和目标检测领域，具体地涉及一种大型养殖场体征异常禽类检测系统及检测方法。
技术介绍
目前国内大部分大型养殖场的智能化水平都不高，检查养鸡场中是否有体征异常个体就需要人工参与。但是人工参与检查，效率很低而且非常的耗时，并且一般的养殖场都比较封闭，通风不太好，有大量的有毒气体，人若长时间逗留在养殖场将会对身体产生不利的影响。若死鸡没有在短时间内被发现，那么尸体将培养病菌，并不断地扩散传播，禽流感传播迅速并且感染率高，这样会给养殖场造成大量的损失。所以，及时地发现体征异常个体，防止禽流感病毒传播，并减少养殖人员在禽舍的工作时间具有十分重要的意义。国内在检测病死禽类方面的算法上有一些工作，中国专利申请号200810235531.3的专利技术申请公开了一种养鸡场死鸡探测系统及探测方法，其主要的处理算法为选取鸡的红鸡冠作为较为明显且敏感的特征。由于活鸡的鸡冠始终处于运动状态,因此在相同拍摄条件下连续几幅图像中的红鸡冠几乎不可能处于同一位置，而死鸡的鸡冠则静止不变。于是可根据不同图片中鸡冠出现的不同位置来判断鸡笼中鸡的生存状态。也有相关研究方法提出采用支持向量机(SVM)在小样本下优越的分类性能。根据活禽图片和死禽图片特征的不同,利用支持向量机(SVM)对它们分类。但从实际情况来看，有些品类的鸡没有鸡冠，采用鸡冠进行判断有一定的偶然性。并且以上算法需要人工提取特征，不同情况模型调整比较大，模型对于不同的禽类鲁棒性不强，在光照不充足的养殖场内，图像的识别效果会大幅减弱。最近几年深度学习尤其是卷积神经网络(ConvolutionalNeuralNetwork,CNN)在ImageNet等数据集中多次斩获桂冠，在物体检测领域的正确率已超过人类。由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，由卷积神经网络自动提取图像的特征，避免了人工设计特征的不准确性和预处理的复杂性，因而得到了更为广泛的应用。在目标检测算法领域大体分为两种结构，分别是以RCNN系列算法等为代表的两阶段(Two-Stage)方法和以YOLO系列算法为代表的一阶段(One-Stage)算法。它们分别在精度和速度上各有一定的优势。随着卷积神经网络在目标检测任务上的推进，它也开始被应用于更精细的图像处理任务如语义分割和实例分隔。
技术实现思路
针对现有检测方法的不足，本专利技术提供了一种大型养殖场体征异常禽类检测方法，该方法基于实例分割算法，能将检测到的实例进行有效的分割，通过将卷积神经网络引入到热成像图像的特征提取当中，通过卷积神经网络提取到特征后，分别对检测目标进行分类，定位和掩膜操作。该方法只需要将拍摄到的热成像图像输入到模型中，通过模型直接获取图像的处理结果，中间不需要人为的干预，实现了检测的智能化，极大地解放了人力。本专利技术的技术方案是，提出了一种大型养殖场体征异常禽类检测系统，它包括轮式机器人、热成像仪、工控机、图像处理与识别软件；所述轮式机器人用于搭载热成像仪和工控机；所述热成像仪用于拍摄大型养殖场的禽类形成热成像图像；所述工控机用于对拍摄得到的热成像图形进行处理，并完成目标检测，其中包括图像处理与识别软件，图像处理与识别软件中包括事先训练好的检测模型；搭载热像仪和工控机的轮式机器人在养殖场内做固定轨迹巡航，热成像仪将拍摄得到的数据传送给工控机，工控机对传输过来的数据进行处理，通过图像处理与识别软件及其中的检测模型来检测目标，最后输出检测结果。本专利技术还基于热成像图像和卷积神经网络，提出了一种大型养殖场体征异常禽类检测方法，它利用上述大型养殖场体征异常禽类检测系统，包括以下步骤：S1、数据采集预处理：使用热成像仪采集养殖场异常禽类数据集，将采集得到的数据集中剔除噪声污染严重的图像，然后根据热成像图像显示温度，对剩余的图像进行人工标注；将数据集中的目标分为两类，一类是体征异常类，另一类是死禽类；S2、采用深度残差网络(ResNet101)和全卷积神经网络(FPN)提取热成像图像的特征，并通过区域推荐网络(RPN)产生候选对象边框；S3、将经区域推荐网络处理后的特征图进行池化和像素对其(RoIAlign)操作，然后将4条通道上的感兴趣区域(ROI)进行融合进一步处理，然后分三个通道分别输出分类信息，边界框回归信息，掩码信息，采用多任务损失函数来训练神经网络；S4、利用训练好的模型对未参加训练的图片进行检测，形成检测集，并显示出检测效果。热成像仪优选采用菲利尔(FLIRONEPRO)热成像仪，剔除噪声图片是为了使得训练的模型更加鲁棒。标准是模糊图像，背景污染严重图像，这些会被剔除。进一步的，上述步骤S1中还包括对采集到的养殖场异常禽类数据集在目标分类之前进行扩充操作的步骤，所述扩充操作包括对图像进行翻转，旋转，随机裁剪，镜像等处理，以使数据集数量满足训练网络模型的需要。由于在养殖场中死鸡数量有限，而训练网络模型需要大量的数据集。所以根据采集到的热成像数据图像，首先对数据集进行扩充，采用对图像进行翻转，旋转，随机裁剪，镜像等方法将数据进行了扩充，具体采用Python脚本程序实现。进一步的，上述步骤S1中的检测目标分类是根据热成像图像中显示的温度进行：将体温在30℃以下的目标归于死禽类并进行人工标注；将30℃到35℃的目标归于体征异常类并进行人工标注。比如正常鸡的体温为40℃到42℃，本专利技术根据热成像图像中显示的温度，对检测目标进行划分，将检测温度远低于正常温度区间值的个体标注为体征异常目标。然后结合拍摄的室温，确定了上述低于30℃和30℃-35℃两个温度判别区间。更进一步的，上述人工标注采用labelme软件，采用多边形标注框对死禽类和体征异常类目标的位置进行勾勒，标注的相关信息自动保存为Json格式文件，并将Json格式文件转化为训练使用的数据集格式。进一步的，上述步骤S2中深度残差网络的主干网络为ResNet101，它依次包括输入层、1个独立卷积层、1个最大池化层和4种卷积残差模块，并对经4种卷积模块处理后的卷积层运用全卷积神经网络，即把高层次中低分辨率的特征图融合到低层次中高分辨率的特征图中，以使其具有更强的语义。进一步的，上述步骤S2中通过区域推荐网络产生候选对象边框的具体方法为：将处理得到的4种不同的特征图分别输入到区域推荐网络中，区域推荐网络将特征图的每一个像素设置多种不同尺寸和长宽比的检测框，即锚盒(Anchor)；然后为每一个锚盒(Anchor)分配一个二进制标签，用于区别前景和背景；同时对预测出的边界框进行回归操作，使得原始的锚盒(Anchor)经过映射得到与真实的标注框更加接近的回归窗口。更进一步的，上述步骤S2中还采用非极大值抑制(算法，将网络提出的建议进行排序，丢弃那些交并比(IOU)值大于某个预定义阈值的建议，以处理经过筛选后的前景中存在很多重叠锚盒(Anchor)的问题。还进一步的，上述步骤S3中进行感兴趣区域(ROI)融合后，从以下3个网络通道中输出信息：1)全连接预测类别(Class)；2)全连接预测矩形框(Box)；3)全卷积预测像素分隔(mask)进一步的，上述步骤S4中采取降低模型在每张图片中的检测目标数的参数配置，本文档来自技高网...

【技术保护点】
1.一种大型养殖场体征异常禽类检测系统，其特征在于，它包括：轮式机器人、热成像仪、工控机、图像处理与识别软件；所述轮式机器人用于搭载热成像仪和工控机；所述热成像仪用于拍摄大型养殖场的禽类形成热成像图像；所述工控机用于对拍摄得到的热成像图形进行处理，并完成目标检测，其中包括图像处理与识别软件，图像处理与识别软件中包括事先训练好的检测模型；搭载热像仪和工控机的轮式机器人在养殖场内做固定轨迹巡航，热成像仪将拍摄得到的数据传送给工控机，工控机对传输过来的数据进行处理，通过图像处理与识别软件及其中的检测模型来检测目标，最后输出检测结果。

【技术特征摘要】
1.一种大型养殖场体征异常禽类检测系统，其特征在于，它包括：轮式机器人、热成像仪、工控机、图像处理与识别软件；所述轮式机器人用于搭载热成像仪和工控机；所述热成像仪用于拍摄大型养殖场的禽类形成热成像图像；所述工控机用于对拍摄得到的热成像图形进行处理，并完成目标检测，其中包括图像处理与识别软件，图像处理与识别软件中包括事先训练好的检测模型；搭载热像仪和工控机的轮式机器人在养殖场内做固定轨迹巡航，热成像仪将拍摄得到的数据传送给工控机，工控机对传输过来的数据进行处理，通过图像处理与识别软件及其中的检测模型来检测目标，最后输出检测结果。2.一种大型养殖场体征异常禽类检测方法，其特征在于，它使用如权利要求1所述的大型养殖场体征异常禽类检测系统，包括以下步骤：S1、数据采集预处理：使用热成像仪采集养殖场异常禽类数据集，在采集得到的数据集中剔除噪声污染严重的图像，对剩余的图像进行人工标注；然后根据热成像图像显示温度，将数据集中的目标分为两类，一类是体征异常类，另一类是死禽类；S2、采用深度残差网络和全卷积神经网络提取热成像图像的特征，并通过区域推荐网络产生候选对象边框；S3、将经区域推荐网络处理后的特征图进行池化和像素对齐(RoIAlign)操作，然后将经上述步骤S2中全卷积神经网络4种卷积残差模块处理获得的4条通道上的感兴趣区域(ROI)进行融合处理，然后分三个通道分别输出分类信息，边界框回归信息，掩码信息，采用多任务损失函数来训练神经网络；S4、利用训练好的模型对未参加训练的图片进行检测，形成检测集，并显示出检测效果。3.如权利要求2所述的大型养殖场体征异常禽类检测方法，其特征在于，所述步骤S1中还包括对采集到的养殖场异常禽类数据集在目标分类之前进行扩充操作，所述扩充操作包括对图像进行翻转，旋转，随机裁剪，镜像等处理，以使数据集数量满足训练网络模型的需要。4.如权利要求2所述的大型养殖场体征异常禽类检测方法，其特征在于，所述步骤S1中的检测目标分类是根据热成像图像中显示的温度进行：将体温在30℃以下的目标归于死禽类并进行人工标注；将...

【专利技术属性】
技术研发人员：郑吉星，胡清华，马锐，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12