一种基于堆叠沙漏网络的群养猪体尺测量方法技术

本发明专利技术提供了一种基于堆叠沙漏网络的群养猪体尺测量方法。首先将初始样本库输入基于掩码区域的卷积神经网络，得到感兴趣区域和掩膜，两者进行融合处理，进而将图像中多目标猪体进行分离，建立新的样本库；将新的样本库输入堆叠沙漏网络获得猪体关节点；接着设计基于支持向量机分类算法的关节点筛选方法，筛选出适合体尺测量的关节点；最后利用筛选后的关节点对猪体尺进行测量。该方法结合计算机视觉技术、检测技术与养殖技术等领域，避免现有方法导致的动物应激反应、猪舍环境复杂、猪只遮挡、粘连、猪体姿态不理想等情况，提高了猪体尺测量的检测效率和准确率。量的检测效率和准确率。量的检测效率和准确率。

【技术实现步骤摘要】
一种基于堆叠沙漏网络的群养猪体尺测量方法


[0001]本专利技术涉及计算机视觉领域、检测领域以及养殖
，具体为一种基于堆叠沙漏网络的群养猪体尺测量方法。

技术介绍

[0002]现代养猪场趋向于智能化、自动化的发展方向，这就需要现代化智能方法来管理群养模式下的猪只。猪的体尺可以反映猪的生长发育状况，也是种猪选育、肉质评价的重要指标。在我国现阶段内，群养猪的体尺测量方法主要包括人工测量和传统机器学习方法。其中，采用人工测量方法对猪体进行直接接触，会导致猪产生应激反应，测量效率低下，人畜之间疾病传播等问题。基于传统机器学习方法的猪体尺测量，大多是对猪的静态图像进行轮廓提取，然后利用基于包络线的凹陷结构的拐点提取算法找到猪体关键角点，从而计算猪的体尺数据，但是这种方法要求采集的猪体图像完整、背部笔直、无歪头。在实际图像采集过程中，由于猪的生活习性，很难采集到理想图像，并且群养状态下的猪体容易相互遮挡、粘连，这种方法难以应用于群养猪场。
[0003]关节点检测来自于人体姿态检测，人体关节点检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测以及自动驾驶等。近年来，随着深度学习技术的发展，人体关节点检测效果不断提升，已经开始广泛应用于计算机视觉的相关领域。堆叠沙漏网络是关节点检测技术的一种，其将轻量级的沙漏网络按照端到端的方式进行堆叠，不仅能在不同尺度上提取特征，而且可以获取关节点之间的空间关系。
[0004]本专利技术针对复杂环境下的群养猪，利用实例分割技术分离图像中的猪体，基于堆叠沙漏网络获取用于体尺测量的猪体关节点，并且设计关节点筛选算法对关节点检测结果进行筛选后再进行猪体尺测量，部分解决了现有技术中在猪体尺测量中所存在的缺陷。

技术实现思路

[0005]为解决上述问题，本专利技术公开了提供一种基于堆叠沙漏网络的群养猪体尺测量方法，本专利技术要解决的技术问题：一是对群养状态下的猪体进行分离；二是基于堆叠沙漏网络获取猪体关节点；三是对猪体关节点检测结果进行筛选；四是基于筛选后的关节点检测结果提供一种非接触式体尺测量方法。
[0006]为解决上述技术问题，达到本专利技术的目的，本专利技术采取的技术方案如下：
[0007]一种基于堆叠沙漏网络的群养猪体尺测量方法，包括以下步骤：
[0008]S1、在群养猪舍环境下得到猪只图像的初始样本库，将初始样本库输入基于掩码区域的卷积神经网络(Mask Region
‑
based Convolutional Neural Network,Mask R
‑
CNN)，提取通过Mask R
‑
CNN的区域建议框网络得到的感兴趣区域(Region of Interest,RoI)和掩膜网络得到的掩膜(Mask)，两者进行融合处理，将图像中多目标猪体进行分离，建立新的样本库。
[0009]S2、将新的样本库输入堆叠沙漏网络(Stacked Hourglass Network,SHN)获得猪
体关节点，所述堆叠沙漏网络以残差模块作为基础模块，可以提取不同尺度的特征，通过对4个沙漏网络进行堆叠，可以更好地获取特征点之间的空间关系。
[0010]S3、设计基于支持向量机(Support Vector Machine,SVM)分类算法的关节点筛选方法，通过给定不同特征的猪体关节点样本，寻找一个超平面对样本进行分类，进而筛选出适合进行体尺测量的关节点样本。
[0011]S4、构建体尺测量模型，利用关节点筛选结果得到猪体五个关节点，对猪的体尺数据进行计算。
[0012]进一步，所述步骤S1的具体过程如下：
[0013]S11、在群养猪舍内，在猪舍正上方安装深度相机，获取俯视角度的深度图像；对获得的深度图像，用中值滤波方法去除大量干扰噪声，用限制对比度自适应直方图均衡化进行增强，得到原始样本库；用图像标注工具LabelMe对初始样本库中图像的猪体外包围框进行标注，获得初始训练样本集。
[0014]S12、将初始样本库输入Mask R
‑
CNN，所述Mask R
‑
CNN是在Faster R
‑
CNN的基础上改进的两阶段实例分割算法，能同时实现多目标分类、目标检测和掩膜分割。
[0015]S13、提取通过Mask R
‑
CNN的区域建议框网络得到的RoI和掩膜网络得到的Mask，两者进行融合处理，进而将图像中多目标猪只进行分离，建立新的样本库。
[0016]进一步，所述步骤S12中的Mask R
‑
CNN是两阶段的目标检测网络：第一阶段通过构建特征金字塔网络进行多尺度特征融合，接着输入区域建议框网络中生成目标对象的RoI，实现对群养猪舍下的猪体进行分离；第二阶段使用感兴趣区域对齐(RoI Align)后输入全连接层获得分类和边框回归的结果，同时Mask R
‑
CNN还为每个RoI输出一个猪只的二进制Mask，将猪只的RoI和Mask作为构建新的样本库的基础。
[0017]进一步，所述步骤S12中的Mask R
‑
CNN的主干特征提取网络由深度残差网络resnet101和特征金字塔网络构成，猪只图像通过主干特征提取网络可以得到五个不同尺度大小的特征层，将五个特征层依次输入到区域建议框网络预测猪只的候选框坐标，接着用得到的候选框对输入到RoI Align层的特征图进行截取并固定尺寸，得到固定尺寸大小的RoI。最后，经过全连接层得到了Mask R
‑
CNN的三个分支的输出，其中两个分支进行分类和边框回归操作，另一个分支是在已经得到包含猪只的检测框内，用一个全卷积网络来对检测框内像素点进行分类，并通过上采样得到最终的猪只Mask。
[0018]进一步，所述步骤S13的RoI和Mask指的是通过Mask R
‑
CNN从群养猪图像中分离的猪只RGB RoI图像和与其匹配的二值Mask图像。将猪只的二值Mask图像进行三通道复制扩充之后与RGB RoI图像进行点乘操作，得到的猪只Mask RGB图像实现了背景抠除。将Mask RGB图像固定尺寸大小为256
×
256像素(尺寸不足进行零填充)，将其进行90度、180度、270度、水平镜像和垂直镜像扩增后得到新的样本库。
[0019]进一步，所述步骤S2输入堆叠沙漏网络之前，将新的样本库进行训练集、验证集和测试集划分。用标注软件LabelMe对训练集中图像的猪只外包围框，以及左耳根、右耳根、左背部、右背部、尾根五个关节点进行标注，所述的训练样本集包括图像数据集和.txt格式的标签文件。
[0020]进一步，所述步骤S2中的堆叠沙漏网络由4个沙漏网络堆叠而成，所述每个沙漏网络的结构是左右对称的，采用残差模块作为基础模块，可以提取猪只图像不同尺度的特征，
通过卷积层和池化层的堆叠使前一个沙漏网络模块学习到的猪只图像的语义信息作为下一个沙本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于堆叠沙漏网络的群养猪体尺测量方法，其特征在于：包括以下步骤：步骤S1、在群养猪舍环境下得到猪只图像的初始样本库，将初始样本库输入Mask R
‑
CNN，提取通过Mask R
‑
CNN的区域建议框网络得到的RoI和掩膜网络得到的Mask，两者进行融合处理，将图像中多目标猪体进行分离，建立新的样本库；步骤S2、将S1中构建的新的样本库输入堆叠沙漏网络获得猪体关节点，所述堆叠沙漏网络以残差模块作为基础模块，可以提取不同尺度的特征，通过对4个沙漏网络进行堆叠，可以更好地获取关节点之间的空间关系。步骤S3、设计基于SVM分类算法的关节点筛选方法，通过给定不同特征的猪体关节点样本，寻找一个超平面对样本进行分类，进而筛选出适合进行体尺测量的关节点样本。步骤S4、构建体尺测量模型，利用关节点筛选结果得到猪体五个关节点，对猪的体尺数据进行计算。2.根据权利要求1所述的一种基于堆叠沙漏网络的群养猪体尺测量方法，其特征在于：所述步骤S1的具体步骤如下：步骤S11、在群养猪舍内，在猪舍正上方安装深度相机，获取俯视角度的深度图像；对获得的深度图像，用中值滤波方法去除大量干扰噪声，用限制对比度自适应直方图均衡化进行增强，得到原始样本库；用图像标注工具LabelMe对初始样本库中图像的猪体外包围框进行标注，获得初始训练样本集；步骤S12、将初始样本库输入Mask R
‑
CNN，所述Mask R
‑
CNN是在Faster R
‑
CNN的基础上改进的两阶段实例分割算法，能同时实现多目标分类、目标检测和掩膜分割；步骤S13、提取通过Mask R
‑
CNN的区域建议框网络得到的RoI和掩膜网络得到的Mask，两者进行融合处理，进而将图像中多目标猪只进行分离，建立新的样本库。3.根据权利要求2所述的一种基于堆叠沙漏网络的群养猪体尺测量方法，其特征在于：所述步骤S12中的Mask R
‑
CNN是两阶段的目标检测网络：第一阶段通过构建特征金字塔网络进行多尺度特征融合，接着输入区域建议框网络中生成目标对象的RoI，实现对群养猪舍下的猪体进行分离；第二阶段使用感兴趣区域对齐(RoI Align)后输入全连接层获得分类和边框回归的结果，同时Mask R
‑
CNN还为每个RoI输出一个猪只的二进制Mask，将猪只的RoI和Mask作为构建新的样本库的基础。4.根据权利要求2所述的一种基于堆叠沙漏网络的群养猪体尺测量方法，其特征在于：所述步骤S12中的Mask R
‑
CNN的主干特征提取网络由深度残差网络resnet101和特征金字塔网络构成，猪只图像通过主干特征提取网络可以得到五个不同尺度大小的特征层，将五个特征层依次输入到区域建议框网络预测猪只的候选框坐标，接着用得到的候选框对输入到RoI Align层的特征图进行截取并固定尺寸，得到固定尺寸大小的RoI；最后，经过全连接层得到了Mask R
‑
CNN的三个分支的输出，其中两个分支进行分类和边框回归操作，另一个分支是在已经得到包含猪只的检测框内，用一个全卷积网络来对检测框内像素点进行分类，并通过上采样得到最终的猪只Mask。5....

【专利技术属性】
技术研发人员：孙立博，唐婷，秦文虎，瞿宇珂，
申请(专利权)人：东南大学，
类型：发明
国别省市：