基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法技术

本发明专利技术提供的基于Mask R‑CNN和Soft‑NMS融合的群养粘连猪实例分割方法，包括建立群养粘连猪视频和图像数据集；构建基于Mask R‑CNN的分割网络，包括基础骨干网络、RPN网络和三分支网络；通过基础骨干网络对图像数据集进行多尺度特征的提取，得到特征映射；基于特征映射，RPN生成感兴趣区域RoIs，并对RoIs进行目标分类以及回归，利用Soft‑NMS去除冗余的检测框，获取最好的目标RoIs；对每个目标RoIs进行双线性插值操作，将每个RoIs处理为相同大小；利用三分支网络实现对相同大小的RoIs进行检测、分类和分割操作。本发明专利技术提供的群养粘连猪实例分割方法，针对猪只重叠、粘连及其他复杂环境导致目标猪只漏检问题，在基本的Mask R‑CNN框架上采用Soft‑NMS算法代替传统的NMS算法，能有效降低粘连猪的漏检率。

Segmentation of conglutinated pigs based on the fusion of mask r-cnn and soft NMS

【技术实现步骤摘要】
基于MaskR-CNN和Soft-NMS融合的群养粘连猪实例分割方法
本专利技术涉及农业计算机视觉的猪实例分割
，更具体的，涉及一种基于MaskR-CNN和Soft-NMS融合的群养粘连猪实例分割方法。
技术介绍
猪肉是人们日常生活中常见的肉类之一。近年来，在生猪规模化养殖过程中，提升猪肉产量，将人工智能、图像识别与处理技术用于生猪养殖与管理，实现对生猪进行各类指标的自动测量。同时，对生猪的生长和健康情况进行自动监控，将大大减少养殖成本，实现更加高效信息化的生猪自动养殖。在群养生猪自然场景下，实现粘连猪自动实例分割对生猪高效科学规模化养殖具有重要的意义。在群养猪检测、分类与分割方面，目前主要采用传统的机器学习方法和深度卷积神经网络。公开号CN104252709B公开一种复杂背景下俯视群养猪多目标前景检测方法，利用预测机制的混合高斯模型前景检测算法获取前景目标。公开号CN105654141A公开了基于Isomap和SVM算法的俯视群养猪个体识别方法，利用Isomap算法做颜色、纹理和形状特征融合，然后采用优化核函数的支持向量机进行猪本文档来自技高网...

【技术保护点】
1.基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法，其特征在于，包括以下步骤：/nS1：建立自然场景下的群养粘连猪视频和图像数据集；/nS2：构建基于Mask R-CNN的分割网络，包括基础骨干网络、区域生成网络RPN和三分支网络；所述RPN具体表示为：Region Proposal Network；/nS3：通过基础骨干网络对图像数据集进行多尺度特征的提取，得到对应不同尺寸的特征映射；/nS4：基于特征映射，RPN生成感兴趣区域RoIs，并对RoIs进行目标分类以及回归，利用Soft-NMS去除冗余的检测框，获取最好的目标RoIs；/nS5：采用RoIAlign网络对...

【技术特征摘要】
1.基于MaskR-CNN和Soft-NMS融合的群养粘连猪实例分割方法，其特征在于，包括以下步骤：
S1：建立自然场景下的群养粘连猪视频和图像数据集；
S2：构建基于MaskR-CNN的分割网络，包括基础骨干网络、区域生成网络RPN和三分支网络；所述RPN具体表示为：RegionProposalNetwork；
S3：通过基础骨干网络对图像数据集进行多尺度特征的提取，得到对应不同尺寸的特征映射；
S4：基于特征映射，RPN生成感兴趣区域RoIs，并对RoIs进行目标分类以及回归，利用Soft-NMS去除冗余的检测框，获取最好的目标RoIs；
S5：采用RoIAlign网络对每个RoIs进行双线性插值操作，将每个RoIs处理为相同大小；
S6：利用三分支网络对相同大小的RoIs进行检测、分类和分割操作，实现对群养粘连猪实例的分割。


2.根据权利要求1所述的基于MaskR-CNN和Soft-NMS融合的群养粘连猪实例分割方法，其特征在于，所述步骤S1具体为：
S11：采集自然场景下的猪场数据，包括俯视和正面视频与图像数据，所述的图像数据包括猪体光照不均、严重遮挡和重叠三种情况下的数据；
S12：在视频与图像数据中选择群养猪站立姿态中的每个猪个体，采用Labelme软件进行实例分割标注，得到标注数据集；
S13：根据标注数据集，构建训练集、验证集和测试集；
S14：对训练集中的图像进行亮度调节、水平翻转、垂直翻转和对比度增强四种操作扩充数据集。


3.根据权利要求2所述的基于MaskR-CNN和Soft-NMS融合的群养粘连猪实例分割方法，其特征在于，所述步骤S2具体为：
S21：利用残差网络ResNet101和多尺度特征网络FPN，构建基础骨干网络，用于图像尺度特征的提取；
S22：构建基于区域建议RPN网络，用于RoIs的分类与回归，利用Soft-NMS去除冗余的检测框,获取最好的目标RoIs；
S23：构建三分支网络，用于RoIs的检测、分类和分割操作。


4.根据权利要求3所述的基于MaskR-CNN和Soft-NMS融合的群养粘连猪实例分割方法，其特征在于，在所述步骤S3，基础骨干网络对图像数据集进行多尺度特征的提取的过程中，ResNet101网络包括5个不同阶段，得到对应数据集图像的不同尺度特征映射[C1,C2,C3,C4,C5]；将特征映射[C1,C2,C3,C4,C5]输入多尺度特征网络FPN中，得到新的特征映射[P2,P3,P4,P5]。


5.根据权利要求4所述的基于MaskR-CNN和Soft-NMS融合的群养粘连猪实例分割方法，其特征在于，所述步骤S4包括以下步骤：
S41：基于特征映射，RPN生成感兴趣区域RoIs；
S42：RPN网络利用3*3滤波器对特征映射[P2,P3,P4,P5]实现一次卷积操作，然后连接两次1x1全连接操作，分别实现RoIs的分类和回归操作，具体为：
分类：在RPN网络中，采用二分类算法将RoIs分为前景和背景两部分，其分类的损失函数为：
LRPN_class＝-(ytrue*log(ypre)+(1-ytr...

【专利技术属性】
技术研发人员：涂淑琴，梁云，刘浩锋，黄健，庞婧，刘姝慧，庄楠，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：广东;44