基于改进Mask-RCNN网络的重叠烟丝图像分割方法及装置制造方法及图纸

本发明专利技术公开了基于改进Mask

【技术实现步骤摘要】
基于改进Mask
‑
RCNN网络的重叠烟丝图像分割方法及装置


[0001]本专利技术涉及烟草图像处理
，特别涉及一种基于改进Mask
‑
RCNN网络的重叠烟丝图像分割方法及装置。

技术介绍

[0002]世界卫生组织《烟草控制框架公约(FCTC)》第9条和第10条的实施准则中要求烟草制品的生产商和进口商必须向政府当局披露烟草制品的成分，包括烟丝的类型和每种烟丝类型的掺配比例。烟草生产商也被要求具备烟丝成分检测与测量的设备及方法。卷烟中烟丝混料(叶丝、梗丝、膨胀叶丝和再造烟丝)配比对卷烟烟气特征、物理指标和感官质量具有重要的影响。因此，高精度、高效的烟丝类型识别及组分测定对于保障烟丝掺配工艺质量、同质化生产、考查配方设计与烟草制品真伪鉴别等方面，具有非常重要的意义。
[0003]目前，针对烟丝组分检测已被广泛研究，主要分为人工和仪器检测法。人工分拣法是通过人眼观察将配方烟丝中的叶丝、梗丝、膨胀叶丝、再造烟叶丝逐一挑选出来，称量后计算出各类烟丝的比例，该方法检测效率低，受主观因素影响大。仪器检测法主要包括烟丝RGB分析法、高光谱成像分析法、近红外光谱分析法、热分析技术、香烟烟气法、无水乙酮法和机器视觉法等。
[0004]其中，寇霄腾等测定不同比例的叶丝和梗丝制成的烟末的RGB均值，建立的梗丝掺配比例与RGB均值多项式回归模型,提出了一种基于RGB图像处理法预测烟丝的梗丝组分比例测定方法。梅吉帆等以样本高光谱图像的所有像素点光谱数据进行面对像素的组分判别，以样本所有像素点的平均光谱数据进行面对样本的组分判别，提出了一种基于高光谱成像技术的烟丝组分测定方法。李瑞丽等采集不同组分比例烟丝样品的近红外光谱数据，通过PLS法建立红外光谱模型，提出了一种基于红外光谱分析法预测烟丝掺配均匀性的测定方法。张亚平等采用热重分析法测算不同时间点所取配方烟丝的热失重反应转化率曲线的相似度,根据相似度间的变异系数建立了计算烟丝掺配均匀度的方法。叶宏音等分析比较不同混配方式下的主流烟气指标、烟丝常规化学成分，得出烟丝组分掺配差异性。林慧等利用膨胀烟丝在无水乙酮下漂浮率远大于其他类型烟丝的特性，得出了膨胀叶丝的组分比例判定法。董浩等通过机器视觉的方法获取烟丝图像，利用不同类型的烟丝图像在RGB、HSV颜色空间像素方差值、对比度、熵、角二阶矩和四个纹理特征值等，建立特征数据库及相关性方程，进行烟丝类型判定。但这些检测方法存在有损检测、测试周期较长、检测条件苛刻、检测烟丝类型不全面等不同问题。
[0005]近年来，基于机器视觉的深度学习方法提供了先进、高效的图像分类、目标检测和图像分割等图像处理解决方案。目前，基于机器视觉的深度学习方法已在烟丝图像分类方面开展了一定的研究工作。高震宇等针对各类烟丝的结构特征差异，提出了一种基于卷积神经网络的烟丝识别方法，但测试集正确率与训练集正确率差异较大，模型在一定程度上出现“过拟合”现象，导致模型的泛化能力较低。钟宇等以残差神经网络为基础建立识别模型，并对模型的预训练权值、优化算法、学习率等进行优化。结果表明训练得到的模型的准
确率及召回率均高于96％。牛群峰等以ResNet50为网络主框架，通过增加多尺度结构及更改网络的stage层block堆叠次数和焦点损失函数损失函数，进行网络优化。实验结果表明分类准确率为96.56％。
[0006]在上述的烟丝图像分类方法的研究中，均是对掺配烟丝中单根烟丝分析图像特征，完成烟丝类别识别。但是在实际质检线上，掺配烟丝必然会存在重叠烟丝和堆叠烟丝的现象。重叠烟丝和堆叠烟丝的烟丝图像的目标检测和分割方法少有研究，但是重叠烟丝和堆叠烟丝的类型识别与组分测定直接影响到了烟丝组分掺配比例的计算精度，具有非常重要的研究必要性。
[0007]目前，基于机器视觉的重叠图像的目标检测与分割方法已在一些领域开展了深入研究。DandanWang等针对果园中的苹果存在的重叠和遮挡现象、苹果底色多变以及未成熟苹果和背景叶子之间的相似性，实现精准分割。以Mask Rcnn为网络主架构，将注意力机制添加到主干网络中以增强特征提取能力，实现分割mAP为91.7％。YangYu等针对存在重叠现象、隐藏现象以及不同光照条件下的草莓，实现精准的分割以及采摘点定位。整体算法架构为Mask Rccn，配合草莓采摘点视觉定位算法，实现精准的草莓采摘，平均检测准确率为95.78％。Jiahao Qi等针对存在重叠和密集遮挡现象的机舱辅助设备，以Ssd为网络架构，使用焦点损失函数平衡数据集中的正负样本以提高模型对密集遮挡和重叠的机舱设备检测效果，平均识别精度(mAP)达到78.95％。DaizhouWen等针对存在多个气泡重叠的气液气泡流，以CNN为主要架构对两帧检测气泡之间的关系进行关联，进行精准分割，达到85％的准确率。HaoWu等针对存在重叠现象的免疫组化(IHC)阳性细胞，使用residual U
‑
Net网络对重叠图像进行识别，能够检测出86.04％的重叠细胞。
[0008]在重叠烟丝目标检测与分割任务实现方面，由于单根烟丝尺寸小、外形形态各异、微小的烟丝具有复杂的物理和形态特征，尤其是膨胀叶丝和叶丝之间在宏观尺度上特征差异极不明显，这就给基于机器视觉的单根烟丝识别与分类带来了一定的难度。进一步地，四种不同的烟丝重叠类型就达到24种，自身品种的自缠绕更容易和重叠类型分不开，这就给重叠烟丝目标检测与分割任务以及后续的组分面积计算带来巨大的挑战。

技术实现思路

[0009]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于改进Mask
‑
RCNN网络的重叠烟丝图像分割方法及装置。
[0010]为实现上述目的，本专利技术采取的技术方案为：
[0011]第一方面，本专利技术实施例提供一种基于改进Mask
‑
RCNN网络的重叠烟丝图像分割方法，包括以下步骤：
[0012]获取待检测的烟丝图像；
[0013]通过预先训练得到的改进Mask
‑
RCNN网络检测模型对所述烟丝图像进行识别与分割；所述改进Mask
‑
RCNN网络检测模型采用DenseNet121和U
‑
FPN网络，并设置RPN提议网络中的锚点优化参数；
[0014]根据所述改进Mask
‑
RCNN网络检测模型的检测结果，确定所述烟丝图像中烟丝的种类。
[0015]进一步地，在所述通过预先训练得到的改进Mask
‑
RCNN网络检测模型对所述烟丝
图像进行识别与分割之前，该方法还包括：
[0016]通过烟丝震动实验获取多种类型的重叠烟丝图像；所述重叠烟丝图像由叶丝、梗丝、膨胀叶丝和再造烟丝的至少任意两种按照不同顺序重叠构成；
[0017]将所述多种类型的重叠烟丝图像进行opencv算法处理，获得裁剪后的图像；
[0018]实验图像标注工具对裁剪后的重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Mask
‑
RCNN网络的重叠烟丝图像分割方法，其特征在于，包括以下步骤：获取待检测的烟丝图像；通过预先训练得到的改进Mask
‑
RCNN网络检测模型对所述烟丝图像进行识别与分割；所述改进Mask
‑
RCNN网络检测模型采用DenseNet121和U
‑
FPN网络，并设置RPN提议网络中的锚点优化参数；根据所述改进Mask
‑
RCNN网络检测模型的检测结果，确定所述烟丝图像中烟丝的种类。2.根据权利要求1所述的一种基于改进Mask
‑
RCNN网络的重叠烟丝图像分割方法，其特征在于，在所述通过预先训练得到的改进Mask
‑
RCNN网络检测模型对所述烟丝图像进行识别与分割之前，该方法还包括：通过烟丝震动实验获取多种类型的重叠烟丝图像；所述重叠烟丝图像由叶丝、梗丝、膨胀叶丝和再造烟丝的至少任意两种按照不同顺序重叠构成；将所述多种类型的重叠烟丝图像进行opencv算法处理，获得裁剪后的图像；实验图像标注工具对裁剪后的重叠图像进行标签设定，生成对应的蒙版图像作为训练数据集；采用所述训练数据集对改进的Mask
‑
RCNN网络迭代训练，获得改进Mask
‑
RCNN网络检测模型。3.根据权利要求2所述的一种基于改进Mask
‑
RCNN网络的重叠烟丝图像分割方法，其特征在于，所述通过预先训练得到的改进Mask
‑
RCNN网络检测模型对所述烟丝图像进行识别与分割，包括：利用所述DenseNet121和U
‑
FPN网络提取所述烟丝图像对应的图像特征；将所述图像特征作为提议网络RPN的输入，生成一系列目标候选框；将所述一系列目标候选框，通过FC和全卷积网络FCN，完成重叠烟丝图像的识别与分割，输出分割图像。4.根据权利要求3所述的一种基于改进Mask
‑
RCNN网络的重叠烟丝图像分割方法，其特征在于，利用所述DenseNet121和U
‑
FPN网络提取所述烟丝图像对应的图像特征，包括：利用所述DenseNet121网络中的一个卷积层、四个特征提取层，提取所述烟丝图像的特征信息；并对每个特征提取层所提取到的特征信息进行池化操作，得到四个特征返回值；将所述四个特征返回值分别进行不同的降采样和横向连接，生成四个不同尺度的第一特征图；将所述四个不同尺度的第一特征图，分别对应输入U
‑
FPN网络的四个特征层进行融合，得到所述烟丝图像对应的图像特征。5.根据权利要求4所述的一种基于改进Mask
‑
RCNN网络的重叠烟丝图像分割方法，其特征在于，将所述四个不同尺度的第一特征图，分别对应输入U

【专利技术属性】
技术研发人员：王莉，贾昆明，王涛，陈瑞召，朱雯路，牛阳，牛群峰，
申请(专利权)人：河南工业大学，
类型：发明
国别省市：