基于改进掩膜的MaskR-CNN矿物颗粒识别以及粒度检测方法技术

本发明专利技术公开了一种基于改进掩膜的Mask R

【技术实现步骤摘要】
基于改进掩膜的Mask R
‑
CNN矿物颗粒识别以及粒度检测方法


[0001]本专利技术涉及图像识别
，更具体地说，涉及基于改进掩膜的Mask R
‑
CNN矿物颗粒识别以及粒度检测方法，用于对颗粒物进行分类识别和测量尺寸。

技术介绍

[0002]矿物颗粒作为加工过程中一个重要的表现形式，识别矿物颗粒的分类可以为矿物分析测定提供帮助，并且可以反映出颗粒物加工工艺的精度。在矿物分析领域，可以根据颗粒物表面特征进行分类，进一步粗略分析矿物的成分。在矿物颗粒加工中，可以根据颗粒物在图像上的尺寸计算实际的粒度，为加工提供建议。对于矿物颗粒的判断通常是利用人工的方法，根据经验对矿物类别进行判断，并粗略估计矿物颗粒的尺寸。一些情况下需要用到机械装置或是筛网进行接触式测量，这样效率低下，并且精度容易受测量状态的影响。
[0003]随着机器视觉的发展，对物体进行检测的通用检测模型被广泛的关注与应用。传统的图像检测方法经常被用来处理颗粒物的识别，最常用的是利用分水岭变换进行分割，其是把图像分割成独立的封闭区域，再根据各个区域大小进行颗粒物粒度分析。分水岭算法在不同环境配置不同的参数时容易出现欠分割和过分割。
[0004]随着机器学习的发展，深度神经网络有着巨大的进步。语义分割网络被用到矿物颗粒的分割检测中，利用网络对图像上每个像素进行分类，可以分辨出属于颗粒物的像素，进而把颗粒物像素分割出来。但是语义分割网络不能具体的分割出每个单独颗粒物，仍然需要后处理来区分个例。对于此实例分割网络可以较好的完成对每个颗粒物的分割，但是实例分割网络预测的物体的掩膜精度并不高，用在检测整体颗粒物粒度时会出现较大的偏差。
[0005]综上，利用深度学习检测模型用于对颗粒物进行测量会出现以下两点问题：首先是利用深度学习模型进行颗粒物的识别会产生漏检，第二是利用深度学习模型检测到的物体掩膜不够准确，主要表现的原因就是分割得到的物体掩膜是由特征层决定的；而网络的特征层通常为固定尺寸，并且相对于原图有着放缩的尺寸误差。
[0006]经检索，中国专利申请号202111027701.0，申请日2021年9月2日，专利技术创造名称为：基于Mask R
‑
CNN的淀粉颗粒识别方法；该申请案基于热台
‑
偏光显微观察的淀粉糊化图像数据采集，通过算法依次进行淀粉糊化数据集构建，Mask R
‑
CNN模型构建及训练，淀粉糊化过程颗粒检测，淀粉颗粒数量统计。其中，算法由淀粉图像二值化算法、淀粉糊化数据集构建算法、神经网络训练算法、淀粉颗粒检测算法等构成。但该申请案是利用Mask R
‑
CNN对淀粉糊化进行检测，与关于矿物颗粒的识别和粒度检测存在本质区别。

技术实现思路

[0007]1.专利技术要解决的技术问题
[0008]本专利技术提供了一种基于改进掩膜的Mask R
‑
CNN矿物颗粒识别以及粒度检测方法，本专利技术的目的在于提高颗粒物识别及粒度检测的准确度。且本专利技术通过利用深度学习模型
的识别效果，结合图像处理的较高精度的测量方法实现了对批量矿物颗粒的识别与粒度测量。
[0009]2.技术方案
[0010]为达到上述目的，本专利技术提供的技术方案为：
[0011]本专利技术的基于改进掩膜的Mask R
‑
CNN矿物颗粒识别以及粒度检测方法，包括以下步骤：
[0012]步骤s1：采集矿物颗粒物图像，标注数据并进行数据增强，制作数据集；
[0013]步骤s2：将图像经过主干网络和特征金字塔网络提取特征，然后通过轻量级的区域建议网络，得到初始的物体建议框，根据初始建议框进一步的分类和回归得到最终预测框，并根据预测框使用语义分割得到预测掩膜；
[0014]步骤s3：设置训练过程的超参数并对网络进行训练，对图像进行预测，得到位置、种类和预测掩膜，并对模型效果进行评价；
[0015]步骤s4：对网络输出的掩膜进行优化，使输出掩膜的边缘为实际颗粒物的边缘；
[0016]步骤s5：对图像采集系统进行矫正，利用获得的掩膜计算颗粒物的实际面积、粒径以及统计颗粒物对应的尺寸分布。
[0017]更进一步地，步骤s1将图像从RGB格式转换到HSV格式，通过对HSV不同通道进行调整，采用不同的图像变换方法随机采用不同方式组合变换，把图像扩充成多组图像，所述调整包括对图像的亮度、饱和度、色调、不均匀光照、阴影生成、亮点生成、随机噪声生成、图像平滑和图像滤波进行调整。
[0018]更进一步地，步骤s2使用通道注意力机制加强的DenseBlock作为主干网络，该主干网络由多层卷积层组成，除第一层之外的卷积层是把该层之前所有的卷积层的输出拼接作为输入，表示为N＝Concatenate(M1,M2,
…
,M
i
,
…
,M
n
)，其中M
i
为模块中第i层的输入，也是第i
‑
1层的输出，由M
i
层经过卷积得到M
i+1
层；卷积层表示为M
i+1
＝Conv2D(M
i
)。
[0019]更进一步地，步骤s2中通道注意力机制是通过全局池化选取特征层中不同通道的值然后经过一维全连接层，接着将全连接层与特征层的值进行相乘突出相应通道；全局池化包括全局最大池化和全局平均池化，经过全局池化层之后，两边分别接入神经元数目为h的全连接层，把两个全连接层的输出结果进行Add相加，得到全连接层；利用得到的全连接层与DenseBlock的输出相乘，全连接层中的参数与对应通道的特征层进行相乘，增强通道的特征层。
[0020]更进一步地，步骤s2中，经过主干网络之后，设计特征金字塔使用密集连接形式，把主干特征网络中不同尺度的特征层进行不同尺度的采样，把采样后的特征层拼接融合作为输出的特征层；通过特征金字塔网络把高层的特征层与低层的特征层进行融合，得到不同维度的融合特征层；把特征金字塔网络中的融合特征层输入到区域建议网络，区域建议网络把特征图上的像素点作为特征点，在每个特征点使用长宽不同锚框作为先验物体框的位置；区域建议网络根据输入的特征层得到一组包含物体位置与置信度的数组，把数组中的位置与置信度进行解码得到候选位置，选取置信度较高的候选位置；然后利用RoIAlign获得候选位置的特征图作为感兴趣区域，对感兴趣区域使用卷积网络输出物体类别与物体位置，使用物体的位置裁剪对应特征金字塔中的特征层并进行语义分割得到输出的掩膜。
[0021]更进一步地，步骤s4基于Mask R
‑
CNN的检测效果，对输出的掩膜进行修改，使输出
掩膜的边缘为实际颗粒物的边缘，具体地：
[0022]1)对步骤s1所述的图像进行标注，利用标注的标签，设置超参数对模型进行训练；
[0023]2)根据输入的图像得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进掩膜的Mask R
‑
CNN矿物颗粒识别以及粒度检测方法，其特征在于，包括以下步骤：步骤s1：采集矿物颗粒物图像，标注数据并进行数据增强，制作数据集；步骤s2：将图像经过主干网络和特征金字塔网络提取特征，然后通过轻量级的区域建议网络，得到初始的物体建议框，根据初始建议框进一步的分类和回归得到最终预测框，并根据预测框使用语义分割得到预测掩膜；步骤s3：设置训练过程的超参数并对网络进行训练，对图像进行预测，得到位置、种类和预测掩膜，并对模型效果进行评价；步骤s4：对网络输出的掩膜进行优化，使输出掩膜的边缘为实际颗粒物的边缘；步骤s5：对图像采集系统进行矫正，利用获得的掩膜计算颗粒物的实际面积、粒径以及统计颗粒物对应的尺寸分布。2.根据权利要求1所述的基于改进掩膜的Mask R
‑
CNN矿物颗粒识别以及粒度检测方法，其特征在于：步骤s1将图像从RGB格式转换到HSV格式，通过对HSV不同通道进行调整，采用不同的图像变换方法随机采用不同方式组合变换，把图像扩充成多组图像，所述调整包括对图像的亮度、饱和度、色调、不均匀光照、阴影生成、亮点生成、随机噪声生成、图像平滑和图像滤波进行调整。3.根据权利要求2所述的基于改进掩膜的Mask R
‑
CNN矿物颗粒识别以及粒度检测方法，其特征在于：步骤s2使用通道注意力机制加强的DenseBlock作为主干网络，该主干网络由多层卷积层组成，除第一层之外的卷积层是把该层之前所有的卷积层的输出拼接作为输入，表示为N＝Concatenate(M1,M2,
…
,M
i
,
…
,M
n
)，其中M
i
为模块中第i层的输入，也是第i
‑
1层的输出，由M
i
层经过卷积得到M
i+1
层；卷积层表示为M
i+1
＝Conv2D(M
i
)。4.根据权利要求3所述的基于改进掩膜的Mask R
‑
CNN矿物颗粒识别以及粒度检测方法，其特征在于：步骤s2中通道注意力机制是通过全局池化选取特征层中不同通道的值然后经过一维全连接层，接着将全连接层与特征层的值进行相乘突出相应通道；全局池化包括全局最大池化和全局平均池化，经过全局池化层之后，两边分别接入神经元数目为h的全连接层，把两个全连接层的输出结果进行Add相加，得到全连接层；利用得到的全连接层与DenseBlock的输出相乘，全连接层中的参数与对应通道的特征层进行相乘，增强通道的特征层。5.根据权利要求4所述的基于改进掩膜的Mask R
‑
CNN矿物颗粒识别以及粒度检测方法，其特征在于：步骤s2中，经过主干网络之后，通过特征金字塔网络把高层的特征层与低层的特征层进行融合，得到不同维度的融合特征层；此处特征金字塔使用密集连接形式，把主干特征网络中不同尺度的特征层进行不同尺度的采样，把采样后的特征层拼接融合作为输出的特征层；把特征金字塔网络中的融合特征层输入到区域建议网络，区域建议网络把特征图上的像素点作为特征点，在每个特征点使用长宽不同锚框作为先验物体框的位置；区域建议网络根据输入的特征层得到一组包含物体位置与置信度的数组，把数组中的位置与置信度进行解码得到候选位置，选取置信度较高的候选位置；然后利用RoIAlign获得候选位置的特征图作为感兴趣区域，对感兴趣区域使用卷积网络输出物体类别与物体位置，使用物体的位置裁剪对应特征金字塔中的特征层并进行语义分割得到输出的掩膜。6.根据权利要求5所述的基于改进掩膜的Mask R
‑
CNN矿物颗粒识别以及粒度检测方
法，其特征在于：步骤s4基于Mask R
‑
CNN的检测效果，对输出的掩膜进行修改，使输出掩膜的边缘为实际颗粒物的边缘，具体地：1)对步骤s1所述的图像进行标注，利用标注的标签，设置超参数对模...

【专利技术属性】
技术研发人员：黄仙山，李轩，杨舟，莫绪涛，
申请(专利权)人：安徽工业大学，
类型：发明
国别省市：