基于机器视觉的遮挡情况下煤矸石轮廓估计方法技术

本发明专利技术公开了一种基于机器视觉的遮挡情况下煤矸石轮廓估计方法，包括：S1、采集煤炭生产输送过程中的煤矸RGB图像；S2、加载煤矸分割模型从而分割煤矸RGB图像中的煤矸，实现煤块和矸石的识别，并输出煤块和矸石的类别结果、边界框和分割的mask掩膜；S3、根据分割的mask掩膜提取煤矸的外围轮廓；S4、检测外围轮廓上的T型节点从而判断是否发生遮挡，若发生遮挡，则获取发生遮挡的位置；S5、根据类别结果和边界框组合T型节点；S6、根据组合的T型节点，并基于阻尼最小二乘法构建欧拉圆弧估计遮挡轮廓曲线。本发明专利技术具有煤矸识别与轮廓分割的准确性高，能够提高煤矿自动化分拣效率的优点。能够提高煤矿自动化分拣效率的优点。能够提高煤矿自动化分拣效率的优点。

【技术实现步骤摘要】
基于机器视觉的遮挡情况下煤矸石轮廓估计方法


[0001]本专利技术属于机器视觉
，具体涉及基于机器视觉的遮挡情况下煤矸石轮廓估计方法。

技术介绍

[0002]煤炭资源作为我国的主体能源，对于我国工业的发展有着重要的支撑作用，矸石是煤炭开采和加工过程中产生的一种低碳固体废物，会降低煤炭的发热量、加重污染物的排放。因此煤矸分离是煤矿生产过程中的必要工序，以减少排放、提高煤质。
[0003]传统的煤矸人工分选法不仅劳动强度大、煤炭生产效率低，而且分选环境也很恶劣。随着计算机技术迅速发展，机器视觉被广泛应用到各个领域，利用机器视觉，人工智能自动分拣煤矸石已经成为未来煤矸石分拣的发展趋势。
[0004]基于机器视觉深度学习的煤与矸石自动分选系统，是一种非接触性、实时的分选系统，煤矸准确识别与完整轮廓分割是该系统完成分拣的一个重要步骤。现有的深度学习算法模型虽能够达到对煤矸石图像中煤矸的识别与分割效果，但在煤矸出现堆叠局部遮挡的情况下识别准确率低，造成煤矸分拣装置无法根据煤矸识别结果准确获取分拣对象完整的轮廓、位置、大小等信息确定最佳分拣动作。
[0005]对于目标的识别，一般通过全局性特征来描述其形状，但是当出现遮挡或缺损时，这种全局特征就会消失，便无法获取完整轮廓信息反映目标对象真实形状，对目标物体识别判断成一定的困难。在局部遮挡物体的目标识别中，对遮挡进行轮廓修复估计出物体完整轮廓是非常重要的一部分。对于局部遮挡物体轮廓的估计需要完成2个重要步骤：
①
遮挡判断，即判断局部遮挡发生的位置。近来的遮挡判断方法基本可以分为以下三种：(1)用对象轮廓的几何特征来判断遮挡，如轮廓曲率、周长、面积等；(2)按不同的深度信息来判断遮挡，首先得到图像中的物体与视点之间的相对距离，由相对距离近的点遮挡相对距离较远远的点来判断遮挡；(3)使用多个特征相互结合来判断遮挡情况，近年来被广泛用到，它将图像的多个特征结合，对遮挡实现共同判断。
②
遮挡轮廓修复，即修复被局部遮挡物体的轮廓，包括二维轮廓修复和三维轮廓修复，本文的煤矸遮挡轮廓修复主要涉及二维轮廓修复。在遮挡判断之后，要完整表达目标图像，需要对图像中被遮挡物体的轮廓进行修复。对于二维轮廓边界轮廓修复的过程实际上是通过制定的两个端点与相关方向找到一个最优的曲线。求解该最优曲线的方法有：(1)样条函数，常用的样条函数包括三次样条插值、埃尔米特插值和优化的埃尔米特曲线以及双弧插值；(2)弹性条，通过最小化能量函数的设计得到，将曲率平方与弧长的进行了线性结合，轮廓具有平滑性扩展性；(3)欧拉螺旋线，欧拉螺旋是一种构造曲线的方法，欧拉螺旋是曲率呈线性变化的曲线，将欧拉曲线上的点都换成了弧，用欧拉圆弧曲线来对曲线进行二维轮廓修复。
[0006]然而，由于受煤矸分选工作环境恶劣，高粉尘，能见度低的影响，以及外部环境和设备的严重干扰，采用传统传统的图像分割获取物体几何特征进行物体遮挡判断方法取得的实验效果不理想；利用深度信息判断物体遮挡情况，需使用深度信息采集设备，设备成本
＝0；计算输入函数f(s、α)及误差指标函数Δs、Δα；计算步长，根据步长计算新的参数估计值；根据当前参数得到函数值，并计算误差，如果误差值小于给定误差允许值ε1、ε2，则停止；否则，根据误差更新阻尼系数和参数，继续迭代。如此循环迭代搜寻最优的s、α；S63、根据获取的最优s、α，指定n的大小，根据如下公式计算τ：S64、通过计算圆弧插值扰动量δ
k
来改变每个弧的长度，s
k
＝s+δ
k
，从而确保插值和T2之间的误差，我们通过将扰动量最小化来获得最终最优的s，α，扰动最小化方程如下：S65、通过T1、θ1、n、s、α和τ这六个参数获得欧拉圆弧曲线曲线完成遮挡轮廓估计。
[0015]根据本专利技术一个实施例，MaskRcnn图像分割网络以ResNet网络作为骨干网络，并在的ResNet网络添加注意力机制构建的SE
‑
ResNet特征提取作为MaskRcnn图像分割网络的骨干网络，提升深度特征的表达能力，用于目标对象的特征提取，能够提升图像分割的精度。
[0016]根据本专利技术一个实施例，注意力机制实现过程为：首先对输入特征进行压缩操作Fsq(
·
)即全局平均池化(GlobalPooling)，获取全局感受野；然后进行激励操作Fex(
·
，w)，即两个全连接(FC)操作，预测各通道的重要性，使用Sigmoid激活函数输出各通道的权重；最后通过乘法操作Fscale(
·
，
·
)对每个特征通道进行加权，完成在通道维度上对原始特征的重标定。
[0017]本专利技术的有益效果是，本专利技术在充分考虑设备安装和维护成本的同时，利用深度学习完成煤矸的识别分割，使用多个几何特征相互结合来判断遮挡情况，基于阻尼最小二乘法构建欧拉圆弧估计遮挡轮廓曲线，提高煤矸识别与轮廓分割的准确性，提升煤矿自动化分拣的可靠性。
[0018]本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。
[0019]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0020]本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0021]图1是本专利技术的流程示意图；
[0022]图2是本专利技术的MaskRcnn图像分割网络结构图；
[0023]图3是通道注意力机制SENet网络结构图；
[0024]图4是通道注意力机制嵌入到残差模块中的示意图；
[0025]图5是原始的煤矸RGB图像；
[0026]图6是煤矸分割模型识别结果图；
[0027]图7是分割模型得到的煤矸mask掩膜图；
[0028]图8是提取的煤矸外围轮廓曲线；
[0029]图9是T型节点标记示意图；
[0030]图10是外围轮廓上T型节点检测图；
[0031]图11是轮廓估计后补全的结果图。
具体实施方式
[0032]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0033]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的遮挡情况下煤矸石轮廓估计方法，其特征在于，包括：S1、采集煤炭生产输送过程中的煤矸RGB图像；S2、加载煤矸分割模型从而分割煤矸RGB图像中的煤矸，实现煤块和矸石的识别，并输出煤块和矸石的类别结果、边界框和分割的mask掩膜；S3、根据分割的mask掩膜提取煤矸的外围轮廓；S4、检测外围轮廓上的T型节点从而判断是否发生遮挡，若发生遮挡，则获取发生遮挡的位置；S5、根据类别结果和边界框组合T型节点；S6、根据组合的T型节点，并基于阻尼最小二乘法构建欧拉圆弧估计遮挡轮廓曲线。2.根据权利要求1所述的基于机器视觉的遮挡情况下煤矸石轮廓估计方法，其特征在于，S2具体包括：S21、采集煤矸RGB图像样本，采用随机缩放、裁剪和翻转的方式来增强数据集，通过随机抽样法将预处理后的煤块和矸石的RGB图像数据按照训练集80％和测试集20％的比例划分为独立的训练集和测试集；S22、采用MaskRcnn图像分割网络训练得到煤矸分割模型，利用煤矸分割模型识别并分割煤矸RGB图像中的煤块和矸石区域。3.根据权利要求1所述的基于机器视觉的遮挡情况下煤矸石轮廓估计方法，其特征在于，在S3中，基于边界跟踪的数字化二值图像拓扑结构分析算法获取煤块和矸石的外围轮廓并进行曲线拟合。4.根据权利要求1所述的基于机器视觉的遮挡情况下煤矸石轮廓估计方法，其特征在于，在S4中，检测外围轮廓上的T型节点包括：S41、通过Shi
‑
Tomasi角点检测算法得到煤矸外围轮廓上角点，检测得到角点包含了T型节点，将检测得到全部角点作为T型节点的候选点；S42、依次以T型节点的候选点为圆心，取其半径为R的领域范围的图像，对图像的区域内轮廓的最外侧端点进行检测，得到端点个数D，如D＝3则该候选点为T型节点，否则不是T型节点；S43、将图像上的T型节点记为T1、T2、
…
、T
n
，由于遮挡情况下的T型节点都是成对出现，当n>0且为偶数时，则确定有n/2处发生了遮挡。5.根据权利要求4所述的基于机器视觉的遮挡情况下煤矸石轮廓估计方法，其特征在于，在S5中，将类别结果和边界框作为约束条件，将属于同一类别且位于同一个边界框内的T型节点进行组合，形成n/2对T型节点对，一对T型节点代表一处遮挡的轮廓。6.根据权利要求5所述的基于机器视觉的遮挡情况下煤矸石轮廓估计方法，其特征在于，在S6中，具体估计过程包括：S6...

【专利技术属性】
技术研发人员：邹盛，叶柏松，季亮，周李兵，张袁浩，郝大彬，邱云香，王天宇，于政乾，蒋雪利，
申请(专利权)人：中煤科工集团常州研究院有限公司，
类型：发明
国别省市：