煤与矸石的识别与分割方法、装置及电子设备制造方法及图纸

本发明专利技术涉及一种煤与矸石的识别与分割方法、装置及电子设备，包括：获取待分割的X射线煤炭与矸石图像；将待分割的X射线煤炭与矸石图像输入煤与矸石分割模型，得到煤与矸石分割模型输出的煤矸石分割图像，煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；根据不同颜色的连通域，对煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，矸石轮廓坐标用于控制机械手对矸石进行抓取。不仅可以加快对煤与矸石图像的分割速度，还减少特征提取中的煤与矸石的语义信息损失，提高了对煤与矸石图像的分割精度。度。度。

【技术实现步骤摘要】
煤与矸石的识别与分割方法、装置及电子设备


[0001]本公开涉及物料配送
，具体地，涉及一种煤与矸石的识别与分割方法、装置及电子设备。

技术介绍

[0002]矸石是在煤矿建井、开拓掘进、采煤和煤炭洗选过程中，产生的干基灰分大于50%的岩石，矸石中含碳量低，并且矸石是比煤坚硬的黑灰色岩石。矸石每年的排放量相当于煤炭产量的10%左右，矸石不仅是固体废料，并且难以从煤炭中分割出来，严重影响煤炭的质量。
[0003]相关场景中，对x射线煤矸石图像进行灰度处理，利用灰度阈值分割煤与矸石。然而，这种方式对图像中不存在明显灰度差异，或者煤炭与矸石的灰度值范围有较大重叠的图像，分割的准确性较低。

技术实现思路

[0004]本专利技术的目的是提供一种煤与矸石的识别与分割方法、装置及电子设备，旨在解决相关场景中对煤炭与矸石分割的准确性较低的技术问题。
[0005]为了实现上述目的，本公开的第一方面，提供一种煤与矸石的识别与分割方法，所述方法包括：获取待分割的X射线煤炭与矸石图像；将待分割的所述X射线煤炭与矸石图像输入煤与矸石分割模型，得到所述煤与矸石分割模型输出的煤矸石分割图像，所述煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到煤矸石分割图像中检测塔子模型和图像注意力分析子模型的特征输入图像；所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到对象目标框图像和矸石注意力图像；所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图，通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，将调整后的所述煤炭与矸石基图与调整后的矸石注意力图像进行融合，得到所述煤矸石分割图像；根据不同颜色的连通域，对所述煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，所述矸石轮廓坐标用于控制机械手对矸石进行抓取。
[0006]在一种优选的实施方式中，所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到检测塔子模型和图像注意力分析子模型的特征输入图像，包括：
对所述煤与矸石分割模型中的残差计算子模型中依次线性连接的除处于最底层的残差层输出的残差输入图像按照第一卷积参数进行深度可分离卷积，并在卷积后分别作为所述煤与矸石分割模型中的特征融合子模型对应插值上采样层的卷积残差图像；对输入所述特征融合子模型中最上层的插值上采样层的卷积残差图像进行临近插值上采样，并在临近插值上采样后，与所述残差计算子模型中次上层对应的卷积残差图像进行特征逐点相加，得到所述最上层的插值上采样层上采样输出图像；对输入所述特征融合子模型中每一所述插值上采样层的上采样输入图像进行临近插值上采样，并在所述临近插值上采样后，将特征融合子模型中上一层插值上采样层输出的上采样输出图像与对应的卷积残差图像进行特征逐点相加，得到所述特征融合子模型中下一层插值上采样层输出的上采样输出图像；对所述特征融合子模型中每一所述插值上采样层输出的上采样输出图像按照第二卷积参数进行图像卷积，得到上采样卷积图像；对所述特征融合子模型中最下层的上采样输出图像与次底层的残差层输出的残差图像进行特征逐点相加，得到所述特征融合子模型中最下层的特征融合层的融合特征输出图像；将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像；将每一所述特征融合层输出的融合特征输出图像分别作为所述检测塔子模型中对应检测塔层的特征输入图像以及将多个处于底部的特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像。
[0007]在一种优选的实施方式中，所述特征融合子模型包括5层所述特征融合层和3层所述插值上采样层，所述残差计算子模型包括4层所述残差层；其中，处于底部的第一特征融合层、第二特征融合层、第三特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像。
[0008]在一种优选的实施方式中，所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图像，包括：所述图像注意力分析子模型对输入的所述第一特征融合层、所述第二特征融合层、所述第三特征融合层输出的融合特征输出图像分别按照第六卷积参数进行图像卷积，得到第六目标图像；对所述第二特征融合层和所述第三特征融合层对应的第六目标图像进行双线性插值运算，得到第七目标图像；将所述第一特征融合层对应的第六目标图像、所述第二特征融合层对应的第七目标图像以及所述第三特征融合层对应的第七目标图像进行特征逐点相加，得到第八目标图像；对所述第八目标图像进行双线性插值上采样后，按照所述第六卷积参数进行图像卷积，得到第九目标图像；对所述第九目标图像中所有通道的不同位置赋予不同的注意力权重，并按照第七卷积参数对添加注意力权重后的第九目标图像进行图像卷积，生成所述煤炭与矸石基图
像。
[0009]在一种优选的实施方式中，所述将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像，包括：对特征融合子模型中上一层特征融合层输出的融合特征输出图像进行下采样卷积；将下采样卷积后的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到下采样后融合图像；对所述下采样后融合图像进行通道卷积，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像。
[0010]在一种优选的实施方式中，所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到矸石注意力图像，包括：所述检测塔子模型中的每一所述检测塔层对输入的特征输入图像按照第三卷积参数进行图像卷积，得到第一目标图像；将所述第一目标图像输入无参数注意力模块SimAM中，得到所述无参数注意力模块SimAM输出的第二目标图像；对各所述第二目标图像按照第四卷积参数进行图像卷积后回归，得到第三目标图像，以及对各所述第二目标图像按照第五卷积参数进行图像卷积，得到第四目标图像；对所述第四目标图像中所有通道的不同位置赋予不同的注意力权重，并根据所述第三目标图像和添加注意力权重后的第四目标图像，生成所述矸石注意力图像。
[0011]在一种优选的实施方式中，所述检测塔子模型的检测塔层对输入的特征输入图像进行处理，得到对象目标框图像，包括：对各所述第一目标图像分别按照第八卷积参数和第九卷积参数进行图像卷积；对所述第八卷积参数对应的图像进行分类，得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种煤与矸石的识别与分割方法，其特征在于，所述方法包括：获取待分割的X射线煤炭与矸石图像；将待分割的所述X射线煤炭与矸石图像输入煤与矸石分割模型，得到所述煤与矸石分割模型输出的煤矸石分割图像，所述煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到煤矸石分割图像中检测塔子模型和图像注意力分析子模型的特征输入图像；所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到对象目标框图像和矸石注意力图像；所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图，通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，将调整后的所述煤炭与矸石基图与调整后的矸石注意力图像进行融合，得到所述煤矸石分割图像；根据不同颜色的连通域，对所述煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，所述矸石轮廓坐标用于控制机械手对矸石进行抓取。2.根据权利要求1所述的方法，其特征在于，所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到检测塔子模型和图像注意力分析子模型的特征输入图像，包括：对所述煤与矸石分割模型中的残差计算子模型中依次线性连接的除处于最底层的残差层输出的残差输入图像按照第一卷积参数进行深度可分离卷积，并在卷积后分别作为所述煤与矸石分割模型中的特征融合子模型对应插值上采样层的卷积残差图像；对输入所述特征融合子模型中最上层的插值上采样层的卷积残差图像进行临近插值上采样，并在临近插值上采样后，与所述残差计算子模型中次上层对应的卷积残差图像进行特征逐点相加，得到所述最上层的插值上采样层上采样输出图像；对输入所述特征融合子模型中每一所述插值上采样层的上采样输入图像进行临近插值上采样，并在所述临近插值上采样后，将特征融合子模型中上一层插值上采样层输出的上采样输出图像与对应的卷积残差图像进行特征逐点相加，得到所述特征融合子模型中下一层插值上采样层输出的上采样输出图像；对所述特征融合子模型中每一所述插值上采样层输出的上采样输出图像按照第二卷积参数进行图像卷积，得到上采样卷积图像；对所述特征融合子模型中最下层的上采样输出图像与次底层的残差层输出的残差图像进行特征逐点相加，得到所述特征融合子模型中最下层的特征融合层的融合特征输出图像；将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像；将每一所述特征融合层输出的融合特征输出图像分别作为所述检测塔子模型中对应检测塔层的特征输入图像以及将多个处于底部的特征融合层输出的融合特征输出图像作
为所述图像注意力分析子模型的特征输入图像。3.根据权利要求2所述的方法，其特征在于，所述特征融合子模型包括5层所述特征融合层和3层所述插值上采样层，所述残差计算子模型包括4层所述残差层；其中，处于底部的第一特征融合层、第二特征融合层、第三特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像。4.根据权利要求3所述的方法，其特征在于，所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图像，包括：所述图像注意力分析子模型对输入的所述第一特征融合层、所述第二特征融合层、所述第三特征融合层输出的融合特征输出图像分别按照第六卷积参数进行图像卷积，得到第六目标图像；对所述第二特征融合层和所述第三特征融合层对应的第六目标图像进行双线性插值运算，得到第七目标图像；将所述第一特征融合层对应的第六目标图像、所述第二特征融合层对应的第七目标图像以及...

【专利技术属性】
技术研发人员：周波，苗瑞，段炼，
申请(专利权)人：深圳海清智元科技股份有限公司，
类型：发明
国别省市：