基于Transformer和CNN的煤矸石检测方法技术

本发明专利技术属于煤矸石检测技术领域，涉及基于Transformer和CNN的煤矸石检测方法，其在YOLOv5s模型的主干网络中加入Transformer模型中的MHSA模块，用来提升算法对全局信息的感知能力；引入轻量级Ghost模块优化MHSA

【技术实现步骤摘要】
基于Transformer和CNN的煤矸石检测方法


[0001]本专利技术属于煤矸石检测
，具体涉及基于Transformer和CNN的煤矸石检测方法。

技术介绍

[0002]近年来，伴随着科技进步和人工智能的应用，煤矸石的分拣方式也朝着智能化、精确化、高效化方向发展，但人工拣矸仍是最常见的方式，该方式存在劳动强度大、工作环境差、效率低、易发事故等问题。随着自动化技术的发展，自动化分拣方式正在替代人工，代表性的分拣方法有射线法、雷达法、机械振动等，这些方法虽然具有不错的检测性能，但对运行环境要求严格且设备昂贵，而且存在辐射、噪音等问题。针对上述分拣方式存在的问题，迫切需要研究出一种环保、无污染且高效率的技术手段。
[0003]目前，煤矸石的研究方法大多采用基于传统图像处理方法和深度学习的方法。传统图像处理方法都是先对煤矸石图像进行预处理，然后提取出煤矸石图像的纹理、灰度以及颜色等特征信息，最后进行煤矸石的分类。代表性的成果如太原理工大学的谭春超等在煤和矸石图像的灰度、纹理特征的基础上，研究了煤矸石的定位，对煤矸石图像进行灰度二值化操作和边缘轮廓提取；代表性的成果如陈雪梅等将煤和矸石的灰度图像进行平滑滤波、降噪等图像预处理，再应用差分盒维法求得二者灰度图像的分形维数，以此来区分煤与矸石图像；于国防等利用块煤与矸石图像灰度信息较明显的差异对两者分别在强光、自然光和节能灯光三种强度光照条件下实现两者的自动分选；陈立等利用小波分析对煤与矸石图像降噪处理，并构造小波矩对煤和矸石进行特征提取分析，找出特征参数的差异作为煤和矸石识别分选的依据。
[0004]随着人工智能发展，采用深度学习的方法对煤矸石图像进行分类和定位成为目前主流的研究方向。代表性的成果如Li等建立了一个煤矸石建议区域网络(RPN)来识别候选对象的区域，通过这种配置提高了时间效率并且同时显示了多个待检测物体的位置信息；Yan等使用YOLOv5进行煤矸石检测，针对现有煤矸石分选无法基于多光谱成像进行精确定位，将SE注意力机制融合到YOLOv5主干网络中，可提高煤矸石位置信息准确性，更好地实现煤矸石智能分选；来文豪等[8]将YOLOv4与多光谱成像相结合，研究了多光谱中各波段煤矸石目标检测的识别率和相关性；雷世威等用YOLOv3实现了不同环境下煤矸石的实时检测。由于煤矸石图像具有颜色、纹理信息相似且前景和背景相近的特性，任务本身难度较大，现有的基于深度学习的煤矸石分拣方法在实践中仍会出现较多的定位和分类不准确、错检、漏检的情况，对煤矸石分拣任务的要求来说，技术上仍有较大的提升空间。
[0005]综上所述，现有基于深度学习的煤矸石检测方法，对真实工业生产中拍摄的煤矸石图像进行目标检测时，由于煤矸石图像中存在大型煤和矸石特征区别性小、分拣难度大、煤矸石图像视频实时检测出现卡顿现象等问题，导致现有模型的算法存在着诸如精度不高、错检、漏检等情况，因此，亟需加以改进。

技术实现思路

[0006]针对上述技术问题，本专利技术的目的是建立和提出一种在速度和精度上能够满足煤矸石检测任务的模型和算法。
[0007]为了实现上述目的，本专利技术通过以下技术方案实现的：
[0008]基于Transformer和CNN的煤矸石检测方法，包括以下步骤：
[0009]S1、基于YOLOv5s模型构建MHSA
‑
YOLOv5模型，在YOLOv5s模型的CNN主干结构的最后一个C3层中加入Transformer模型的MHSA模块得到MHSA
‑
YOLOv5模型，以便将输入的煤矸石图像分割成多个小块，然后分别输入到Transformer模型和CNN主干结构中进行特征提取，以有效捕获全局信息，最大化特征语义提取能力，从而兼顾全局和局部特征的提取，提高目标检测的准确性；
[0010]S2、构建MHSA
‑
YOLOv5s
‑
Light轻量化模型，在MHSA
‑
YOLOv5模型的基础上，引入轻量级Ghost模块优化MHSA
‑
YOLOv5模型的主干网络和特征融合层，得到MHSA
‑
YOLOv5s
‑
Light轻量化模型，以提高煤矸石目标检测模型的速度。
[0011]优选地，步骤S1中，由于在SPP的特征融合过程中可能会丢失一些详细的特征信息，因此将MHSA模块置于CNN主干结构的SPP模块之前，以能够自适应地分配注意力权重。
[0012]优选地，步骤S1中，由于Transformer模型在测试时需要大量内存，为了节省昂贵的训练资源并降低成本，在CNN的主干网络Backbone中具有最低分辨率特征图的位置使用嵌套的MHSA模块，这样可以减少内存占用，同时确保网络在煤矸石目标检测任务中有较好的性能。
[0013]优选地，步骤S2中，所述引入轻量级Ghost模块优化MHSA
‑
YOLOv5模型的主干网络和特征融合层，包括采用GhostNet网络中的轻量级Ghost模块替代MHSA
‑
YOLOv5s模型中的普通卷积，以解决中间特征图存在高度冗余导致计算成本增加的问题。GhostNet网络主要目的是解决神经网络中存在的特征图冗余问题。这个网络将相似的特征图视为“幽灵”，并使用更小计算量的操作来生成这些冗余特征图。具体而言，GhostNet使用一个特殊的Ghost模块来提取特征图，并使用逐通道线性变换来生成特征图。这些特征图被添加到原始特征图中，从而得到更具丰富性的特征表示。这种方法能够有效地减少特征图冗余，提高网络的运行速度，并且在各种计算机视觉任务中具有良好的表现。Ghost模块是一种即插即用模块，可以使MHSA
‑
YOLOv5s模型更加紧凑，同时保持较高的性能。
[0014]优选地，所述Ghost模块在进行图像处理时包分为两步：第一步，先用少量特征图用普通卷积的方法生成m个特征图；第二步，采用廉价运算对第一步生成的特征图进行线性操作，然后将第一步和第二部生成的特征图拼接形成最终的特征图。
[0015]优选地，所述MHSA模块由堆叠的N个单头自我注意模块组成多头注意力机制，对于给定的输入序列，在多头注意力机制中，输入序列首先被转换为查询向量、键向量和值向量，每个单头自我注意模块都可以学习到不同的查询向量、键向量和值向量；然后，各单头自我注意模块会计算每个查询向量与每个键向量之间的相似度，并计算相应的权重；这些权重被用于对值向量进行加权求和，生成每个单头自我注意模块的输出序列；最终，这些输出序列会被拼接起来，形成最终的输出序列。
[0016]优选地，所述MHSA模块的多头注意力输出公式为：
[0017]MultiHead(Q,K,V)＝Concat(head1,....,head
h
)W
O
[0018]head
i
＝Attention(QW
iQ
,KW
iK本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Transformer和CNN的煤矸石检测方法，其特征在于，包括以下步骤：S1、基于YOLOv5s模型构建MHSA
‑
YOLOv5模型，在YOLOv5s模型的CNN主干结构的最后一个C3层中加入Transformer模型的MHSA模块得到MHSA
‑
YOLOv5模型，以便将输入的煤矸石图像分割成多个小块，然后分别输入到Transformer模型和CNN主干结构中进行特征提取，以有效捕获全局信息，最大化特征语义提取能力，从而兼顾全局和局部特征的提取，提高目标检测的准确性；S2、构建MHSA
‑
YOLOv5s
‑
Light轻量化模型，在MHSA
‑
YOLOv5模型的基础上，引入轻量级Ghost模块优化MHSA
‑
YOLOv5模型的主干网络和特征融合层，得到MHSA
‑
YOLOv5s
‑
Light轻量化模型，以提高煤矸石目标检测模型的速度。2.根据权利要求1所述的煤矸石检测方法，其特征在于，步骤S1中，将MHSA模块置于CNN主干结构的SPP模块之前，以能够自适应地分配注意力权重。3.根据权利要求1所述的煤矸石检测方法，其特征在于，步骤S1中，在CNN主干结构的主干网络Backbone中具有最低分辨率特征图的位置使用嵌套的MHSA模块。4.根据权利要求1所述的煤矸石检测方法，其特征在于，步骤S2中，所述引入轻量级Ghost模块优化MHSA
‑
YOLOv5模型的主干网络和特征融合层，包括采用GhostNet网络中的轻量级Ghost模块替代MHSA
‑
YOLOv5s模型中的普通卷积，以解决中间特征图存在高度冗余导致计算成本增加的问题。5.根据权利要求4所述的煤矸石检测方法，其特征在于，所述Ghost模块在进行图像处理时包分为两步：第一步，先用少量特征图用普通卷积的方法生成m个特征图；第二步，采用廉价运算对第一步生成的特征图进行线性操作，然后...

【专利技术属性】
技术研发人员：高如新，常家浩，杜亚博，王梅红，刘群坡，张建军，苏波，
申请(专利权)人：河南理工大学，
类型：发明
国别省市：