【技术实现步骤摘要】
本专利技术涉及煤矸石检测分拣方法领域，尤其涉及一种基于plc和深度学习的煤矸石检测分拣方法。
技术介绍
1、相较于传统机器视觉检测方法，近年来基于深度学习的目标检测技术表现出强大的优越性，利用卷积神经网络技术实现目标高维特征的自动提取，能够更精准地从煤中分拣出矸石。基于深度学习的目标检测算法可分为两类，一类是以r-cnn、fast r-cnn为代表两阶段检测算法(two-stage)；一类是以ssd、yolo系列为目标单阶段目标检测算法(one-stage)，但是现有的煤/矸石图像中包含目标种类较少，模型训练速度有限，一些矸石目标较小。
2、为解决上述问题，本申请中提出一种基于plc和深度学习的煤矸石检测分拣方法。
技术实现思路
1、(一)专利技术目的
2、为解决
技术介绍
中存在的技术问题，本专利技术提出一种基于plc和深度学习的煤矸石检测分拣方法，本专利技术能够利用深度学习和plc技术快速、准确地检测出煤中混合的矸石，引入的transformer全局注意力机制能够获取更多的上下文信息，提高煤/矸石分拣效率。
3、(二)技术方案
4、为解决上述问题，本专利技术提供了一种基于plc和深度学习的煤矸石检测分拣方法，包括以下步骤：
5、s1、在plc环境中部署传送模块、图像处理模块、控制模块、分拣系统；在plc控制器中实现目标检测模型的训练，待检测煤/矸石的传送、分拣；
6、s2、制作煤/矸石数据样本，将样本按照一定比
7、s3、在图像处理模块中构建改进的yolov3目标检测模型，并且在模型重引入transformer全局注意力机制；
8、s4、利用煤/矸石样本数据集对模型进行训练，计算损失函数，通过损失函数反向传播，得到最优的煤/矸石目标检测模型；
9、s5、待分拣的煤/矸石利用传送模块传送至图像处理模块，图像处理模块利用相机采集到待检测煤/矸石的图像，预处理后利用训练完成的目标检测模型获取目标的类别信息和位置信息，并将信息传送至控制模块；
10、控制模块根据目标信息利用分拣系统来分拣煤和矸石。
11、优选的，在s2中，在选煤厂实地进行数据采集，从采集的视频中截取煤与矸石混合场景下的图像，将煤/矸石图像按照像素大小进行切割，并绘制对应的图像标签。
12、优选的，在s2中，制作煤/矸石数据样本，按照比例划分成模型训练、验证数据集；
13、s21、在选煤厂实地进行数据采集，从采集到的视频中截取1400张煤与矸石混合场景下的图像，并采用labelimg标注软件对图像进行详细的人工标注，得到与图像相对应的标签数据，标签包含目标的类别信息和位置信息；
14、s22、将原始图像和标签划分成448pixel×448pixel像素大小的图像，得到煤/矸石数据样本。
15、优选的，在s3中：
16、在图像处理模块中构建改进的yolov3目标检测模型；
17、目标检测模型由特征提取、特征融合和目标检测三个部分组成。
18、优选的，s3包括：
19、s31、所述特征提取部分，选用resnet50网络结构作为特征提取网络，resnet50网络由一个pre_bolck和四个block组成，用trick函数优化block中的下采样层，使得输出的特征图尽可能地保留更多的原始图像信息，完成对矸石这类小目标的检测；
20、下采样层由patha和pathb组成，patha中包含一个步长为2卷积核为1×1卷积层和两个步长为1卷积核分别为3×3、1×1的卷积层；pathb中包含一个步长为2卷积核为1×1的卷积层；
21、将patha中步长为2卷积核为1×1的卷积层替换为步长为1卷积核为1×1的卷积层，为了保持下采样层输出特征图的大小不变，将步长为1卷积核为3×3卷积层改成步长为2卷积核为3×3的卷积层；
22、在pathb中使用步长为2卷积核为2×2的均值池化层和大小为步长为1卷积核为1×1的卷积层替换步长为2卷积核为1×1的卷积层；
23、s32、特征融合部分，提出tfpn特征融合模块，选用特征金字塔网络(featurepyramidnetwork，fpn)，同时引入transformer全局注意力机制来获取更多的上下文信息；
24、输入图像尺寸(448，448，3)经过特征提取，生成特征图layer1(56，56，512)、特征图layer2(28，28，1024)和特征图layer3(14，14，2048)，通过构建深层次的特征金字塔，将低层特征与高层特征进行特征融合，可获得更强的语义信息与更准确的位置信息；
25、在特征图layer3后加入transformer全局注意力机制，transformer全局注意力机制包含positionembedding和transformerencoder两个模块；
26、s33、度分数和分类以()来表示，检测步长为32、16和8，每个预测边界框包含3类信息，即框的坐标信息(4个)、置信度(1个)和类别(2个，矸石加背景)；
27、最终得到大小为(14，14，3×7)、(28，22，3×7)和(56，56，3×7)的3张预测图，其中3表示每个特征图中一个特征点对应于3个anchor；
28、最后，经非极大值抑制选出最佳预测框。
29、优选的，在s4中，包括：
30、s41、在神经网络进行训练过程中需要充足的样本数据，样本数量越多，网络训练的效果越好，泛化能力越强，从而可以有效防止过拟合现象的发生。为此，对前面切割得到的小尺寸训练样本图像及其标签进行数据增强，分别将图像进行水平变换，垂直翻转变换，以及逆时针旋转90°、180°、270°；
31、s42、在模型训练过程中，设置三个损失函数：回归损失函数lreg、置信度损失函数lcorf和分类损失函数lcla；
32、使用广义交并比(giou)来定义回归损失函数；
33、a表示真实目标的区域，b表示预测候选框的区域，|a∩b|和|a∪b|分别表示目标区域和预测区域的交集和并集面积，是两者的比值；
34、q是包含区域a和b的最小矩形区域，即包含a和b的边界框；
35、sq代表能够同时包含a和b的最小框的面积，su代表包含a和b的并集区域面积；
36、lreg定义为：
37、
38、置信度损失函数采用带logits损失的二元交叉熵损失函数定义如下，其中n为所包含的样本数量，ci为预测置信度，为置信度真值；
39、
40、分类损失函数也采用带logits损失的二元交叉熵损失函数定义如下，其中npos为所包含的正样本数量，表示预测目标边界框i中是否存在第j类目标，pij为预测值；
41本文档来自技高网...
【技术保护点】
1.一种基于PLC和深度学习的煤矸石检测分拣方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于PLC和深度学习的煤矸石检测分拣方法，其特征在于，在S2中，在选煤厂实地进行数据采集，从采集的视频中截取煤与矸石混合场景下的图像，将煤/矸石图像按照像素大小进行切割，并绘制对应的图像标签。
3.根据权利要求2所述的一种基于PLC和深度学习的煤矸石检测分拣方法，其特征在于，在S2中，制作煤/矸石数据样本，按照比例划分成模型训练、验证数据集；
4.根据权利要求3所述的一种基于PLC和深度学习的煤矸石检测分拣方法，其特征在于，在S3中：
5.根据权利要求4所述的一种基于PLC和深度学习的煤矸石检测分拣方法，其特征在于，S3包括：
6.根据权利要求5所述的一种基于PLC和深度学习的煤矸石检测分拣方法，其特征在于，在S4中，包括：
7.根据权利要求6所述的一种基于PLC和深度学习的煤矸石检测分拣方法，其特征在于，在S22中，将样本按照8:2的比例划分成模型训练和验证数据集。
【技术特征摘要】
1.一种基于plc和深度学习的煤矸石检测分拣方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于plc和深度学习的煤矸石检测分拣方法，其特征在于，在s2中，在选煤厂实地进行数据采集，从采集的视频中截取煤与矸石混合场景下的图像，将煤/矸石图像按照像素大小进行切割，并绘制对应的图像标签。
3.根据权利要求2所述的一种基于plc和深度学习的煤矸石检测分拣方法，其特征在于，在s2中，制作煤/矸石数据样本，按照比例划分成模型训练、验证数据集；
【专利技术属性】
技术研发人员：王明昕，陈曦，陈思宁，
申请(专利权)人：傲拓科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。