基于改进yolov5s与deepsort的矸石跟踪检测方法技术

本发明专利技术公开了一种基于改进yolov5s与deepsort的矸石跟踪检测方法，包括以下步骤：S1、获取煤炭和矸石混合的样本图像数据集；S2、构建改进yolov5s网络模型，利用样本图像数据集对改进yolov5s网络模型进行训练，获得矸石检测模型；S3、利用矸石检测模型对煤矸石实时图像进行检测，输出矸石的位置信息和目标框；S4、根据矸石的位置信息和目标框，利用deepsort算法对矸石的位置信息进行实时跟踪预测；S5、将deepsort算法输出的矸石的位置信息发送给选矸机器人，以将矸石分选出来。本发明专利技术通过矸石检测模型识别出矸石所在的位置信息以及输出目标框，通过deepsort算法预测出矸石在输送带上的移动轨迹，能够避免同一矸石被重复检测，有利于提高选矸机器人对矸石分选的准确率。准确率。准确率。

【技术实现步骤摘要】
基于改进yolov5s与deepsort的矸石跟踪检测方法


[0001]本专利技术涉及煤矿
，尤其涉及一种基于改进yolov5s与deepsort的矸石跟踪检测方法。

技术介绍

[0002]煤炭是我国重要的基础能源和战略资源。由于我国“富煤、贫油、少气”的能源结构，在未来相当长的时间内，煤炭依然是中国能源消费结构的主体。据2022年能源数据统计，煤炭消费占中国能源消费的56％左右。随着煤炭不断地开采，导致了环境问题越来越明显，这将影响煤炭行业的绿色化、智能化和可持续发展。煤炭产品质量对于煤炭行业去产能以及产业结构调整与升级和改善环境，构建资源节约环境友好型社会具有重要意义。影响煤炭质量的重要因素之一就是有无煤矸石。因此，通过有效的方法实现从煤炭中分选出矸石，不仅可以避免较大的矸石在运输过程中造成设备损坏，如皮带撕裂、跑偏和卡堵等，而且可以降低煤炭生产维护成本和减少后期运输费用。
[0003]目前，最常用的选矸方法是人工选矸法、湿选法、射线识别法等。人工选矸法效率低下，容易漏选，而且由于工作环境恶劣，容易影响工人的身体健康，也不符合矿山智能化发展要求。湿选法容易造成水资源浪费。射线识别法虽然具有识别效率高和速度快等优点，但是存在辐射副作用导致在应用上受到了限制。
[0004]近几年，随着人工智能和计算机的发展，图像识别技术逐渐应用到煤矸石的检测中，但是，现有的图像处理方法，仅仅是通过矸石的纹理来分选矸石，没有做到矸石位置的跟踪，当识别信息与选矸机器人协同作业时，如果出现信息延迟而误选，甚至严重时可能由于位置信息变化导致输送带损坏。

技术实现思路

[0005]本专利技术要解决的技术问题是：为了解决现有方法对煤矸石的分选不准确的技术问题。本专利技术提供一种基于改进yolov5s与deepsort的矸石跟踪检测方法，通过改进yolov5s模型识别出矸石的位置信息，再结合deepsort算法跟踪矸石的位置轨迹，再将矸石的位置轨迹发送给选矸机器人分选出矸石，能够提高矸石分选的检测精度。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种基于改进yolov5s与deepsort的矸石跟踪检测方法，包括以下步骤：
[0007]步骤S1、获取煤炭和矸石混合的样本图像数据集；
[0008]步骤S2、构建改进yolov5s网络模型，利用所述样本图像数据集对所述改进yolov5s网络模型进行训练，获得矸石检测模型；
[0009]步骤S3、利用所述矸石检测模型对煤矸石实时图像进行检测，输出矸石的位置信息和目标框；
[0010]步骤S4、根据所述矸石的位置信息和目标框，利用deepsort算法对矸石的位置信息进行实时跟踪预测；
[0011]步骤S5、将所述deepsort算法输出的矸石的位置信息发送给选矸机器人，以将矸石分选出来。
[0012]进一步的，所述构建改进yolov5s网络模型，具体包括：
[0013]搭建yolov5s基础网络，采用OPA
‑
FPN搜索模块替换yolov5s基础网络中的特征金字塔结构，设置损失函数为CIoU_Loss函数，设置激励函数为SiLu函数。
[0014]进一步的，所述OPA
‑
FPN搜索模块的搜索路径包括：自上而下路径、自下而上路径、残差连接路径、融合拆分路径。
[0015]进一步的，所述CIoU_Loss函数的公式为：其中，式中，v表示影响因子，wA和hA表示真实框的长和高，wB和hB表示预测框的长和高，c表示最小外接矩形的对接线长度，ρ(A
ctr
，B
ctr
)表示真实框和预测框的中心点之间的欧式距离。
[0016]进一步的，所述SiLu函数的公式为：f(x)＝x
×
sigmoid(x)，其中，x表示变量。
[0017]进一步的，步骤S4中，利用deepsort算法对矸石的位置信息进行实时跟踪预测，包括：
[0018]通过卡尔曼滤波预测矸石在下一帧图像中的位置信息；
[0019]通过匈牙利算法对当前帧图像中和矸石和下一帧图像中的矸石进行匹配，输出矸石的移动轨迹。
[0020]进一步的，将所述矸石的移动轨迹发送给选矸机器人进行矸石的分选。
[0021]进一步的，步骤S2中的训练过程包括：
[0022]将所述样本图像数据集划分为训练集、验证集、测试集；
[0023]利用训练集对改进yolov5s网络模型进行训练，利用验证集对改进yolov5s网络模型进行验证，利用测试集对改进yolov5s网络模型进行测试，直至改进yolov5s网络模型的输出结果满足精度要求；
[0024]将满足输出精度的改进yolov5s网络模型设为矸石检测模型。
[0025]进一步的，所述训练集、验证集、测试集的比例为7：2：1。
[0026]本专利技术的有益效果是，本专利技术的基于改进yolov5s与deepsort的矸石跟踪检测方法，通过对yolov5s网络模型的改进，可以提高模型检测的速度和效率，通过矸石检测模型识别出矸石所在的位置信息以及输出目标框，将位置信息和目标框同步给deepsort算法预测出矸石在输送带上的移动轨迹，将移动轨迹发送给选矸机器人进行矸石的分选，能够避免同一矸石被重复检测，有利于提高选矸机器人对矸石分选的准确率。
附图说明
[0027]下面结合附图和实施例对本专利技术进一步说明。
[0028]图1是本专利技术的矸石跟踪检测方法的流程图。
[0029]图2是本专利技术的yolov5s基础网络的架构图。
[0030]图3是本专利技术的OPA
‑
FPN搜索模块的搜索路径的示意图。
[0031]图4是本专利技术的识别结果的示意图。
具体实施方式
[0032]现在结合附图对本专利技术作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。
[0033]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0034]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进yolov5s与deepsort的矸石跟踪检测方法，其特征在于，包括以下步骤：步骤S1、获取煤炭和矸石混合的样本图像数据集；步骤S2、构建改进yolov5s网络模型，利用所述样本图像数据集对所述改进yolov5s网络模型进行训练，获得矸石检测模型；步骤S3、利用所述矸石检测模型对煤矸石实时图像进行检测，输出矸石的位置信息和目标框；步骤S4、根据所述矸石的位置信息和目标框，利用deepsort算法对矸石的位置信息进行实时跟踪预测；步骤S5、将所述deepsort算法输出的矸石的位置信息发送给选矸机器人，以将矸石分选出来。2.如权利要求1所述的矸石跟踪检测方法，其特征在于，所述构建改进yolov5s网络模型，具体包括：搭建yolov5s基础网络，采用OPA
‑
FPN搜索模块替换yolov5s基础网络中的特征金字塔结构，设置损失函数为CIoU_Loss函数，设置激励函数为SiLu函数。3.如权利要求2所述的矸石跟踪检测方法，其特征在于，所述OPA
‑
FPN搜索模块的搜索路径包括：自上而下路径、自下而上路径、残差连接路径、融合拆分路径。4.如权利要求2所述的矸石跟踪检测方法，其特征在于，所述CIoU_Loss函数的公式为：其中，式中，v表示影响因子，wA和hA表示真实框的长和高，wB和hB表示预测框的长和高，c...

【专利技术属性】
技术研发人员：宋鹏飞，季亮，张袁浩，郝大彬，周李兵，陈晓晶，邹盛，叶柏松，邱云香，
申请(专利权)人：中煤科工集团常州研究院有限公司，
类型：发明
国别省市：