【技术实现步骤摘要】
本申请涉及矿物加工，具体而言，涉及一种基于视觉跟踪的筛上杂物实时监测方法。
技术介绍
1、在煤炭开采和选煤生产过程中，会产生大量的杂物，如锚杆、支护网、铁丝、爆破装置、生活垃圾、设备零件等。混入煤流中的杂物不仅影响正常的选煤生产流程，如果进入产品中，还会降低商品煤的质量。因此，需要采取有效手段，去除煤流中的各类杂物。
2、目前，煤中杂物的去除方法主要有手选皮带、除铁器、拦杂勾、除杂箅网等，这些方式自动化程度低，且无法满足精准去除各类杂物的要求。随着选煤厂智能化的发展，一些选煤厂开始用机械手代替手选皮带环节中的拣杂人员，然而在手选皮带淘汰的大背景下，除杂机械手日益失去安装空间，利用计算机视觉和机械手进行筛上除杂成为可行方案。
3、然而，在计算机视觉领域中，由于杂物形态各异，仅依靠目标检测所提供的矩形框无法准确指导后续抓取机构运行，逐像素分类的语义分割更适合筛上杂物监测任务，因此在一些方案中，对于杂物的识别率和速度较低。
技术实现思路
1、本专利技术的目的是提供一种基于视觉跟踪的筛上杂物实时监测方法，该方法能够在开放式场景下，利用双工业相机对筛上煤中杂物进行监测，能有效提高识别准确率和速度，为后续实现杂物的自动去除提供技术基础。
2、本专利技术的目的是通过以下技术方案实现的：
3、本申请提供了一种基于视觉跟踪的筛上杂物实时监测方法，所述方法包括：
4、步骤1、通过相机1获取筛机前端图像，建立筛上杂物的训练样本集；
6、步骤3、根据光照条件的不同，利用生成对抗网络扩充所述训练样本集，得到处理后的训练样本集；
7、步骤4、针对步骤3中所述处理后的训练样本集基于深度语义分割网络进行训练，得到语义分割检测模型，其中，将当前的处理后的训练样本集输入至所述语义分割检测模型中，得到语义分割检测结果；
8、步骤5、根据所述语义分割检测结果在原图绘制正外接矩形，截取检测到的杂物目标；
9、步骤6、通过相机2获取筛机后端图像，并进行视角转换；
10、步骤7、提取所述语义分割检测模型检测到的杂物目标特征，与步骤6中图像进行特征匹配，检测所述相机2中的杂物位置；
11、步骤8、以特征匹配检测到的杂物目标为初始帧，进行目标追踪；
12、步骤9、融合语义分割和目标追踪信息，完成杂物检测。
13、可选地，在步骤1中，通过相机1获取筛机前端图像过程具体为：
14、在所述筛机前端搭建开放式图像采集装置，工业相机拍摄视角与筛面垂直，图像采集区域为第一道横梁与激振梁之间，以获取杂物在所述筛机前侧的位置和形状信息。
15、可选地，在步骤2中，对所述训练样本集进行滤波降噪处理、光照不均衡处理、运动模糊消除过程具体为：
16、利用空间域滤波器减少图像噪声，使用gamma校正、直方图均衡进行光照不均匀图像自适应矫正，利用模糊运动核减小图像运动模糊。
17、可选地，在步骤3中，根据光照条件的不同，利用生成对抗网络扩充所述训练样本集过程具体为：
18、根据光照条件将图像数据分为多个类别，利用cyclegan网络将每一类向其他类进行风格迁移，扩充所述训练样本集。
19、可选地，在步骤4中，利用所述处理后的训练样本集基于深度语义分割网络进行训练，并进行后处理操作，过程具体为：
20、将所述处理后的训练样本集作为输入，所述深度语义分割网络包括但不限于unet、segmenter、transunet语义分割网络，所述深度语义分割网络中的编码器对图像进行特征提取，解码器对特征进行恢复，得到杂物分割区域；
21、所述后处理操作为采用骨架提取算法，将语义分割区域中目标掩码的连通区域细化成一个像素宽度的骨架，计算骨架质心位置，即为抓取点位置。
22、可选地，在步骤5中，截取检测到的杂物目标过程具体为：
23、在分割结果中寻找连通区域，绘制所述连通区域的正外接矩形，根据所述正外接矩形的位置截取杂物目标，得到目标杂物的roi区域，作为相机2提供特征匹配模板。
24、可选地，在步骤6中，通过相机2获取筛机后端图像，并进行视角转换过程具体为：
25、将所述相机2安装在激振梁后侧，拍摄视角为斜向俯视，图像采集区域为激振梁下和激振梁后部分区域；在所述相机2所获取图像内选择一块梯形区域，作为透视变换的原始图像，利用透视变换公式将斜向俯视图变换为俯视图。
26、可选地，在步骤7中特征匹配过程具体为：
27、提取步骤5中得到的杂物目标的roi区域，在特定时间段利用特征匹配算法计算所述相机1中由语义分割和后处理得到的杂物roi区域与所述相机2的图像的相似度，将相似度最高的区域作为所述相机2目标追踪的起始位置。
28、可选地，在步骤7和8的实施过程中：
29、目标追踪算法包括：将步骤5中得到的杂物目标的roi区域作为特征匹配模板，在所述相机2的图像中沿水平和垂直两个方向循环位移，构建循环矩阵样本集，利用样本集训练岭回归函数，在所述相机2的下一帧图像杂物目标周围预选区域寻找相应的回归函数响应值最大区域，不断更新图像，计算循环回归函数响应位置，实时输出杂物目标的当前位置。
30、可选地，步骤9融合语义分割和目标追踪信息过程具体为：
31、由步骤5中所述语义分割检测模型获取杂物目标的正矩形框，将正矩形框作为特征匹配模块与所述相机2中的图像进行特征匹配，获取目标杂物矩形框在所述相机2中的实时位置；
32、由步骤5中的后处理操作获得杂物目标的骨架质心位置，在正矩形框中的相对位置映射到所述相机2的图像由特征匹配得到的杂物目标矩形框中，获得抓取中点在所述相机2中的实时位置，用于控制后续分拣设备抓取。
33、本专利技术通过上述技术方案，具有以下优点：
34、1.本申请通过计算机视觉监测振动筛上的杂物，后续利用机械手完成杂物的拣取，相对于其他杂物去除方式，此方法不需要占用人力资源，自动化程度更高，且能够完成各种类型杂物的精准监测。
35、2.本申请通过双工业相机在开放式场景下对筛上煤中杂物进行监测，前端相机利用语义分割算法获取杂物目标形状信息，后端相机利用目标追踪算法获取杂物实时位置信息，相对于单相机更加高效。
本文档来自技高网...【技术保护点】
1.一种基于视觉跟踪的筛上杂物实时监测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，在步骤1中，通过相机1获取筛机前端图像过程具体为：
3.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，在步骤2中，对所述训练样本集进行滤波降噪处理、光照不均衡处理、运动模糊消除过程具体为：
4.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，在步骤3中，根据光照条件的不同，利用生成对抗网络扩充所述训练样本集过程具体为：
5.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，在步骤4中，利用所述处理后的训练样本集基于深度语义分割网络进行训练，并进行后处理操作，过程具体为：
6.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，在步骤5中，截取检测到的杂物目标过程具体为：
7.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，在步骤6中，通过相机2获取筛机后端图像，并进行视角转换过程具体为：
8.根据权利要求1所述的筛上杂物实时监测方法，其特征在于
9.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，在步骤7和8的实施过程中：
10.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，步骤9融合语义分割和目标追踪信息过程具体为：
...【技术特征摘要】
1.一种基于视觉跟踪的筛上杂物实时监测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，在步骤1中，通过相机1获取筛机前端图像过程具体为：
3.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，在步骤2中，对所述训练样本集进行滤波降噪处理、光照不均衡处理、运动模糊消除过程具体为：
4.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，在步骤3中，根据光照条件的不同，利用生成对抗网络扩充所述训练样本集过程具体为：
5.根据权利要求1所述的筛上杂物实时监测方法，其特征在于，在步骤4中，利用所述处理后的训练样本集基于深度语义...
【专利技术属性】
技术研发人员：罗文，贺安民，康学刚，王斌，张海生，陈凡，窦红庆，
申请(专利权)人：国能神东煤炭集团有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。