基于图像识别的煤炭分拣拨手控制方法技术

本发明专利技术提供的一种基于图像识别的煤炭分拣拨手控制方法，包括：基于边界框检测模型对每帧煤流图像进行处理并输出检测边界框；对检测边界框进行过滤处理并输出合法边界框；对合法边界框的形心坐标位置进行排序，根据合法边界框的形心位置与拨手的位置关系分配相对应的拨手对合法边界框所对应的煤块进行分拨，通过上述方法，能够对传输带上的煤炭进行准确识别，并且根据煤炭与非煤杂质之间的位置关系准确分配到相应的拨手，能够有效提高煤块的分拣效率以及准确性。

【技术实现步骤摘要】
基于图像识别的煤炭分拣拨手控制方法
本专利技术涉及一种控制方法，尤其涉及一种基于图像识别的煤炭分拣拨手控制方法。
技术介绍
在煤炭开采中，煤炭被开采后需要对煤块进行分拣，这是由于在煤炭中混油石块、煤矸石等，现有技术中，煤炭分拣采用人工分拣的方式，这种方式存在效率低，而且浪费人力，因此，人们逐渐提出了基于图像的分拣方式，即将煤炭通过传输带进行传输，然后获取传输带上的煤块图像信息，然后根据图像信息控制相对应的拨手将煤炭分拣出来或者将煤炭中的石块、煤矸石等分拣出来，但是，现有的拨手控制中，往往不能准确将煤块进行分拣，从而造成分拣出来的煤块仍然混有大量的石块或者煤矸石等杂质，不利于后续煤炭的利用。因此，为了解决上述技术问题，继续提出一种新的技术手段。
技术实现思路
有鉴于此，本专利技术的目的是提供一种基于图像识别的煤炭分拣拨手控制方法，能够对传输带上的煤炭进行准确识别，并且根据煤炭与非煤杂质之间的位置关系准确分配到相应的拨手，能够有效提高煤块的分拣效率以及准确性。本专利技术提供的一种基于图像识别的煤炭分拣拨手控制方法，包括：基于边界框检测模型对每帧煤流图像进行处理并输出检测边界框；对检测边界框进行过滤处理并输出合法边界框；对合法边界框的形心坐标位置进行排序，根据合法边界框的形心位置与拨手的位置关系分配相对应的拨手对合法边界框所对应的煤块进行分拨。进一步，对检测边界框进行过滤处理包括：计算所有检测边界框中任一检测边界框与其他边界框的IoU值，并判断IoU值是否大于设定IoU阈值，如是，则舍弃当前边界框，如否，则进入下一步；判断当前检测边界框内的对象类别是否为煤，如是，则进入下一步；判断当前检测边界框的形心位置是否在检测边界框所在图像的注意力区域内，如是，则进入下一步；判断当前检测边界框的尺寸是否在设定阈值范围内，如是，则进入下一步；判断当前检测边界框与周围非煤检测边界框的位置是否合法，如是则当前检测边界框保存为合法边界框。进一步，判断当前检测边界框与周围非煤检测边界框的位置是否合法包括：建立坐标系，并以煤流方向为纵轴，以垂直于煤流方向的水平方向为横轴；判断当前检测边界框与非煤检测边界框在横轴延伸方向是否存在叠加区域，如是，判断当前检测边界框的在纵轴方向的尺寸是否小于设定阈值且非煤检测边界框的在纵轴方向的尺寸大于设定阈值，如是，则当前检测边界框与非煤检测边界框的位置不合法；判断当前检测边界框与非煤检测边界框在横轴延伸方向是否存在叠加区域，如否，则计算位置评估值R和评估值S，如果R＜S，则当前检测边界框和非煤检测边界框的位置不合法，其中：位置评估值R为当前检测边界框与非煤检测边界框在纵轴方向的垂直距离，S＝(H1-H2)/2；H1为当前检测边界框在纵轴方向的宽度，H2为拨手在纵轴方向上的宽度。进一步，检测边界框过滤处理之前还包括去重处理：将当前帧图像与前一帧图像进行对比，剔除重复图像。进一步，将当前帧图像与前一帧图像进行对比并剔除重复图像包括：将当前帧图像和前一帧图像的注意力区域进行尺寸缩减处理，得到两帧尺寸相同的图像；将两帧尺寸相同的图像进行灰度处理，然后进行离散余弦变换得到两个DCT矩阵；在分别在两个DCT矩阵中的左上角截取K*K的区域，形成两个K*K的两个子矩阵；将每个子矩阵中的每个元素与设定阈值进行比较得到两个哈希列表矩阵，具体包括：如果某个元素大于设定值，则将该元素所处位置置为1，如果该元素小于设定值，则置为0；分别计算两个哈希列表矩阵的汉明距离，将两个汉明距离作差运算，如果两个哈希列表矩阵的韩明距离之间的差值小于设定阈值，则判断当前帧图像和前一帧图像重复，剔除当前帧图像。进一步，根据合法边界框的形心位置与拨手的位置关系分配相对应的拨手包括：将合法边界框的形心位置按照以煤流方向为纵轴的坐标系中的纵轴坐标值大小进行排序；确定合法边界框的形心与拨手形心之间的距离；将当前帧图像中形心位置坐标值最小的合法边界框分配到形心距离最近的拨手，以此类推，直至将所有合法边界框分配完成；如果当前被分配的拨手已经被分配，则将当前合法边界框分配到形心距离次最近的拨手，以此类推。进一步，如果相邻两个合法边界框在纵坐标方向上之间的间距大于m，则将相邻两个边界框所对应的煤块分配到同一拨手，其中，m＝v×s，其中，v为煤流行进速度，s为拨手连续两次拨动煤块的时间间隔；如果相邻两个合法边界框的形心之间的距离小于拨手宽度的一半，则将该两个合法边界框所对应的煤块分配至同一拨手。本专利技术的有益效果：通过本专利技术，能够对传输带上的煤炭进行准确识别，并且根据煤炭与非煤杂质之间的位置关系准确分配到相应的拨手，能够有效提高煤块的分拣效率以及准确性。附图说明下面结合附图和实施例对本专利技术作进一步描述：图1为本专利技术的流程图。图2为本专利技术中注意力区域示意图。图3为煤块检测边界框和非煤检测边界框位置关系示意图。图4为另一种煤块检测边界框和非煤检测边界框位置关系示意图。图5为本专利技术中拨手分配示意图。图6为本专利技术检测边界框进行过滤处理流程图。图7为本专利技术剔除重复图像流程图。具体实施方式以下结合说明书附图对本专利技术做出进一步详细说明：本专利技术提供的一种基于图像识别的煤炭分拣拨手控制方法，包括：基于边界框检测模型对每帧煤流图像进行处理并输出检测边界框；对检测边界框进行过滤处理并输出合法边界框；对合法边界框的形心坐标位置进行排序，根据合法边界框的形心位置与拨手的位置关系分配相对应的拨手对合法边界框所对应的煤块进行分拨，通过上述方法，能够对传输带上的煤炭进行准确识别，并且根据煤炭与非煤杂质之间的位置关系准确分配到相应的拨手，能够有效提高煤块的分拣效率以及准确性。其中，通过设置在传输带正上方的工业相机实时捕获传输带上的煤流图像信息；上述中的检测边界框为能够覆盖煤块或者非煤杂质块的最小矩形框，如图2所示。本实施例中，对检测边界框进行过滤处理包括：计算所有检测边界框中任一检测边界框与其他边界框的IoU值，并判断IoU值是否大于设定IoU阈值，如是，则舍弃当前边界框，如否，则进入下一步；判断当前检测边界框内的对象类别是否为煤，在实际中，煤流中包含有煤块和非煤块，非煤块包括石块、煤矸石等，因此，需要从图像中识别出煤块，其中，通过现有的图像处理方法识别出煤块，如是，则进入下一步；判断当前检测边界框的形心位置是否在检测边界框所在图像的注意力区域内，如图2所示，注意力区域(英文简称为ROI)为一帧图形中所关注的区域，图2中实线矩形框表示1帧图像，两条虚线区域极为注意力区域；如是，则进入下一步；判断当前检测边界框的尺寸是否在设定阈值范围内，如是，则进入下一步；判断当前检测边界框与周围非煤检测边界框的位置是否合法，如本文档来自技高网...

【技术保护点】
1.一种基于图像识别的煤炭分拣拨手控制方法，其特征在于：包括：/n基于边界框检测模型对每帧煤流图像进行处理并输出检测边界框；/n对检测边界框进行过滤处理并输出合法边界框；/n对合法边界框的形心坐标位置进行排序，根据合法边界框的形心位置与拨手的位置关系分配相对应的拨手对合法边界框所对应的煤块进行分拨。/n

【技术特征摘要】
1.一种基于图像识别的煤炭分拣拨手控制方法，其特征在于：包括：
基于边界框检测模型对每帧煤流图像进行处理并输出检测边界框；
对检测边界框进行过滤处理并输出合法边界框；
对合法边界框的形心坐标位置进行排序，根据合法边界框的形心位置与拨手的位置关系分配相对应的拨手对合法边界框所对应的煤块进行分拨。


2.根据权利要求1所述基于图像识别的煤炭分拣拨手控制方法，其特征在于：对检测边界框进行过滤处理包括：
计算所有检测边界框中任一检测边界框与其他边界框的IoU值，并判断IoU值是否大于设定IoU阈值，如是，则舍弃当前边界框，如否，则进入下一步；
判断当前检测边界框内的对象类别是否为煤，如是，则进入下一步；
判断当前检测边界框的形心位置是否在检测边界框所在图像的注意力区域内，如是，则进入下一步；
判断当前检测边界框的尺寸是否在设定阈值范围内，如是，则进入下一步；
判断当前检测边界框与周围非煤检测边界框的位置是否合法，如是则当前检测边界框保存为合法边界框。


3.根据权利要求2所述基于图像识别的煤炭分拣拨手控制方法，其特征在于：判断当前检测边界框与周围非煤检测边界框的位置是否合法包括：
建立坐标系，并以煤流方向为纵轴，以垂直于煤流方向的水平方向为横轴；
判断当前检测边界框与非煤检测边界框在横轴延伸方向是否存在叠加区域，如是，判断当前检测边界框的在纵轴方向的尺寸是否小于设定阈值且非煤检测边界框的在纵轴方向的尺寸大于设定阈值，如是，则当前检测边界框与非煤检测边界框的位置不合法；
判断当前检测边界框与非煤检测边界框在横轴延伸方向是否存在叠加区域，如否，则计算位置评估值R和评估值S，如果R＜S，则当前检测边界框和非煤检测边界框的位置不合法，其中：位置评估值R为当前检测边界框与非煤检测边界框在纵轴方向的垂直距离，S＝(H1-H2)/2；H1为当前检测边界框在纵轴方向的宽度，H2为拨手在纵轴方向上的宽度。


4.根据权利要求2所述基...

【专利技术属性】
技术研发人员：段勃，杨东鑫，李浩澜，何杰，陈鹏，张杨，
申请(专利权)人：中科院计算所西部高等技术研究院，
类型：发明
国别省市：重庆;50