基于深度相机图像检测的煤矸识别方法技术

本发明专利技术公开了一种基于深度相机图像检测的煤矸识别方法，包括：S1、利用深度相机获取某一输送区域的深度图像和RGB图像；S2、根据深度图像对RGB图像进行预处理；S3、寻找出预处理之后的RGB图像中输送区域内煤炭和矸石的轮廓，并绘制出煤炭和矸石的最小外接矩形；S4、计算出最小外接矩形内指定位置的灰度平均值，若灰度平均值超过阈值，则判断该最小外接矩形内的物体为矸石，反之则为煤炭。本发明专利技术的煤矸识别过程快速，提高了实时性，识别时准确率高，在不增加硬件设施的前提下，提高了煤矸识别的效果。果。果。

【技术实现步骤摘要】
基于深度相机图像检测的煤矸识别方法


[0001]本专利技术属于煤矸识别
，具体涉及一种基于深度相机图像检测的煤矸识别方法。

技术介绍

[0002]在煤矿生产中常常伴有大量的矸石，这些矸石如不及时处理掉会影响煤炭的品质，故在开采后的煤矿中分拣出矸石能够有效提高煤炭的品质。因此，在煤矸分拣之前，如何准确而有效的识别出矸石是前提条件，现有煤矸识别算法基于RGB图像，这类煤矸识别方法存在如下劣势：图像中干扰因素较多直接影响检测效果，如煤炭和矸石的纹理等信息较多且相似度较高，容易产生误识别。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题之一。
[0004]为此，本专利技术提出一种基于深度相机图像检测的煤矸识别方法，该基于深度相机图像检测的煤矸识别方法具有将RGB图与深度图相融合，同时兼顾了煤矸识别准确率和实时性要求的优点。
[0005]根据本专利技术实施例的基于深度相机图像检测的煤矸识别方法，包括：S1、利用深度相机获取某一输送区域的深度图像和RGB图像；S2、根据深度图像对RGB图像进行预处理；S3、寻找出预处理之后的RGB图像中输送区域内煤炭和矸石的轮廓，并绘制出煤炭和矸石的最小外接矩形；S4、计算出最小外接矩形内指定位置的灰度平均值，若灰度平均值超过阈值，则判断该最小外接矩形内的物体为矸石，反之则为煤炭。
[0006]本专利技术的有益效果是，本专利技术利用深度相机对输送中的煤炭和矸石进行拍摄，从而同时获取深度图像和RGB图像，将深度图像和RGB图像进行结合预处理，从而能够更准确快速识别出煤炭和矸石的轮廓，并绘制出轮廓所对应的最小外接矩形，根据区域内指定位置的灰度平均值的大小来判断该最小外接矩形内的物体的类型，煤矸识别过程快速，提高了实时性，识别时准确率高，在不增加硬件设施的前提下，提高了煤矸识别的效果。
[0007]根据本专利技术一个实施例，在S2中预处理的操作包括校正对齐处理和提高对比度处理。
[0008]根据本专利技术一个实施例，在S2中经过校对齐后的RGB图像中融合了深度图像的地信息，形成为RGBD图像，将RGBD图像复制一份，将其中一份RGBD图像的背景色转换为黑色，然后利用卷积运算函数filter2D和拉普拉斯算子来提高对比度。
[0009]根据本专利技术一个实施例，Filter2D卷积运算公式为：
[0010][0011]，记为式(1)；其中，kernel(x
′
，y
′
)为一个单通道浮点型的矩阵；src为输入图像；anchor为内核的基准点，其默认值为(
‑
1，
‑
1)，说明位于kernel的中心位置；dst为输出图
像。
[0012]根据本专利技术一个实施例，拉普拉斯算子公式为：记为式(2)；其中，src为输入图像，dst为输出图像。
[0013]根据本专利技术一个实施例，所述S3包括：S31、将提高对比度之后的RGBD图像作为输入，利用寻找轮廓算法的函数findContours找寻到提高对比度之后的RGBD图像中物体的轮廓。
[0014]根据本专利技术一个实施例，所述S3还包括：S32、设定最小外接矩形的面积阈值，以滤除无效的最小外接矩形；S33、判断两个最小外接矩形是否由同一物体所产生，若两个最小外接矩形由同一物体所产生，则从两个最小外接矩形中筛选出该物体所对应的实际最小外接矩形。
[0015]根据本专利技术一个实施例，在S32中，滤除无效的最小外接矩形所用的约束公式为：α＜w
i
×
h
i
＜β，(0≤i≤contours_size)，记为公式(3)；其中，α为最小面积阈值，β为最大面积阈值，w
i
，h
i
分别表示第i个最小外接矩形的宽和高，contours_size为RGBD图像中总的轮廓数量。
[0016]根据本专利技术一个实施例，在S33中，判断两个最小外接矩形由同一物体所产生需要满足以下两个约束公式：(p
i
‑
p
j
)＜γ，(p＝x，y，w，h)，记为公式(4)；其中，w，h分别表示最小外接矩形的宽和高，x，y分别表示最小外接矩形内中心点的x坐标和y坐标，γ为距离阈值，i表示第i个最小外接矩形，j表示第j个最小外接矩形；|w
i
×
h
i
‑
w
j
×
h
j
|＜δ，记为公式(5)；其中，δ为面积差阈值，w
i
，h
i
分别表示第i个最小外接矩形的宽和高，w
j
，h
j
分别表示第j个最小外接矩形的宽和高。
[0017]根据本专利技术一个实施例，在S4中，在实际最小外接矩形的中心取5
×
5的像素区域，计算5
×
5的像素区域中三个通道灰度平均值之和，若小于135，则该区域对应的物体为煤炭，反之为矸石。
[0018]本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
[0019]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0020]本专利技术的上述和/或附加的方面和优点从下面附图对实施例的描述中将变得明显和容易理解，其中：
[0021]图1是本专利技术中基于深度相机图像检测的煤矸识别方法的流程图；
[0022]图2是本专利技术中深度相机获取的RGB图像；
[0023]图3是本专利技术中深度相机获取的深度图像；
[0024]图4是本专利技术中经过预处理后获得的RGBD图像；
[0025]图5是本专利技术的S3中绘制出煤炭和矸石的最小外接矩形后的图像；
[0026]图6是本专利技术的RGBD图像中煤矸识别后的效果图；
[0027]图7是本专利技术是图5结合深度图像之后所显示的效果图。
具体实施方式
[0028]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0029]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相机图像检测的煤矸识别方法，其特征在于，包括：S1、利用深度相机获取某一输送区域的深度图像和RGB图像；S2、根据深度图像对RGB图像进行预处理；S3、寻找出预处理之后的RGB图像中输送区域内煤炭和矸石的轮廓，并绘制出煤炭和矸石的最小外接矩形；S4、计算出最小外接矩形内指定位置的灰度平均值，若灰度平均值超过阈值，则判断该最小外接矩形内的物体为矸石，反之则为煤炭。2.根据权利要求1所述的基于深度相机图像检测的煤矸识别方法，其特征在于，在S2中预处理的操作包括校正对齐处理和提高对比度处理。3.根据权利要求2所述的基于深度相机图像检测的煤矸识别方法，其特征在于，在S2中经过校对齐后的RGB图像中融合了深度图像的地信息，形成为RGBD图像，将RGBD图像复制一份，将其中一份RGBD图像的背景色转换为黑色，然后利用卷积运算函数filter2D和拉普拉斯算子来提高对比度。4.根据权利要求3所述的基于深度相机图像检测的煤矸识别方法，其特征在于，Filter2D卷积运算公式为：，记为式(1)；其中，kernel(x
′
，y
′
)为一个单通道浮点型的矩阵；src为输入图像；anchor为内核的基准点，其默认值为(
‑
1，
‑
1)，说明位于kernel的中心位置；dst为输出图像。5.根据权利要求3所述的基于深度相机图像检测的煤矸识别方法，其特征在于，拉普拉斯算子公式为：记为式(2)；其中，src为输入图像，dst为输出图像。6.根据权利要求3所述的基于深度相机图像检测的煤矸识别方法，其特征在于，所述S3包括：S31、将提高对比度之后的RGBD图像作为输入，利用寻找轮廓算法的函数findContours找寻到提高对比度之后的RGBD图像中物体的轮廓。7.根据权利要求6所述的基于深度相机图像检测的煤矸识别方法，其特征在于，所述S3还包括：S32、设定最小外接矩形的面积阈值，以滤除无效的最小外接矩形；S33、判断两个最小外接矩形是否...

【专利技术属性】
技术研发人员：季亮，沈科，张袁浩，陈晓晶，周李兵，霍振龙，任书文，潘祥生，王国庆，
申请(专利权)人：中煤科工集团常州研究院有限公司，
类型：发明
国别省市：