一种多特征融合的煤矸识别方法技术

本发明专利技术提供一种多特征融合的煤矸识别方法，该方法包括：通过深度相机采集视野范围内待识别煤矸的二维图像和三维点云；基于二维图像的图像特征进行目标检测，得到煤矸预测结果；基于三维点云进行体积估计，得到待识别煤矸的煤矸体积，基于煤矸体积和待识别煤矸的煤矸重量，计算煤矸密度；基于煤矸密度进行类别预测，得到待识别煤矸的第二类别信息，基于煤矸预测结果中的第一类别信息，以及第二类别信息，确定待识别煤矸的煤矸识别结果，克服了传统煤矸识别准确率和效率低下，计算过程复杂，实时性和环保性较差的缺陷，实现了安全环保的煤矸识别，提升了煤矸识别的精确度和识别效率，兼顾了实时性和准确性，为后续的煤矸分选提供了关键支撑。提供了关键支撑。提供了关键支撑。

【技术实现步骤摘要】
一种多特征融合的煤矸识别方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种多特征融合的煤矸识别方法。

技术介绍

[0002]煤炭开采过程中不可避免夹杂石块、铁块等非煤物质，其中最为普遍的杂质是矸石，其占原煤产量的15％
‑
20％，这严重影响了煤炭的品质。并且，当大量矸石混杂在煤炭中时不仅会造成运输成本增加，更会降低煤炭的燃烧效率并释放有害气体污染环境。因此，对原煤的煤矸分选势在必行，而煤矸分选的核心在于煤炭和矸石的准确识别。
[0003]传统的煤矸分选主要由人工完成，但人工排矸不但劳动强度大、工作效率低，而且会对人体造成伤害。因此，自动化的煤矸分选方式应运而生，目前自动化的煤矸分选主要有基于射线穿透力的方法和基于图像识别的方法，其中射线识别法对于粒径大的煤矸石穿透力弱，且射线产生电离辐射，无法满足安全环保的要求，而图像识别法虽然在一定程度上能够减轻上述问题，但是其在面对复杂工况条件时，如存在黑矸、矸石沾有煤粉、煤矸浸水、光线变化等，识别准确率低下。
[0004]因此，如何实现安全环保、准确率高、实时性强的煤矸识别，为快速精准的煤矸分选奠定基础，促进矿山煤矸分选产业快速发展，成为了当前亟待解决的技术问题。

技术实现思路

[0005]本专利技术提供一种多特征融合的煤矸识别方法，用以解决现有技术中煤矸识别的准确率和效率低下，计算过程复杂，计算误差大，实时性和环保性较差的缺陷，实现了快速精准的煤矸识别，兼顾了实时性和准确性，为煤矸分选任务奠定了基础。
[0006]本专利技术提供一种多特征融合的煤矸识别方法，包括：
[0007]通过深度相机采集视野范围内待识别煤矸的二维图像和三维点云；
[0008]基于所述二维图像的图像特征进行目标检测，得到煤矸预测结果，所述煤矸预测结果中包括所述待识别煤矸的第一类别信息；
[0009]基于所述三维点云进行体积估计，得到所述待识别煤矸的煤矸体积，基于所述煤矸体积和所述待识别煤矸的煤矸重量，计算煤矸密度，基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别信息；
[0010]基于所述煤矸预测结果中的第一类别信息，以及基于所述煤矸密度获取的第二类别信息，确定所述待识别煤矸的煤矸识别结果。
[0011]根据本专利技术提供的一种多特征融合的煤矸识别方法，所述基于所述三维点云进行体积估计，得到所述待识别煤矸的煤矸体积，包括：
[0012]对所述三维点云进行点云滤波，得到所述待识别煤矸的目标点云；
[0013]对所述目标点云进行三角剖分，得到所述目标点云的三角形表面；
[0014]以传送所述待识别煤矸的传送带的平面作为参考平面，基于所述三角形表面，求取所述目标点云相对所述参考平面的体积，作为所述待识别煤矸的煤矸体积。
[0015]根据本专利技术提供的一种多特征融合的煤矸识别方法，所述煤矸预测结果还包括所述待识别煤矸的数量信息和位置信息；
[0016]所述对所述三维点云进行点云滤波，得到所述待识别煤矸的目标点云，包括：
[0017]对所述三维点云进行点云滤波，得到所述待识别煤矸的初始点云；
[0018]使用欧氏距离对所述初始点云进行点云聚类，得到初始点云聚类；
[0019]基于所述初始点云聚类中的点云数量，从所述初始点云聚类中筛选得到候选点云聚类；
[0020]基于所述煤矸预测结果中的数量信息和位置信息，对所述候选点云聚类进行点云分割，得到各个待识别煤矸的目标点云。
[0021]根据本专利技术提供的一种多特征融合的煤矸识别方法，确定所述各个待识别煤矸的目标点云的算法为如下公式：
[0022][0023]其中，F(X
i
)表示第i个待识别煤矸的目标点云，X
i
表示第i个待识别煤矸的位置信息，X
i
是第i个待识别煤矸的中心点像素坐标三角化得到的对应世界坐标系下的中心点三维坐标，cluster
l
表示候选点云聚类，O为候选点云聚类的数量，d(X
i
,cluster
l
)表示第i个待识别煤矸的中心点三维坐标到各候选点云聚类的候选聚类中心的距离，N为待识别煤矸的数量，且O>N。
[0024]根据本专利技术提供的一种多特征融合的煤矸识别方法，所述基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别信息，包括：
[0025]基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别；
[0026]确定煤矸密度区间，并对所述煤矸密度区间进行等距划分，得到多个密度子区间，所述煤矸密度区间基于煤炭密度和矸石密度确定；
[0027]基于所述煤矸密度、所述各个密度子区间，以及所述各个密度子区间对应的置信度，确定所述第二类别对应的类别置信度；
[0028]基于所述第二类别，以及类别置信度，确定第二类别信息。
[0029]根据本专利技术提供的一种多特征融合的煤矸识别方法，所述基于所述煤矸密度、所述各个密度子区间，以及所述各个密度子区间对应的置信度，确定所述第二类别对应的类别置信度，包括：
[0030]确定各个密度子区间对应的置信度，所述置信度基于对应密度子区间的区间上限密度和区间下限密度与所述煤炭密度和所述矸石密度之间的差距确定；
[0031]从所述各个密度子区间中，确定所述煤矸密度所处的目标密度子区间，将所述目标密度子区间对应的置信度确定为所述第二类别对应的类别置信度。
[0032]根据本专利技术提供的一种多特征融合的煤矸识别方法，确定所述第二类别对应的类别置信度的算法为如下公式：
[0033][0034]其中，表示第二类别对应的类别置信度，j表示第二类别，j＝0表示煤炭，j＝1表示矸石，x
i
表示第i个待识别煤矸，ρ表示煤矸密度，[ρ
k
,ρ
k+1
]为煤矸密度所处的
目标密度子区间，M为密度子区间的数量，h
k
(x
i
)为目标密度子区间对应的置信度。
[0035]根据本专利技术提供的一种多特征融合的煤矸识别方法，所述第一类别信息包括第一类别及其对应的类别置信度，所述第二类别信息包括第二类别及其对应的类别置信度；
[0036]所述基于所述煤矸预测结果中的第一类别信息，以及所述第二类别信息，确定所述待识别煤矸的煤矸识别结果，包括：
[0037]对比所述第一类别信息中的类别置信度和预设置信度阈值；
[0038]在对比结果指示所述第一类别信息中的类别置信度小于等于所述预设置信度阈值的情况下，基于所述第一类别及其对应的类别置信度，以及所述第二类别及其对应的类别置信度，确定煤炭和矸石各自对应的类别置信度均值；
[0039]从所述类别置信度均值中确定最大类别置信度均值，并将所述最大类别置信度均值对应的煤炭或矸石，确定为所述待识别煤矸的煤矸识别结果。
[0040]根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多特征融合的煤矸识别方法，其特征在于，包括：通过深度相机采集视野范围内待识别煤矸的二维图像和三维点云；基于所述二维图像的图像特征进行目标检测，得到煤矸预测结果，所述煤矸预测结果中包括所述待识别煤矸的第一类别信息；基于所述三维点云进行体积估计，得到所述待识别煤矸的煤矸体积，基于所述煤矸体积和所述待识别煤矸的煤矸重量，计算煤矸密度，基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别信息；基于所述煤矸预测结果中的第一类别信息，以及基于所述煤矸密度获取的第二类别信息，确定所述待识别煤矸的煤矸识别结果。2.根据权利要求1所述的多特征融合的煤矸识别方法，其特征在于，所述基于所述三维点云进行体积估计，得到所述待识别煤矸的煤矸体积，包括：对所述三维点云进行点云滤波，得到所述待识别煤矸的目标点云；对所述目标点云进行三角剖分，得到所述目标点云的三角形表面；以传送所述待识别煤矸的传送带的平面作为参考平面，基于所述三角形表面，求取所述目标点云相对所述参考平面的体积，作为所述待识别煤矸的煤矸体积。3.根据权利要求2所述的多特征融合的煤矸识别方法，其特征在于，所述煤矸预测结果还包括所述待识别煤矸的数量信息和位置信息；所述对所述三维点云进行点云滤波，得到所述待识别煤矸的目标点云，包括：对所述三维点云进行点云滤波，得到所述待识别煤矸的初始点云；使用欧氏距离对所述初始点云进行点云聚类，得到初始点云聚类；基于所述初始点云聚类中的点云数量，从所述初始点云聚类中筛选得到候选点云聚类；基于所述煤矸预测结果中的数量信息和位置信息，对所述候选点云聚类进行点云分割，得到各个待识别煤矸的目标点云。4.根据权利要求3所述的多特征融合的煤矸识别方法，其特征在于，确定所述各个待识别煤矸的目标点云的算法为如下公式：其中，F(X
i
)表示第i个待识别煤矸的目标点云，X
i
表示第i个待识别煤矸的位置信息，X
i
是第i个待识别煤矸的中心点像素坐标三角化得到的对应世界坐标系下的中心点三维坐标，cluster
l
表示候选点云聚类，O为候选点云聚类的数量，d(X
i
,cluster
l
)表示第i个待识别煤矸的中心点三维坐标到各候选点云聚类的候选聚类中心的距离，N为待识别煤矸的数量，且O>N。5.根据权利要求1至4中任一项所述的多特征融合的煤矸识别方法，其特征在于，所述基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别信息，包括：基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别；确定煤矸密度区间，并对所述煤矸密度区间进行等距划分，得到多个密度子区间，所述煤矸密度区间基于煤炭密度和矸石密度确定...

【专利技术属性】
技术研发人员：游博，李学恩，王红星，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：