跨模态煤矸石分选方法及装置制造方法及图纸

本发明专利技术提供一种跨模态煤矸石分选方法及装置，属于煤矸石分选技术领域，所述跨模态煤矸石分选方法，包括：获取待分选煤矸石的N个模态的图像，其中，所述N个模态的图像是通过不同类型的成像设备采集得到的；将所述N个模态的图像输入至训练完成的煤矸石分选模型，得到所述待分选煤矸石的分选结果；其中，所述煤矸石分选模型是根据N个模态的煤矸石图像样本以及所述N个模态的煤矸石图像样本对应的实际检测结果进行训练后得到的，N为大于等于2的正整数。本发明专利技术通过采用一种新的煤矸石分选模型，基于多模态图像对煤矸石进行检测，使得多个模态的图像之间能够相互补偿图像信息，进而最后的检测结果相较于采用单模态图像而言更为准确。确。确。

【技术实现步骤摘要】
跨模态煤矸石分选方法及装置


[0001]本专利技术涉及煤矸石分选
，尤其涉及一种跨模态煤矸石分选方法及装置。

技术介绍

[0002]在传统能源行业中，煤矸石分选是煤炭生产的一个重要环节。近年来，煤矸石自动分选设备的广泛应用提高了煤炭生产的效率，然而，现有技术下，大多数的煤矸石分选设备采用单一检测方法，比如X射线探测，电磁探测等等，这些采用单一检测方法的煤矸石分选设备容易出现误检或难检的缺陷。

技术实现思路

[0003]本专利技术提供一种跨模态煤矸石分选方法及装置，用以解决现有技术下，采用单一检测方法检测煤矸石时容易出现误检或难检的缺陷，实现获取确定性更高的检测结果。
[0004]本专利技术提供一种跨模态煤矸石分选方法，包括：获取待分选煤矸石的N个模态的图像，其中，所述N个模态的图像是通过不同类型的成像设备采集得到的；将所述N个模态的图像输入至训练完成的煤矸石分选模型，得到所述待分选煤矸石的分选结果；其中，所述煤矸石分选模型是根据N个模态的煤矸石图像样本以及所述N个模态的煤矸石图像样本对应的实际检测结果进行训练后得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态煤矸石分选方法，其特征在于，包括：获取待分选煤矸石的N个模态的图像，其中，所述N个模态的图像是通过不同类型的成像设备采集得到的；将所述N个模态的图像输入至训练完成的煤矸石分选模型，得到所述待分选煤矸石的分选结果；其中，所述煤矸石分选模型是根据N个模态的煤矸石图像样本以及所述N个模态的煤矸石图像样本对应的实际检测结果进行训练后得到的，N为大于等于2的正整数。2.根据权利要求1所述的跨模态煤矸石分选方法，其特征在于，所述煤矸石分选模型包括特征图提取层、跨模态特征融合层和多模态图像检测层；其中，所述特征图提取层用于对所述N个模态的图像分别进行特征提取，输出所述N个模态的图像中各个模态的图像对应的卷积特征图；所述跨模态特征融合层用于跨模态融合所述N个模态的图像中各个模态的图像对应的卷积特征图，输出所述N个模态的图像中各个模态的图像对应的融合特征图；所述多模态图像检测层用于通过所述N个模态的图像中各个模态的图像对应的融合特征图对所述各个模态的图像中的煤矸石进行检测，得到所述各个模态的图像中的煤矸石检测结果，根据所述N个模态的图像之间的映射关系，输出所述N个模态的图像对应的煤矸石检测结果。3.根据权利要求2所述的跨模态煤矸石分选方法，其特征在于，所述跨模态融合所述N个模态的图像中各个模态的图像对应的卷积特征图，输出所述N个模态的图像中各个模态的图像对应的融合特征图，包括：将所述N个模态的图像中各个模态的图像对应的卷积特征图展平，得到各个模态的图像对应的多尺度特征向量；基于平面交叉注意力机制对所述各个模态的图像对应的多尺度特征向量进行融合，得到各个模态的图像对应的融合特征向量；将所述各个模态的图像对应的融合特征向量结合位置编码后输入至多头自注意力编码器，并将所述多头自注意力编码器输出的特征向量利用平面交叉注意力机制融合后输入至多头自注意力解码器，将所述多头自注意力解码器输出的特征向量恢复到所述卷积特征图的大小，得到所述各个模态的图像对应的融合特征图。4.根据权利要求1至3中任一项所述的跨模态煤矸石分选方法，其特征在于，所述方法还包括：训练得到所述煤矸石分选模型；其中，在N＝2的情况下，所述训练得到所述煤矸石分选模型，包括：获取第一图像样本、第二图像样本以及与所述第一图像样本和第二图像样本对应的实际检测结果，其中，所述第一图像样本和所述第二图像样本是通过不同类型的成像设备对相同的煤矸石样本进行拍摄得到的煤矸石图像样本；其中，所述第一图像样本组成第一输入样本集，所述第二图像样本组成第二输入样本集，与所述第一图像样本和第二图像样本对应的实际检测结果组成输出样本集；从所述第一输入样本集中随机选取一个第一图像样本作为第一输入训练样本，从所述第二输入样本集中取出与所述第一输入训练样本对应的第二图像样本作为第二输入训练样本；
将所述第一输入训练样本和所述第二输入训练样本输入到所述煤矸石分选模型中得到输出结果；从所述输出样本集中取出与所述第一输入训练样本和第二输入训练样本对应的实际检测结果，根据所述输出结果和所述实际检测结果计算损失值，并根据所述损失值更新所述煤矸石分选模型的参数；判断是否达到训练结束条件，若是，则保存当前迭代所述煤矸石分选模型的参数，获得训练完成的煤矸石分选训练模型，否则选取下一个第一输入训练样本和下一个第二输入训练样本进行训练；其中，所述将所述第一输入训练样本和所述第二输入训练样本输入到所述煤矸石分选模型中得到输出结果，包括：将所述第一输入训练样本输入到所述煤矸石分选模型的特征图提取层中得到第一输入卷积特征图，将所述第二输入训练样本输入到所述煤矸石分选模型的特征图提取模型得到第二输入卷积特征图；将所述第一输入卷积特征图输入到所述煤矸石分选模型的跨模态特征融合层中得到第一特征图，将所述第二卷积特征图输入到所述煤矸石分选模型的跨模态特征融合层得到第二特征图；将所述第一特征图和第二特征图输入到所述煤矸石分选模型的多模态图像检测层中，得到所述输出结果。5.根据权利要求4所述的跨模态煤矸石分选方法，其特征...

【专利技术属性】
技术研发人员：王海军，陶伟忠，胡小刚，张泽江，张博，张小勇，李永博，
申请(专利权)人：中科九创智能科技北京有限公司，
类型：发明
国别省市：