基于图像与声音融合的煤岩界面定位识别方法技术

本发明专利技术公开了一种基于图像与声音融合的煤岩界面定位识别方法，该方法直接面向煤岩界面识别任务，通过模拟采煤机司机利用视觉与听觉两种模态进行煤岩界面识别，从采煤场景视频中将滚筒截齿误入岩石的深度同割岩声音映射到图像中的定位距离进行匹配，由此确定煤岩分界面的位置，从而使得该方法具有较高的识别稳定性和识别正确率，为自动化采掘生产过程提供可靠的煤岩界面识别信息。可靠的煤岩界面识别信息。可靠的煤岩界面识别信息。

【技术实现步骤摘要】
基于图像与声音融合的煤岩界面定位识别方法


[0001]本专利技术属于煤岩界面识别方法领域，尤其涉及一种基于图像与声音融合的煤岩界面定位识别方法。

技术介绍

[0002]煤岩界面识别即用一种方法自动识别出煤岩对象的分界面。在煤炭生产过程中，煤岩界面识别技术可广泛应用于滚筒采煤、掘进、放顶煤开采等生产环节，对于减少采掘工作面作业人员、减轻工人劳动强度、改善作业环境、实现煤矿安全高效生产具有重要意义。
[0003]已有多种煤岩界面识别方法，如自然γ射线探测法、雷达探测法、应力截齿法、红外探测法、有功功率监测法、震动检测法、声音检测法、粉尘检测法、记忆截割法等，但这些方法存在以下问题：
①
需要在现有设备上加装各类传感器获取信息，导致装置结构复杂，成本高。
②
采煤机滚筒、掘进机等设备在生产过程中受力复杂、振动剧烈、磨损严重、粉尘大，传感器部署比较困难，容易导致机械构件、传感器和电气线路受到损坏，装置可靠性差。
③
对于不同类型机械设备，传感器的最佳类型和信号拾取点的选择存在较大区别，需要进行个性化定制，系统的适应性差。
[0004]为解决上述问题，计算机视觉技术越来越受到重视并研发了一些基于图像技术的煤岩界面识别方法，然而已有方法只是通过视觉这一单独的模态进行识别，这往往受到煤矿井下光照、粉尘等的影响，致使在识别正确率和识别稳定性上还有很大的不足。
[0005]因此，需要一种解决或至少改善现有技术中固有的一个或多个问题的煤岩界面识别方法。
专利
技术实现思路

[0006]本专利技术的目的在于提供一种基于图像与声音融合的煤岩界面定位识别方法，该方法直接面向煤岩界面识别任务，模拟采煤机司机利用视觉与听觉两种模态进行煤岩界面识别，从采煤场景视频中将滚筒截齿误入岩石的深度同割岩声音投影到图像中的定位距离进行匹配，由此确定煤岩分界面的位置。该方法较为简洁且具有较高的识别正确率和识别稳定性，为自动化采掘生产过程提供可靠的煤岩界面识别信息。
[0007]根据一种实施例形式，提供一种基于图像与声音融合的煤岩界面定位识别方法，其特征在于：包括输入信号预处理模块、视觉子网模块、听觉子网模块、煤岩界面识别模块；所述输入信号预处理模块将摄像机所获取的采煤机滚筒切割煤岩时的视频分成图像流和音频流，将所述的图像流处理后输入视觉子网模块，将所述的音频流转换为声谱图后输入听觉子网模块；所述的视觉子网模块识别滚筒截齿上边缘与煤岩分界线的间距；所述的听觉子网模块识别割岩声音并定位声源位置；所述的煤岩界面识别模块融合图像与音频信息，根据识别的割岩声音，进行图像中滚筒截齿上边缘与煤岩分界线间距同声源映射位置的匹配判别，由此确定煤岩分界面的位置。
[0008]在进一步特定的但非限制性的形式中，所述输入信号预处理模块由图像与音频分
离单元、图像预处理单元及音频预处理单元组成；所述的图像与音频的分离单元将输入的视频信号分成图像流和音频流，所述的图像预处理单元基于生成对抗网络实现清晰化处理，所述的音频预处理单元基于小波变换将音频流转换为声谱图。
[0009]在进一步特定的但非限制性的形式中，所述视觉子网模块由图像特征提取网络及目标图像距离计算单元组成；所述图像特征提取网络提取图像中滚筒截齿的上边缘与煤岩分界线的特征，所述目标图像距离计算单元计算滚筒截齿上边缘与煤岩分界线的间距。
[0010]在进一步特定的但非限制性的形式中，所述听觉子网模块由音频特征提取网络及声音的判别单元组成；所述音频特征提取网络提取声谱图中割岩的声音特征，所述声音的判别单元根据割岩声音判别滚筒截齿误入岩层的状态。
[0011]在进一步特定的但非限制性的形式中，所述煤岩界面识别模块由视听融合网络、煤岩分界定位单元组成；所述视听融合网络将视觉子网模块输入的图像特征与听觉子网模块输入的割岩声音进行融合，所述煤岩分界定位单元将割岩声音定位映射到图像中的距离同图像中滚筒截齿上边缘与煤岩分界线的间距进行匹配，由此确定煤岩分界面的位置。
附图说明
[0012]通过以下说明，附图实施例变得显而易见，其仅以结合附图描述的至少一种优选但非限制性实施例的示例方式给出。
[0013]图1是本专利技术所述煤岩界面定位识别方法的框图。
[0014]图2是本专利技术所述煤岩界面定位识别方法的流程图。
具体实施方式
[0015]一种基于图像与声音融合的煤岩界面定位识别方法，包括如下步骤(流程见图2)：
[0016]A.采集煤矿井下采煤场景的视频，视频包括不同拍摄点、不同光照、不同拍摄角度等的视频，视频中包含了采煤机割煤场景的信息。将采煤场景视频分为图像流与音频流，将图形流中的图像进行清晰化处理，并将音频流中的音频信息转换成声谱图，其过程如下：
[0017]A1.针对煤岩界面识别问题有目的采集采煤场景视频，将采煤场景中的视频通过图像与音频分离单元将其分为图像流与音频流进行处理；
[0018]A2.将图像流中每一帧图像清晰化处理，由于煤矿井下亮度不够及采煤过程中存在大量粉尘等原因，导致采集的图像存在严重退化，使用基于生成对抗网络的方法对退化图像进行恢复，实现采煤场景视频图像的清晰化；
[0019]A3.将音频流中的声音转换为声谱图，使用小波变换的方法将时域表示的声音信息转换为时频表示的声谱图，即将音频处理转换成为图像处理问题；
[0020]B.提取视频中截割岩的音频特征，提取视频中的图像特征判别滚筒截齿误入岩石的深度，提取视频中截割岩的音频特征的步骤如下：
[0021]B11.将步骤A3中的声谱图输入到听觉子网络；
[0022]B12.提取割岩的声音特征；
[0023]B13.判断滚筒误入岩层的状态；
[0024]提取视频中的图像特征判别滚筒截齿误入岩石深度的过程如下：
[0025]B21.将步骤A2中清晰的采煤场景图像输入到视觉子网络；
[0026]B22.提取滚筒截齿上边缘与煤岩分界线的图像特征；
[0027]B23.计算滚筒截齿上边缘与煤岩分界线的间距；
[0028]C.判别煤岩分界，确定煤岩分界面位置的过程如下：
[0029]C1.将步骤B12提取割岩声音的特征与步骤B22提取滚筒截齿误入岩石深度的图像特征进行融合匹配；
[0030]C2.将步骤C1中割岩的声音特征映射到图像中，并计算其映射在图像中的距离；
[0031]C3.将步骤C2中割岩声音在图像中的映射距离同步骤B23中的间距进行匹配；
[0032]C4.根据图像中匹配结果的像素信息计算煤岩分界面的实际物理位置。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像与声音融合的煤岩界面定位识别方法，其特征在于：包括输入信号预处理模块、视觉子网模块、听觉子网模块、煤岩界面识别模块；所述的输入信号预处理模块将摄像机所获取的采煤机滚筒切割煤岩时的视频分成图像流和音频流，将所述的图像流处理后输入视觉子网模块，将所述的音频流转换为声谱图后输入听觉子网模块；所述的视觉子网模块识别滚筒截齿上边缘与煤岩分界线的间距；所述的听觉子网模块识别割岩声音并定位声源位置；所述的煤岩界面识别模块融合图像与音频信息，根据识别的割岩声音，进行图像中滚筒截齿上边缘与煤岩分界线间距同声源映射位置的匹配判别，由此确定煤岩分界面的位置。2.根据权利要求1所述煤岩界面定位识别方法，其特征在于，所述输入信号预处理模块由图像与音频的分离单元、图像预处理单元及音频预处理单元组成；所述的图像与音频的分离单元将输入的视频信号分成图像流和音频流，所述的图像预处理单元基于生成对抗网络实现清晰化处理，所述的音频预处理单元...

【专利技术属性】
技术研发人员：伍云霞，徐倩，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：