本说明书实施例提供一种采煤作业中异常事件的检测方法、装置及设备。所述方法包括：获取采煤工作面的视频帧，从所述视频帧中识别所述采煤工作面中采煤机的滚筒的位置，以及所述采煤工作面的状态信息；所述状态信息包括以下至少一种：所述采煤工作面中液压支架的工作状态、以及所述采煤工作面中煤壁的厚薄状态；基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域，以基于所述视频帧中的危险区域确定是否存在异常事件。通过上述方式，确定的危险区域更加准确，在基于危险区域判定是否出现异常事件时，也可以得到更加准确的判定结果，避免出现误告警或漏告警。避免出现误告警或漏告警。避免出现误告警或漏告警。
【技术实现步骤摘要】
采煤作业中异常事件的检测方法、装置及设备
[0001]本公开涉及图像识别
，尤其涉及一种采煤作业中异常事件的检测方法、装置及设备。
技术介绍
[0002]在采煤作业过程中，存在诸多的安全隐患。比如，采煤机的滚筒在割煤的过程中，可能出现煤壁片帮的现象，如果此时工作人员或需要避免被损毁的其他对象位于滚筒周围的区域，可能会被片帮煤砸伤或损坏。或者采煤机滚筒旋转割煤的过程中，滚筒甩出的煤也可能会击中工作人员，造成人员伤亡。因而，在采煤作业过程中，可以通过采集采煤工作面的图像，基于图像检测是否存在工作人员或需要避免被损毁的其他对象位于危险区域等异常事件，并及时发出告警。但是由于采煤环境下，摄像头通常会被污染，导致采集的图像比较模糊，造成识别结果不够准确。
技术实现思路
[0003]本公开提供一种采煤作业中异常事件的检测方法、装置及设备。
[0004]根据本公开实施例的第一方面，提供一种采煤作业中异常事件的检测方法，所述方法包括：
[0005]获取采煤工作面的视频帧；
[0006]从所述视频帧中识别所述采煤工作面中采煤机的滚筒的位置，以及所述采煤工作面的状态信息；所述状态信息包括以下至少一种：所述采煤工作面中液压支架的工作状态、以及所述采煤工作面中煤壁的厚薄状态；
[0007]基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域，以基于所述视频帧中的危险区域确定是否存在异常事件。
[0008]在一些实施例中，所述基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域，包括：
[0009]在基于所述状态信息确定所识别到的滚筒的位置准确的情况下，基于所述滚筒的位置从所述视频帧中确定危险区域。
[0010]在一些实施例中，所述液压支架包括位于所述滚筒附近的多个液压支架，所述状态信息包括所述多个液压支架的工作状态，所述基于所述状态信息确定所识别到的滚筒的位置准确，包括：
[0011]基于所述视频帧从所述多个液压支架中确定护帮板处于关闭状态的第一液压支架，在所述第一液压支架的位置与所述滚筒的位置符合预设的第一位置关系的情况下，确定所识别到的滚筒的位置准确；和/或
[0012]基于所述视频帧从多个液压支架中确定处于推溜状态的第二液压支架，在所述第二液压支架的位置与所述滚筒的位置符合预设的第二位置关系的情况下，确定所识别到的滚筒的位置准确；和/或
[0013]基于所述视频帧从多个液压支架中确定处于移架状态的第三液压支架，在所述第三液压支架的位置与所述滚筒的位置符合预设的第三位置关系的情况下，确定所识别到的滚筒的位置准确。
[0014]在一些实施例中，所述状态信息包括所述煤壁的厚薄状态，所述基于所述状态信息确定所识别到的滚筒的位置准确，包括：
[0015]在基于所述视频帧确定位于所述滚筒第一侧的煤壁的厚度大于位于所述滚筒第二侧的煤壁的厚度的情况下，确定所识别到的所述滚筒的位置准确，其中，所述第二侧指向所述第一侧的方向为所述采煤机的移动方向。
[0016]在一些实施例中，在基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域之后，所述方法还包括：
[0017]获取所述视频帧的下一帧视频帧；
[0018]确定所述采煤机在所述视频帧以及所述下一帧视频帧中的位置偏移量；
[0019]基于所述视频帧中的危险区域以及所述位置偏移量确定所述下一帧视频帧中的危险区域。
[0020]在一些实施例中，所述采煤工作面上方间隔地分布多个图像采集装置，所述视频帧由所述多个图像采集装置中的第一图像采集装置采集，所述方法还包括：
[0021]基于所述多个图像采集装置中除所述第一图像采集装置以外的其他图像采集装置，与所述第一图像采集装置的相对位置关系，将所述视频帧中的危险区域映射到所述其他图像采集装置采集的视频帧中，以确定所述其他图像采集装置采集的视频帧中的危险区域。
[0022]在一些实施例中，所述方法还包括：
[0023]基于所述视频帧中各对象的位置、以及采集所述视频帧的图像采集装置在采煤工作面的位置，确定所述各对象在采煤工作面的位置，并基于所确定的位置确定所述各对象在采煤工作面的动画中对应的动画形象，其中，所述动画用于展示所述采煤工作面的实时状态；
[0024]基于从所述视频帧识别到的所述各对象的状态更新所述动画中所述各对象对应的动画形象的状态，并将更新后的动画展示给用户。
[0025]在一些实施例中，所述基于所述危险区域确定是否存在异常事件，包括：
[0026]从所述视频帧中检测目标对象，得到所述目标对象对应的检测框；
[0027]在所述目标对象对应的检测框左下角的顶点位于所述危险区域内的情况下，则确定出现异常。
[0028]根据本公开实施例的第二方面，提供一种采煤作业中异常事件的检测装置，所述装置包括：
[0029]获取模块，用于获取采煤工作面的视频帧；
[0030]识别模块，用于从所述视频帧中识别所述采煤工作面中采煤机的滚筒的位置，以及所述采煤工作面的状态信息；所述状态信息包括以下至少一种：所述采煤工作面中液压支架的工作状态、以及所述采煤工作面中煤壁的厚薄状态；
[0031]检测模块，用于基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域，以基于所述视频帧中的危险区域确定是否存在异常事件。根据本公开实施例
的第三方面，提供一种电子设备，所述电子设备包括处理器、存储器、存储在所述存储器可供所述处理器执行的计算机指令，所述处理器执行所述计算机指令时，可实现上述第一方面提及的方法。
[0032]根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述存储介质上存储有计算机指令，所述计算机指令被执行时实现上述第一方面提及的方法。
[0033]本公开实施例中，在基于采集的视频图像确定危险区域时，除了检测采煤机滚筒的位置，还可以进一步识别采煤工作面的状态信息，其中，该状态信息可以是视频图像中可以用于辅助判定采煤机滚筒的位置的各类信息，比如，可以是液压支架的工作状态、煤壁的厚薄状态中的一种或多种，然后可以结合识别到的滚筒的位置和这些状态信息共同确定危险区域，以基于危险区域判定采煤作业中是否存在异常事件。通过从视频图像中识别采煤机滚筒的位置，以及液压支架的工作状态和/或煤壁的厚薄状态等，然后结合上述信息共同确定危险区域所在的位置，相比于直接基于识别的滚筒位置确定危险区域，确定的危险区域更加准确，在基于危险区域判定是否出现异常事件时，也可以得到更加准确的判定结果，降低误告警或漏告警的概率。
[0034]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
[0035]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0036]图1(a)是本公开本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种采煤作业中异常事件的检测方法，其特征在于，所述方法包括：获取采煤工作面的视频帧；从所述视频帧中识别所述采煤工作面中采煤机的滚筒的位置，以及所述采煤工作面的状态信息；所述状态信息包括以下至少一种：所述采煤工作面中液压支架的工作状态、以及所述采煤工作面中煤壁的厚薄状态；基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域，以基于所述视频帧中的危险区域确定是否存在异常事件。2.根据权利要求1所述的方法，其特征在于，所述基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域，包括：在基于所述状态信息确定所识别到的滚筒的位置准确的情况下，基于所述滚筒的位置从所述视频帧中确定危险区域。3.根据权利要求2所述的方法，其特征在于，所述液压支架包括位于所述滚筒附近的多个液压支架，所述状态信息包括所述多个液压支架的工作状态，所述基于所述状态信息确定所识别到的滚筒的位置准确，包括：基于所述视频帧从所述多个液压支架中确定护帮板处于关闭状态的第一液压支架，在所述第一液压支架的位置与所述滚筒的位置符合预设的第一位置关系的情况下，确定所识别到的滚筒的位置准确；和/或基于所述视频帧从多个液压支架中确定处于推溜状态的第二液压支架，在所述第二液压支架的位置与所述滚筒的位置符合预设的第二位置关系的情况下，确定所识别到的滚筒的位置准确；和/或基于所述视频帧从多个液压支架中确定处于移架状态的第三液压支架，在所述第三液压支架的位置与所述滚筒的位置符合预设的第三位置关系的情况下，确定所识别到的滚筒的位置准确。4.根据权利要求2
‑
3任一项所述的方法，其特征在于，所述状态信息包括所述煤壁的厚薄状态，所述基于所述状态信息确定所识别到的滚筒的位置准确，包括：在基于所述视频帧确定位于所述滚筒第一侧的煤壁的厚度大于位于所述滚筒第二侧的煤壁的厚度的情况下，确定所识别到的所述滚筒的位置准确，其中，所述第二侧指向所述第一侧的方向为所述采煤机的移动方向。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，在基于所识别到的滚筒的位置以及所述状态信息从所述视频帧中确定危险区域之后，所述方法还包括：获取所述视频帧的下一帧视频帧；确定所述采煤机在所述视频帧以及所述...
【专利技术属性】
技术研发人员：李帆，李艳民，闵旺华，成功，王治方，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。