一种基于计算机视觉的煤矿作业区标定方法技术

本发明专利技术公开了一种基于计算机视觉的煤矿作业区标定方法，涉及煤矿作业区标定技术领域，包括以下步骤：搭建并训练物体二维检测与识别的深度学习神经网络模型；搭建并训练物体三维检测的深度学习神经网络模型；采集RGB图像作为所述物体二维检测与识别的深度学习神经网络模型的输入，获取作业车辆的二维检测框和对应型号；裁剪获取的二维检测框中的RGB图片内容作为所述三维检测的深度学习神经网络模型的输入，获取作业车辆底座的三维检测框；确定作业车辆在图像中的像素规格特征；确定作业车辆在实际中的规格特征。本发明专利技术获取作业车辆在图像中的三维工作区，确定出作业车辆应该到达的区域，帮助作业车辆在规定的工作区域作业，减少安全隐患。

【技术实现步骤摘要】
一种基于计算机视觉的煤矿作业区标定方法
本专利技术涉及煤矿作业区标定
，具体来说，涉及一种基于计算机视觉的煤矿作业区标定方法。
技术介绍
在煤矿作业中，不管是有人驾驶的车辆，还是无人驾驶的车辆，都需要在指定的工作区域工作，一旦发生越界，将可能导致严重的生产事故。摄像头监控在现实生活中有着广泛的应用，而且不用繁琐的配置，可以方便的安装到各种场景。目前自动驾驶，工厂自动作业等技术都利用了计算机视觉的方法进行辅助，并取得了良好的效果。采用卷积神经网络的深度学习技术的方法可以自动提取物体的特征，进行精准的定位和分类。但由于传统的物体二维检测无法准确地根据距离划定挖掘机周围的工作区。因此，需要对作业区域做标定，并对作业中的车辆做实时的跟踪，使得车辆只能在标定的区域中工作。目前的做法是采用在作业区外设置固定位置的UWB(超带宽)定位设备，在车辆中设置移动UWB定位设备，通过测量脉冲信号从固定UWB定位设备出发，到从车辆中移动UWB定位设备返回固定UWB定位平台的时间，来推算出车辆的位置，以检测车辆是否越过工作区的边界。实际应用中，需要在固定的UWB设备之间、固定UWB设备与车载的移动UWB设备之间做位置坐标的校准。然而，在浅层煤矿作业区，作业场所位置、地貌变化很频繁，土层、煤层、爆破层交错，各层的组合没有规律，土方反复剥离，因此目前的技术对作业区标定有难度，常用的UWB定位方案必须随着作业区的变化而大范围挪动位置，且一旦挪动，需要专业技术人员到场重新刷新坐标系统，因此使用极不便利。针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中的问题，本专利技术提出一种基于计算机视觉的煤矿作业区标定方法，以克服现有相关技术所存在的上述技术问题。本专利技术的技术方案是这样实现的：一种基于计算机视觉的煤矿作业区标定方法，包括以下步骤：步骤S1，搭建并训练物体二维检测与识别的深度学习神经网络模型；步骤S2，搭建并训练物体三维检测的深度学习神经网络模型；步骤S3，采集RGB图像作为所述物体二维检测与识别的深度学习神经网络模型的输入，获取作业车辆的二维检测框和对应型号；步骤S4，裁剪获取的二维检测框中RGB图像的内容作为所述三维检测的深度学习神经网络模型的输入，获取作业车辆底座的三维检测框；步骤S5，确定作业车辆在图像中的像素规格特征；步骤S6，确定作业车辆在实际中的规格特征；步骤S7，确定作业车辆在图像中的三维工作区。进一步的，所述搭建并训练物体二维检测与识别的深度学习神经网络模型，包括以下步骤：采集采矿作业区同时包含作业车辆的RGB图像；人工标注采集的RGB图像中作业车辆的二维标注框，同时标注作业车辆的型号，获取标注图像；把采集的RGB图像作为输入，将二维标注框和标注型号作为标签，进行训练获取物体二维检测与识别的深度学习神经网络模型。进一步的，所述搭建并训练物体三维检测的深度学习神经网络模型，包括以下步骤：多获取的标注图像就行作业车辆区域裁剪，将裁剪后的作业车辆区域作用新的数据集，人工标作业车辆底盘的三维标注框；把裁剪下来的作业车辆区域作为输入，将作业车辆区域的三维标注框作为标签，进行训练获取物体三维检测的深度学习神经网络。进一步的，输入物体二维检测与识别的深度学习神经网络模型的图像分辨率为512×512；输入物体三维检测的深度学习神经网络的图像分辨率为64×64。进一步的，所述采集RGB图像包括作业车辆元素特征信息。进一步的，所述作业车辆元素包括运输车和挖掘机。进一步的，所述采集RGB图像为高清摄像头，其摄像头距离工作区的距离小于200米。进一步的，包括以下步骤：步骤S8，指令作业车辆驶入工作区，步骤S9，确定作业车辆的三维检测框是否与获取的三维工作区吻合，若吻合则进行作业指令。本专利技术的有益效果：本专利技术基于计算机视觉的煤矿作业区标定方法，通过采集RGB图像作为物体二维检测与识别的深度学习神经网络模型的输入，获取作业车辆的二维检测框和对应型号，裁剪获取的二维检测框中的RGB图像内容作为三维检测的深度学习神经网络模型的输入，获取作业车辆底座的三维检测框，并确定作业车辆在图像中的像素规格特征和确定作业车辆在实际中的规格特征，从而获取作业车辆在图像中的三维工作区，确定出作业车辆应该到达的区域，帮助作业车辆在规定的工作区域作业，减少安全隐患。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的一种基于计算机视觉的煤矿作业区标定方法的流程示意图；图2是根据本专利技术实施例的一种基于计算机视觉的煤矿作业区标定方法的三维作业区标定的流程示意图；图3是根据本专利技术实施例的一种基于计算机视觉的煤矿作业区标定方法的车辆二维检测与识别的深度卷积神经网络训练示意图；图4是根据本专利技术实施例的一种基于计算机视觉的煤矿作业区标定方法的车辆三维检测的深度卷积神经网络训练示意图；图5是根据本专利技术实施例的一种基于计算机视觉的煤矿作业区标定方法的车辆二维检测与识别模型的深度卷积神经网络框架示意图；图6是根据本专利技术实施例的一种基于计算机视觉的煤矿作业区标定方法的车辆三维检测模型的深度卷积神经网络框架示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。根据本专利技术的实施例，提供了一种基于计算机视觉的煤矿作业区标定方法。如图1-图2所示，根据本专利技术实施例的基于计算机视觉的煤矿作业区标定方法，包括以下步骤：步骤S1，搭建并训练物体二维检测与识别的深度学习神经网络模型；步骤S2，搭建并训练物体三维检测的深度学习神经网络模型；步骤S3，采集RGB图像作为所述物体二维检测与识别的深度学习神经网络模型的输入，获取作业车辆的二维检测框和对应型号；步骤S4，裁剪获取的二维检测框中RGB图像的内容作为所述三维检测的深度学习神经网络模型的输入，获取作业车辆底座的三维检测框；步骤S5，确定作业车辆在图像中的像素规格特征；步骤S6，确定作业车辆在实际中的规格特征；步骤S7，确定作业车辆在图像中的三维工作区。其中，所述搭建并训练物体二维检测与识别的深度学习神经网络模型，包括以下步骤：采集采矿作业区同时包含作业车辆的RGB图像；人工标注采集的RGB图像中作业车辆的二维标注框，同时标注作业车辆的型号本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉的煤矿作业区标定方法，其特征在于，包括以下步骤：/n搭建并训练物体二维检测与识别的深度学习神经网络模型；/n搭建并训练物体三维检测的深度学习神经网络模型；/n采集RGB图像作为所述物体二维检测与识别的深度学习神经网络模型的输入，获取作业车辆的二维检测框和对应型号；/n裁剪获取的二维检测框中RGB图像的内容作为所述三维检测的深度学习神经网络模型的输入，获取作业车辆底座的三维检测框；/n确定作业车辆在图像中的像素规格特征；/n确定作业车辆在实际中的规格特征；/n确定作业车辆在图像中的三维工作区。/n

【技术特征摘要】
1.一种基于计算机视觉的煤矿作业区标定方法，其特征在于，包括以下步骤：
搭建并训练物体二维检测与识别的深度学习神经网络模型；
搭建并训练物体三维检测的深度学习神经网络模型；
采集RGB图像作为所述物体二维检测与识别的深度学习神经网络模型的输入，获取作业车辆的二维检测框和对应型号；
裁剪获取的二维检测框中RGB图像的内容作为所述三维检测的深度学习神经网络模型的输入，获取作业车辆底座的三维检测框；
确定作业车辆在图像中的像素规格特征；
确定作业车辆在实际中的规格特征；
确定作业车辆在图像中的三维工作区。


2.根据权利要求1所述的基于计算机视觉的煤矿作业区标定方法，其特征在于，所述搭建并训练物体二维检测与识别的深度学习神经网络模型，包括以下步骤：
采集采矿作业区同时包含作业车辆的RGB图像；
人工标注采集的RGB图像中作业车辆的二维标注框，同时标注作业车辆的型号，获取标注图像；
把采集的RGB图像作为输入，将二维标注框和标注型号作为标签，进行训练获取物体二维检测与识别的深度学习神经网络模型。


3.根据权利要求2所述的基于计算机视觉的煤矿作业区标定方法，其特征在于，所述搭建并训练物体三维检测的深度学习神经网络模型，包括以下步骤...

【专利技术属性】
技术研发人员：陈咖宁，陈加忠，李综艺，舒琴，黄帅，
申请(专利权)人：嘉兴泊令科技有限公司，武汉华链科技有限公司，
类型：发明
国别省市：浙江;33