一种基于视觉的挖掘机作业位姿的监测方法技术

本发明专利技术公开了一种基于视觉的挖掘机作业位姿的监测方法。其步骤为:采用单目摄像头实时采集挖斗、小臂以及挖掘面的视频，框定监测视频中挖斗、小臂的位置，取得目标检测框的图像坐标信息；对小臂目标检测框内的图像进行分割；识别出小臂在图像中的位置及大小；再根据小臂、挖斗的真实尺寸，以及图像中小臂、挖斗相对位置及大小，拟合得到小臂、挖斗与摄像头的距离，确定挖斗与驾驶室的位置，以及动作状态；由定位设备计算出挖掘机挖掘点以及卸载点的位置，实现对挖掘机作业位姿的动态监测。本发明专利技术可以实现行政管理部门对挖掘机等工程设备对自然资源开发利用情况的在线监测，以及挖掘机业主对其设备实现在线统一管理，实时掌握其设备的工作状态。设备的工作状态。设备的工作状态。

【技术实现步骤摘要】
一种基于视觉的挖掘机作业位姿的监测方法


[0001]本专利技术属于挖掘机
，具体涉及一种基于视觉的挖掘机作业位姿的监测方法。

技术介绍

[0002]挖掘机是用途最广泛的工程机械之一，作为工程机械的主流产品，它在工业与民用建筑、交通运输、水利电力工程、矿山采掘以及军事工程等施工中起着极为重要的作用。在国土资源开发利用中，挖掘机也是最为重要的自然资源开发利用工程设备，加强对工程设备作业的管理与动态监测，实现对工程设备的定位、姿态的动态识别，可以有效的识别工程设备的开发利用内涵，进而实现加强自然资源监管和保护，提高对自然资源的集约利用程度，提升自然资源治理能力和治理手段的现代化水平。
[0003]近年来，国内外大量的企业和个人开展了挖掘机的姿态识别、定位的研究工作。如：卡特彼勒、小松、沃尔沃、日立、斗山，以及国内的徐工、三一、中联重科、山河智能、柳工等工程机械制造商为实现作业自动化均开展了大量的挖掘机姿态识别、定位的研究工作，且部分产品已经实现了自动化作业或者远程遥控作业。目前，对于挖掘机姿态的识别主要通过GPS导航系统完成其机体定位，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的挖掘机作业位姿的监测方法，其特征在于，包括以下步骤：步骤S1，采用单目摄像头实时采集挖斗、小臂以及挖掘面的视频，并对视频进行切片分割成不同时间点的图片，采用训练好的模型框定监测视频中挖斗、小臂的位置，确定挖斗的状态并取得挖斗、小臂目标检测框的图像坐标信息；步骤S2，对小臂目标检测框内的图像进行分割；步骤S3，图像中小臂的位置及宽度计算；步骤S4，挖斗距离驾驶室的实际位置估算；步骤S5，挖掘机作业点位置计算。2.根据权利要求1所述的基于视觉的挖掘机作业位姿的监测方法，其特征在于，所述步骤S1中训练好的模型采用以下步骤获得：通过摄像头在挖掘机驾驶室内采集大量的图片目标位置进行标签标注，采用随机抽样的方式将所采集的挖斗、小臂图像数据按一定比例划分为独立不重复的验证集和测试集；对输入图像进行处理，主要包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；进行训练及特征提取；目标检测。3.根据权利要求1所述的基于视觉的挖掘机作业位姿的监测方法，其特征在于，所述步骤S2中采用彩色图像反向投影或者Unet图像分割法进行图像分割。4.根据权利要求3所述的基于视觉的挖掘机作业位姿的监测方法，其特征在于，所述采用彩色图像反向投影分割法进行图像分割步骤为：对检测范围的图像放大；预处理图像中心区域像素提取；模板均值与标准方差的求取；高斯概率密度的计算；反向投影图像并分割。5.根据权利要求3所述的基于视觉的挖掘机作业位姿的监测方法，其特征在于...

【专利技术属性】
技术研发人员：刘敏，李亚涛，秦雅静，张林，周健，赵清林，张伟娜，项广鑫，曾凯，谈超，张钰浛，王楠，张一雯，陈瑗瑗，王劲刚，陈了然，
申请(专利权)人：湖南研几科技有限公司，
类型：发明
国别省市：