面向叉车司机实操考核与教练的控制器档位检测方法及系统技术方案

本发明专利技术公开了一种面向叉车司机实操考核与教练的控制器档位检测方法，该方法包括：调节摄像头至对准位置并固定，调节叉车各个档把至不同档位，捕获对应的档位图像，利用Mask R‑CNN目标识别与图像分割框架获取并存储档把的边界框R

【技术实现步骤摘要】
面向叉车司机实操考核与教练的控制器档位检测方法及系统
本专利技术涉及叉车司机实操考核与教练领域，尤其涉及一种面向叉车司机实操考核与教练的控制器档位检测方法及系统。
技术介绍
叉车指在工厂厂区等特定区域使用的专用机动工业车辆，包括平衡重式叉车、前移式叉车、侧面式叉车、插腿式叉车、托盘堆垛车和三向堆垛车等。被广泛应用于各种搬运场景，是物流搬运的主力军。叉车事故不仅会对设备本身、周围环境及设备造成严重财产损失，往往也会造成人员伤亡事故。伴随货物运输量的不断上升，叉车的保有量也不断增加，如何从源头上减少叉车事故，成为亟待解决的问题。为了减少叉车事故的发生，必须要提高叉车司机的驾驶能力，需要规范叉车的实操考核与教练过程。驾驶员通过控制叉车档把来实现叉车、叉架作业，叉车档位能够很好的反映叉车的状态。面向叉车司机实操考核与教练的控制器档位检测，主要包含摄像系统和基于深度学习的档把识别方法。摄像系统如专利CN111594729A，利用固定夹、螺母、螺纹筒等机械机构实现摄像头的安装固定、位姿调节。档位识别方法如专利CN101813495A、CN107725768A等，采用电路设计、传感器检方法，实现对车辆档把当前档位信息的检测。上述具体专利对比文件为：1)“场考用微动档位识别器”，专利号CN101813495A。该专利技术提供一种场考用微动档位识别器，包括以下部分：印刷电路板、安装固定支架和活动导块。印刷电路板上安装有微动开关以及引出电缆接口；各微动开关的一端连接在一起，另一端则通过引出电缆接口用汽车接插件和汽车线缆分别连接到档位解码器上；所述的安装固定支架是在四个对角上分别开有4个限位滑槽的圆形、四方形或八边形的板块；活动导块是一个四方形或八边形板块，在板块中间开有一个略比拍档杆外径稍大一点的中心圆孔；印刷电路板被固定在安装固定支架下面；安装固定支架套进拍档杆通过条状固定脚板与变速箱或驾驶室固定连接，活动导块位于固定支架上面并通过3条或4条L形角码与拍档杆固定连接。本专利技术的识别方法与上述不同，为通过摄像头采集驾驶室内档位图像，采用深度学习技术识别出当前档把位置，通过与计算与标定档位距离来进行档位判别。2)“一种用于车辆的档位识别装置及车辆”，专利号CN107725768A。该专利技术提供一种用于车辆的档位识别装置及车辆，车辆包括具有拨叉的变速箱，档位识别装置包括传感器，设于车辆的变速箱内，其具有触发开关，传感器配制成根据触发开关的状态确定拨叉所处的档位位置，输出与拨叉所处的档位位置相匹配的电压信号；控制器，与传感器通信连接，且配制成用于接收传感器输出的电压信号，并根据电压信号输出用于表征车辆的驻车机构档位的实际位置的指示信号；档位位置包括驻车档位和非驻车档位。本专利技术的档位识别方法与上述不同，为使用机器视觉+深度学习实现档把位置信息提取，对比标定档把坐标实现档位判断，该方法的实施要求低，适应的范围广，可在位置、角度发生一定变化的情况下仍能精确识别档把并判断其档位状态。3)“一种可调式摄像机支架”，专利号CN111594729A。该专利通过在相机支承柱顶部设立空心立柱，空心立柱内通过螺纹杆进行传动，螺纹杆外部套设升降盘，升降盘与升降托板固定连接，通过调节螺纹筒即可实现相机升降；螺纹筒与升降托板之间通过转轴转动连接，使摄像机安装座可以旋转，并可以通过锁紧旋钮进行锁紧，实现在拍摄过程前的相机姿态调节和拍摄过程中的相机固定。本专利技术与上述专利技术不同，采用深度学习攻克了档把位置信息提取、档位判断等识别难题，该方法的实施要求低，适应的范围广，可在位置、角度发生一定变化的情况下仍能精确识别档把并判断其档位状态。
技术实现思路
为解决上述技术问题，本专利技术的目的是提供一种面向叉车司机实操考核与教练的控制器档位检测方法及系统。本专利技术的目的通过以下的技术方案来实现：面向叉车司机实操考核与教练的控制器档位检测方法，包括：A调节摄像头至对准位置并固定，调节叉车各个档把至不同档位，捕获对应的档位图像，利用MaskR-CNN目标识别与图像分割框架获取并存储档把的边界框Rbd坐标信息计算并存储其形心坐标作为标定档位坐标；B获取叉车行驶过程中的图像，利用MaskR-CNN目标识别与图像分割框架获取并存储此时的档把的坐标信息计算其形心坐标并存储；C分别计算出叉车行驶实时图像中的档把坐标与标定档位坐标之间的距离，并相互比较，以使距离最小的标定档位为此时档位。面向叉车司机实操考核与教练的控制器档位检测系统，包括：摄像头固定支架、摄像头、上位机；所述：摄像头固定支架，用于在叉车上安装固定摄像头，能够进行微调；摄像头，用于实时捕获各个档把所处位置图像，并上传至上位机；上位机，用于识别上传图像中各个档把，进行档把区分及档位判断。与现有技术相比，本专利技术的一个或多个实施例可以具有如下优点：在叉车行驶前，固定机位的摄像头获取车内档杆位置图像传输到上位机，通过MaskR-CNN识别并存储各个档把不同档位的坐标信息，计算出不同档位下的形心坐标作为标定档位坐标，为档位判断提供基础。在叉车行驶过程中，摄像头实时采集驾驶室内图像信息，通过MaskR-CNN识别出当前图像中的档把，存储其位置坐标信息，并计算其形心坐标。分别计算出当前时刻档位坐标、标定档位坐标之间的距离，并相互比较，以使距离最小的档位作为此时档位，由此实现叉车行驶过程中的档位识别。附图说明图1是面向叉车司机实操考核与教练的控制器档位检测方法流程图。图2是面向叉车司机实操考核与教练的控制器档位检测方法示意图；图3a和3b是面向叉车司机实操考核与教练的控制器档位检测系统主视、左视图；图4是面向叉车司机实操考核与教练的控制器档位检测系统三维结构图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本专利技术作进一步详细的描述。如图1和图2所示，分别为面向叉车司机实操考核与教练的控制器档位检测方法流程图和检测方法示意图，包括以下步骤：步骤10系统在初次使用前，需要进行设备安装。摄像头固定支架的一端需固定在叉车车顶，另一端连接摄像头。调整摄像头位置，调节叉车各个档把至不同档位，捕获对应的档位图像。利用MaskR-CNN目标识别与图像分割框架获取并存储档把的边界框12Rbd坐标信息计算并存储形心11坐标作为后续档位判断基础；步骤20系统后续使用时，摄像头获取叉车行驶过程中的图像，利用MaskR-CNN目标识别与图像分割框架获取并存储此时的档把的坐标信息计算并存储其形心坐标步骤30分别计算出当前时刻档位坐标与原始档位坐标之间的距离，并相互比较，得出此时的档位。实施例1：驻车制动档把档位判断上述步骤10包括：将一个摄像机安装在方向盘正上方，建立图像像素坐标系，坐标原点O为图像左上顶点，u轴正方向为水平向右、v轴正方向为垂直向下。采集驻车制动档把不同档位的图像各I＝5张，并用MaskR-CNN识别驻车制本文档来自技高网...

【技术保护点】
1.一种面向叉车司机实操考核与教练的控制器档位检测方法，其特征在于，所述方法包括：/nA调节摄像头至对准位置并固定，调节叉车各个档把至不同档位，捕获对应的档位图像，利用Mask R-CNN目标识别与图像分割框架获取并存储档把的边界框R

【技术特征摘要】
1.一种面向叉车司机实操考核与教练的控制器档位检测方法，其特征在于，所述方法包括：
A调节摄像头至对准位置并固定，调节叉车各个档把至不同档位，捕获对应的档位图像，利用MaskR-CNN目标识别与图像分割框架获取并存储档把的边界框Rbd坐标信息计算并存储其形心坐标作为标定档位坐标；
B获取叉车行驶过程中的图像，利用MaskR-CNN目标识别与图像分割框架获取并存储此时的档把的坐标信息计算其形心坐标并存储；
C分别计算出叉车行驶实时图像中的档把坐标与标定档位坐标之间的距离，并相互比较，以使距离最小的标定档位为此时档位。


2.如权利要求1所述的面向叉车司机实操考核与教练的控制器档位检测方法，其特征在于，所述步骤A中，将一个摄像机安装在方向盘正上方，建立图像像素坐标系，坐标原点O为图像左上顶点，u轴正方向为水平向右、v轴正方向为垂直向下；
采集各个档把的不同档位的图像各I张，并用MaskR-CNN识别各个档把、获取并存储其边界框Rbd的坐标信息建立档把编号为n，档位编号为m的档把边界框Rbd-n集合



式中
则标定得到n档把m档位形心位置为：



式中，为的均值，分别为：



则n档把标定档位坐标n档把标定档位坐标集合Hpos-n分别为：




...

【专利技术属性】
技术研发人员：刘桂雄，周介祺，李伟，黄坚，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44