一种基于计算机视觉手势的液压挖掘机控制方法及系统技术方案

本发明专利技术提供一种基于计算机视觉手势的液压挖掘机控制方法及系统，涉及液压挖掘机智能控制技术领域，该方法包括以下步骤：S1：建立计算平台；S2：数据采集单元实时获取驾驶员手势动作，发送至数据处理单元；S3：数据处理单元对手势动作进行识别，输入至数据分析单元；S4：数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制；S5：挖掘机动作执行完毕。本发明专利技术一种基于计算机视觉手势的液压挖掘机控制方法控制方式可靠新颖，提高使用便捷性，降低使用难度及门槛，使普通人员也能迅速上手、简单操作挖掘机，实现自定义，具有较高的控制精度和工作效率，更加智能。

【技术实现步骤摘要】
一种基于计算机视觉手势的液压挖掘机控制方法及系统
本专利技术涉及液压挖掘机智能控制
，尤其是，本专利技术涉及一种基于计算机视觉手势的液压挖掘机控制方法及系统。
技术介绍
近些年，随着中国在道路交通、能源水利、城市建设等方面投入的加大，液压挖掘机在中国应用越来越普遍。绝大部分液压挖掘机都是通过驾驶室内驾驶人员操作完成。少数无线遥控挖掘机可以实现远程驾驶，人机分离。手势识别是目前热门的人机交互方式，在控制领域也得到了较为广泛的应用，采用手势识别，可以大大简化用户的操作。更趋向于人的交流行为习惯和符合人体工程学。现有技术中已经有采用手势识别技术对电子游戏，家庭设备进行控制，在无人机领域也有远程控制的方法。挖掘机控制通常由经过专业训练的操作者使用专业的遥控器或者在驾驶室来执行。操作者一般要经过大量的专业学习和训练才能操作控制挖掘机。例如，操作者使用遥控器，需要深入了解挖掘机的结构、油门延迟等专业知识，并实际驾驶操作训练，专业性很强。当前的挖掘机的控制比较专业、操作复杂、不直观，效率低。所以，如何设计一种基于计算机视觉手势的液压挖掘机控制方法或者系统，成为我们当前亟需解决的问题。
技术实现思路
本专利技术的目的在于提供一种执行简单，控制方式可靠新颖，提高使用便捷性，降低使用难度及门槛，使普通人员也能迅速上手、简单操作挖掘机，并能针对不同手势习惯的用户做不同的识别，实现自定义，具有较高的控制精度和工作效率，降低误识别误操作，更加智能的基于视觉手势的液压挖掘机控制方法。为达到上述目的，本专利技术采用如下技术方案得以实现的：一种基于计算机视觉手势的液压挖掘机控制方法，包括以下步骤：S1：建立计算平台，将数据采集单元和执行器分别与计算平台进行连接；S2：数据采集单元实时获取驾驶员手势动作指令信息，发送至计算平台上的数据处理单元；S3：数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至计算平台上的数据分析单元；S4：数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机动作控制，否则执行步骤S3；S5：挖掘机动作执行完毕，重复执行步骤S2。作为本专利技术的优选，执行步骤S1时，数据采集单元为标清摄像机或者红外补光器搭配单目摄像头，且数据采集单元安装在指挥人员前上方。作为本专利技术的优选，执行步骤S2时，数据处理单元为预先训练好的多任务级联卷积神经网络。作为本专利技术的优选，执行步骤S3时，数据处理单元对手势动作指令信息进行识别检测之前，采用中值滤波单元对图像进行预处理。作为本专利技术的优选，执行步骤S4之前，建立手势数据库，用以存储根据用户的手势习惯为其设定特定的手势；且根据用户的手势习惯为其设定特定的手势比对数据生成预定阈值数值。作为本专利技术的优选，执行步骤S4时，手势数据库设置有手势数据库更新单元，为指定用户设定的特定手势比对数据更新至手势数据库中。另一方面，本专利技术还提供一种基于计算机视觉手势的液压挖掘机控制系统，该系统包括：数据采集单元；数据处理单元；数据分析单元；执行器；数据采集单元实时获取驾驶员手势动作指令信息，发送至的数据处理单元，数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至数据分析单元，数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制。作为本专利技术的优选，该系统还包括：中值滤波单元，用于数据处理单元对手势动作指令信息进行识别检测之前，对图像进行预处理。作为本专利技术的优选，该系统还包括：智能生成模块，根据用户的手势习惯为其设定特定的手势生成建立手势数据库进行存储，且根据用户的手势习惯为其设定特定的手势比对数据生成预定阈值数值。作为本专利技术的优选，该系统还包括：手势数据库更新单元，用于将指定用户设定的特定手势比对数据更新至手势数据库中。本专利技术一种基于计算机视觉手势的液压挖掘机控制方法及系统有益效果在于：执行简单，控制方式可靠新颖，提高使用便捷性，降低使用难度及门槛，使普通人员也能迅速上手、简单操作挖掘机，并能针对不同手势习惯的用户做不同的识别，实现自定义，具有较高的控制精度和工作效率，降低误识别误操作，更加智能。附图说明图1为本专利技术一种基于计算机视觉手势的液压挖掘机控制方法的流程示意图；图2为本专利技术一种基于计算机视觉手势的液压挖掘机控制系统的连接示意图。具体实施方式下面结合附图和实施例对本专利技术做进一步的说明。近些年，随着中国在道路交通、能源水利、城市建设等方面投入的加大，液压挖掘机在中国应用越来越普遍。绝大部分液压挖掘机都是通过驾驶室内驾驶人员操作完成。少数无线遥控挖掘机可以实现远程驾驶，人机分离。手势识别是目前热门的人机交互方式，在控制领域也得到了较为广泛的应用，采用手势识别，可以大大简化用户的操作。更趋向于人的交流行为习惯和符合人体工程学。现有技术中已经有采用手势识别技术对电子游戏，家庭设备进行控制，在无人机领域也有远程控制的方法。实施例一：如图1所示，仅为本专利技术的其中一个实施例，一种基于计算机视觉手势的液压挖掘机控制方法，包括以下步骤：S1：建立计算平台，将数据采集单元和执行器分别与计算平台进行连接；在本专利技术中，计算平台上设置有数据处理单元、数据分析单元，且依次将数据采集单元、数据处理单元、数据分析单元以及执行器进行连接，保证信息有效交互。S2：数据采集单元实时获取驾驶员手势动作指令信息，发送至计算平台上的数据处理单元；在本专利技术的运用中，驾驶员无需花费长时间进行挖掘机的操作学习，仅仅只需要做出相应的控制手势即可，这样有效降低挖掘机的控制难度和门槛，且数据采集单元可以实时的获取驾驶员做出的手势动作，并将其转换为手势动作指令信息，发送至计算平台上的数据处理单元进行处理。S3：数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至计算平台上的数据分析单元；数据采集单元实时的获取驾驶员做出的手势动作，仅仅是一幅或者多幅含有的图像信息，需要先采用数据处理单元进行识别检测，获取最能代表驾驶员操作想法的手势图像，以此为结果进行分析。S4：数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制，否则执行步骤S3；数据处理单元进行识别检测之后的手势图像，经过数据分析单元进行分析和对比，与手势数据库中设定手势进行相识度对比，从而判断驾驶员手势的指令内容，将此指令传输给执行器，执行器驱动液压挖掘机工作执行部进行挖掘机的相应动作。S5：挖掘机动作执行完毕，重复执行步骤S2。该次驾驶员手势指令已经执行完毕，继续步骤S2，获取驾驶员下一个手势指令，并完成相应的控制动作和挖掘机的操作。而且，其中数据采集单元为标清摄像机或者红外补光器搭配单目摄像头，且数据采集单元安装在指挥人员前上方。数据采集单元可以是一个标清摄像机，安装于被监控指挥人员前上方5米内，可从前向拍摄面部。或者本专利技术数据采集单元采用红外补光器搭配单目摄像头，可于低照度条件下使用，更适合应用于野外，尤其夜间作业无日光照明时，仍可正常使用。数据处理单元为预先训练好的多任务级联卷积神经网络，具体来说数据处理单元是一台配备较高性能GPU的主机，并部署有预先训练好的卷积神经本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于，包括以下步骤：S1：建立计算平台，将数据采集单元和执行器分别与计算平台进行连接；S2：数据采集单元实时获取驾驶员手势动作指令信息，发送至计算平台上的数据处理单元；S3：数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至计算平台上的数据分析单元；S4：数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制；否则执行步骤S3；S5：挖掘机动作执行完毕，重复执行步骤S2。

【技术特征摘要】
1.一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于，包括以下步骤：S1：建立计算平台，将数据采集单元和执行器分别与计算平台进行连接；S2：数据采集单元实时获取驾驶员手势动作指令信息，发送至计算平台上的数据处理单元；S3：数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至计算平台上的数据分析单元；S4：数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制；否则执行步骤S3；S5：挖掘机动作执行完毕，重复执行步骤S2。2.根据权利要求1所述的一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于：执行步骤S1时，数据采集单元为标清摄像机或者红外补光器搭配单目摄像头，且数据采集单元安装在指挥人员前上方。3.根据权利要求1所述的一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于：执行步骤S2时，数据处理单元为预先训练好的多任务级联卷积神经网络。4.根据权利要求1所述的一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于：执行步骤S3时，数据处理单元对手势动作指令信息进行识别检测之前，采用中值滤波单元对图像进行预处理。5.根据权利要求1所述的一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于：执行步骤S4之前，建立手势数据库，用以存储根据用户的手势习惯为其设定特定的手势；且根据用户的手势习惯...

【专利技术属性】
技术研发人员：张树忠，黄豪杰，陈汉林，张兰，刘喜涛，李苏，方卫东，陈丙三，晏岱，
申请(专利权)人：福建工程学院，
类型：发明
国别省市：福建,35