一种基于视觉控制引导的机械臂手势控制方法及系统技术方案

本发明专利技术实施例公开了一种基于视觉控制引导的机械臂手势控制方法及系统，包括步骤S1：选用相应手势数据集并进行数据预处理和数据增强；步骤S2:用目标检测算法YOLOv5对数据集进行训练，实现人手动作的识别与检测；步骤S3:加入目标跟踪算法Deep‑Sort，在完成手势识别步骤后对人手的运动轨迹进行实时跟踪；步骤S4:搭建机械臂手势识别控制环境，将上述深度学习模型部署到机械臂控制系统中；步骤S5:对机械臂的正逆运动学进行推导，设计机械臂的MPC动力学控制；步骤S6：采用MPC电气控制算法结合视觉模块通过RGB相机实现机械臂跟随人手实时运动。本发明专利技术识别手势的精准度高、鲁棒性强，跟踪人手轨迹的准确度、效率高。

【技术实现步骤摘要】

本专利技术涉及视觉控制，具体涉及一种基于视觉控制引导的机械臂手势控制方法及系统。

技术介绍

1、随着人工智能领域的大力发展，各种新型科学技术不断涌现。现如今人们对于人机交互的方式的创新和效率的提高的相关要求越来越高，从而促使了人工智能技术应用到人机交互过程中的需求的增加。针对上述现状和需求，本专利技术提出了一种较为新颖的视觉交互方式，旨在加强人机间的合作交流，提高生产生活效率，以便更加契合人工智能时代的发展潮流。

2、传统的人机交互的方式存在操作形式单一，操作过程较为繁琐等诸多问题，早已满足不了当今生产生活的需要。对于机械臂的控制而言，目前操纵机械臂运动的方式主要有示教器控制、操作手柄控制、键盘鼠标控制等，这些控制方法成本高、操作机械、便捷性不强，且需要对相应的操作人员进行一定的技能培训，花费了大量的时间和人工成本，从而造成了机械臂的应用在工业生产中效率低的问题。

技术实现思路

1、本专利技术的目的在于：为解决上述
技术介绍
中所提出的问题，本专利技术提供了一种基于视觉控制引导的机械臂手势控制方法及系本文档来自技高网...

【技术保护点】

1.一种基于视觉控制引导的机械臂手势控制方法，其特征在于，包括：

2.根据权利要求1所述的一种基于视觉控制引导的机械臂手势控制方法，其特征在于，在步骤S1中，对于手势数据集的预处理和数据增强，包含图片旋转、图片平移和添加噪声方法，扩充数据集的大小。

3.根据权利要求1所述的一种基于视觉控制引导的机械臂手势控制方法，其特征在于，在步骤S1中，在数据集中设计了四种手势分别对应机械臂的开始流程、结束流程、夹爪闭合、夹爪松开四个指令。

4.根据权利要求1所述的一种基于视觉控制引导的机械臂手势控制方法，其特征在于，在步骤S2中，对目标检测算法YOLOv5进行了轻...

【技术特征摘要】

1.一种基于视觉控制引导的机械臂手势控制方法，其特征在于，包括：

2.根据权利要求1所述的一种基于视觉控制引导的机械臂手势控制方法，其特征在于，在步骤s1中，对于手势数据集的预处理和数据增强，包含图片旋转、图片平移和添加噪声方法，扩充数据集的大小。

3.根据权利要求1所述的一种基于视觉控制引导的机械臂手势控制方法，其特征在于，在步骤s1中，在数据集中设计了四种手势分别对应机械臂的开始流程、结束流程、夹爪闭合、夹爪松开四个指令。

4.根据权利要求1所述的一种基于视觉控制引导的机械臂手势控制方法，其特征在于，在步骤s2中，对目标检测算法yolov5进行了轻量化改进，改进步骤包括：

5.根据权利要求1所述的一种基于视觉控制引导的机械臂手势控制方法，其特征在于，在步骤s3中，在轻量化改进后的目标检测算法yolov5中加入基于深度学习的目标跟踪算法deep-sort，目标检测算法yolov5用于实现对人手的识别和检测，deep-sort用于在完成识别过程后，为掌握手势的运动轨迹，实现对...

【专利技术属性】
技术研发人员：张青雷，徐成，周莹，段建国，秦际赟，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：