机械臂的远程控制方法、装置、系统及存储介质制造方法及图纸

本发明专利技术适用计算机技术领域，提供了一种机械臂的远程控制方法、装置、系统及存储介质，该方法包括：接收AR眼镜识别出的用户手势信息，对用户手势信息进行分析，获得分析结果，依据分析结果生成用户手势信息对应的机械臂控制指令，将机械臂控制指令发送给机械臂的控制单元，从而借助AR眼镜实现机械臂的远程手势控制，提高了机械臂控制的安全性和便捷性，提高了机械臂的控制效果。

Remote Control Method, Device, System and Storage Medium of Manipulator

The invention is applicable to the field of computer technology, and provides a remote control method, device, system and storage medium of a manipulator. The method includes: receiving user gesture information recognized by AR glasses, analyzing user gesture information, obtaining analysis results, generating control instructions of the manipulator corresponding to user gesture information according to the analysis results, and sending control instructions of the manipulator. The control unit of the manipulator is given, and the remote gesture control of the manipulator is realized by AR glasses. The safety and convenience of the manipulator control are improved, and the control effect of the manipulator is improved.

【技术实现步骤摘要】
机械臂的远程控制方法、装置、系统及存储介质
本专利技术属于计算机
，尤其涉及一种机械臂的远程控制方法、装置、系统及存储介质。
技术介绍
机械臂是一种仿人类手臂功能的机械装置，为人们提供了一种远距离与周围环境进行交互的方法，交互过程高效且安全系数较高，可以完成高难度任务。此外，机械臂机动灵活、精度高、速度快的特点，使得机械臂在人们的生产、生活中扮演者越来越重要的角色，例如在工业生产领域，机械臂代替人们完成搬运、喷漆、焊接等重复性劳动，达到降低生产成本、实现标准化生产的目的。目前，机械臂手臂产业已经构成了20亿美元的工业产值。另外，在医疗领域，外科医生可以通过操作机械臂手柄进行手术，可以完成普通手术很难或者无法达到的精度，例如由直观外科手术(IntuitiveSurgical)公司开发的达芬奇手术系统，可以协助外科医生完成外科手术，并且比传统的外科手术更精确。然而，在很多情况下出于经济性或者安全性的考虑，需要人们远距离操作机械臂。比如近些年随着恐怖活动的日益猖獗，传统的反恐方式越来越受到严峻的考验，为了保护人们的生命财产安全，远距离操作机械臂拆除、搬运、引爆炸弹的方式已经受到各国重视。
技术实现思路
本专利技术的目的在于提供一种机械臂的远程控制方法、装置、系统及存储介质，旨在解决由于现有技术中近距离控制机械臂，导致机械臂控制安全性不高的问题。一方面，本专利技术提供了一种机械臂的远程控制方法，所述方法包括下述步骤：接收AR眼镜识别出的用户手势信息；对所述用户手势信息进行分析，获得分析结果；依据所述分析结果，生成所述用户手势信息对应的机械臂控制指令；将所述机械臂控制指令发送给机械臂的控制单元。另一方面，本专利技术提供了一种机械臂的远程控制装置，所述装置包括：手势信息接收单元，用于接收AR眼镜识别出的用户手势信息；手势分析单元，用于对所述用户手势信息进行分析，获得分析结果；指令生成单元，用于依据所述分析结果，生成所述用户手势信息对应的机械臂控制指令；以及指令发送单元，用于将所述机械臂控制指令发送给机械臂的控制单元。另一方面，本专利技术还提供了一种机械臂的远程控制系统，所述系统包括：AR眼镜，用于识别用户手势，获得用户手势信息；服务器，用于接收AR眼镜识别出的用户手势信息，对所述用户手势信息进行分析，获得分析结果，依据所述分析结果，生成所述用户手势信息对应的机械臂控制指令，将所述机械臂控制指令发送给机械臂的控制单元；控制单元，用于执行所述机械臂控制指令，对所述机械臂进行控制；以及所述机械臂。另一方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述机械臂的远程控制方法所述的步骤。本专利技术接收AR眼镜识别出的用户手势信息，对用户手势信息进行分析，获得分析结果，依据分析结果，生成用户手势信息对应的机械臂控制指令，将机械臂控制指令发送给机械臂的控制单元，从而借助AR眼镜实现机械臂的远程手势控制，提高了机械臂控制的安全性和便捷性，提高可机械臂的控制效果。附图说明图1是本专利技术实施例一提供的机械臂的远程控制方法的实现流程图；图2是本专利技术实施例二提供的机械臂的远程控制装置的结构示意图；图3是本专利技术实施例二提供的机械臂的远程控制装置的优选结构示意图；以及图4是本专利技术实施例三提供的机械臂的远程控制系统的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述：实施例一：图1示出了本专利技术实施例一提供的机械臂的远程控制方法的实现流程，为了便于说明，仅示出了与本专利技术实施例相关的部分，详述如下：在步骤S101中，接收AR眼镜识别出的用户手势信息。本专利技术实施例适用于与AR眼镜连接的数据处理平台或设备。AR眼镜为增强现实(AugmentedReality)眼镜，可以实时通过自身的传感器捕捉现实世界的目标对象和目标对象的动作，输出目标对象的虚拟模型。在本专利技术实施例中，目标对象为用户手部，AR眼镜通过摄像头拍摄场景图像，识别场景图像中的用户手部，当识别到场景图像中的用户手部时，实时捕捉用户手部的运动情况，获得用户手势信息。由于机械臂有多个机械臂关节，AR眼镜在捕捉用户手部的运动情况时，可以确定在AR眼镜的显示范围内用户手部所在的机械臂控制区域和用户手部的移动轨迹，因此，用户手势信息包括用户手部所在的机械臂控制区域和用户手部的移动轨迹。优选地，预先构建用户手部模型，将用户手部模型发送至AR眼镜，当AR眼镜识别到用户手部并捕捉用户手部的运动情况时，将AR眼镜中的用户手部模型与识别到的用户手部进行配准，从而在用户手部发生移动时AR眼镜中的用户手部模型同步移动，提高机械臂远程控制时的增强现实效果。优选地，AR眼镜的目标对象还包括机械臂，在接收AR眼镜识别出的用户手势信息之前，接收AR眼镜拍摄机械臂的图像，依据机械臂的图像搭建机械臂的机械臂模型，将机械臂模型发送至AR眼镜，由AR眼镜输出机械臂模型，并将机械臂输出的机械臂模型与机械臂模型进行配准，从而使得用户观察到的机械臂模型与现实中的机械臂模型的位置和姿态相同，提高机械臂远程控制时的增强现实效果。在步骤S102中，对用户手势信息进行分析，获得分析结果。在本专利技术实施例中，用户手势信息包括用户手部所在的机械臂控制区域和用户手部的移动轨迹。在接收到AR眼镜发送的用户手势信息时，对用户手势信息进行分析，以确定用户手势所操作的机械臂关节和用户手势操作该机械臂关节的移动方向。由于AR眼镜输出的机械臂模型和现实场景中机械臂的位置、姿态相同，依据用户手部在AR眼镜内所在的机械臂控制区域，可以确定用户手部所操作的机械臂关节。获取用户手部的移动轨迹的移动方向，该移动方向即在用户的操作下机械臂关节的移动方向。优选地，机械臂有6个机械臂关节，即6个自由度，假设为x关节、y关节、z关节、a关节、b关节和c关节，判断用户手部所在的机械臂控制区域所对应的机械臂关节，在依据移动轨迹移动方向确定用户手部控制该机械臂关节朝哪个方向移动，当控制x关节朝左移动时，分析结果为用户手势为x-手势，当控制x关节朝右移动时，分析结果为用户手势为x+手势，同样，当控制y关节、z关节、a关节、b关节或者c关节时，可以分析为y+、y-、z+、z-、a+、a-、b+、b-、c+或者c-，从而实现对用户手势的分析，提高机械臂远程控制的准确度和效果。此外，用户手势可能同时操作两个或两个以上的机械臂关节进行移动，此时需要分别确定用户手势操作每个机械臂关节的移动方向。在步骤S103中，依据分析结果，生成用户手势对应的机械臂控制指令。在本专利技术实施例中，在对用户手势信息进行分析后，获得用户手势所操作的机械臂关节和在用户手势操作下机械臂关节的移动方向，再获取用户手势信息中移动轨迹的长度，该长度为在用户手势操作下机械臂关节的移动距离。依据用户手势所操作的机械臂关节、机械臂关节的移动方向和机械臂关节的移动距离，生成机械臂控制指令。在步骤S104中，将机械臂控制指令发送给机械臂的控制单元。在本专利技术实施例中，将机械臂控制指令发送给机械臂的本文档来自技高网...

【技术保护点】
1.一种机械臂的远程控制方法，其特征在于，所述方法包括下述步骤：接收AR眼镜识别出的用户手势信息；对所述用户手势信息进行分析，获得分析结果；依据所述分析结果，生成所述用户手势信息对应的机械臂控制指令；将所述机械臂控制指令发送给机械臂的控制单元。

【技术特征摘要】
1.一种机械臂的远程控制方法，其特征在于，所述方法包括下述步骤：接收AR眼镜识别出的用户手势信息；对所述用户手势信息进行分析，获得分析结果；依据所述分析结果，生成所述用户手势信息对应的机械臂控制指令；将所述机械臂控制指令发送给机械臂的控制单元。2.如权利要求1所述的方法，其特征在于，所述用户手势信息包括用户手部所在的机械臂控制区域和所述用户手部的移动轨迹。3.如权利要求2所述的方法，其特征在于，对所述用户手势信息进行分析的步骤，包括：依据所述用户手部所在的机械臂控制区域，确定用户所操作的机械臂关节；依据所述用户手部的移动轨迹，确定在所述用户的操作下所述机械臂关节的移动方向。4.如权利要求3所述的方法，其特征在于，生成所述用户手势信息对应的机械臂控制指令的步骤，包括：依据所述用户手部的移动轨迹，确定在所述用户的操作下所述机械臂关节的移动距离；依据所述用户所操作的机械臂关节、所述机械臂关节的移动方向和所述机械臂关节的移动距离，生成所述机械臂控制指令。5.如权利要求1所述的方法，其特征在于，接收AR眼镜识别出的用户手势信息的步骤之前，所述方法还包括：接收所述AR眼镜拍摄所述机械臂的图像，依据所述机械臂的图像搭建所述机械臂的机械臂模型；通过所述AR眼镜输出所述机械臂模型，并将所述AR眼镜输出的所述机械臂模型与所述机械臂图像进行配准。6.一种机械臂的远程控制装置，其...

【专利技术属性】
技术研发人员：石闻天，石大明，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44