使用增强现实设备控制人机协作的方法、装置和系统制造方法及图纸

本发明专利技术公开了一种使用增强现实设备控制人机协作的方法、装置和系统。该方法包括：增强现实设备与工业机器人建立通讯连接；增强现实设备获取操作信息，响应于操作信息执行对应的操作；增强现实设备生成控制指令发送到工业机器人，其中，工业机器人根据控制指令执行对应操作。通过本发明专利技术，达到了通过增强现实设备辅助工业生产提高效率和安全性的效果。

Methods, devices and systems that use augmented reality devices to control man-machine collaboration

The invention discloses a method, device and system for controlling man-machine collaboration using an augmented reality device. The method includes: augmented reality equipment and industrial robots to establish communication links; augmented reality devices to obtain the operation information in response to execute corresponding operation information; augmented reality equipment to generate control commands sent to the robot, the robot industry, according to the control instruction corresponding to the operation. Through the invention, the effect of enhancing the efficiency and safety of the industrial production by augmented reality equipment is achieved.

【技术实现步骤摘要】
使用增强现实设备控制人机协作的方法、装置和系统
本专利技术涉及增强现实领域，具体而言，涉及一种使用增强现实设备控制人机协作的方法、装置和系统。
技术介绍
随着人类步入工业4.0时代，工业生产对效率和智能程度的需求越来越高。而在这个过程中，人机交互和数据呈现的及时性与高效性至关重要。尽管在大多数现代化的工业厂房内，机器已经连入中央管理系统，工厂可以收集机器的数据并对机器加以控制，但是工业界依旧缺少让工人快速精准的获得信息、阅读信息、与信息交互的方案。目前常用的技术方案包括：1、为每一个生产设备配置显示和控制终端(如显示器、控制面板、手柄、键盘等)。2、工人携带联网的手持移动设备(如笔记本电脑、平板电脑、手机或者其他设备)。方案一：由于要为每一个设备布置显示设备和控制设备，硬件成本、安装成本、维护成本非常高，同时非常占用空间和能源。方案二：工人要长时间手持显示设备，双手被占用，无法同时进行工业生产。两个方案都有的缺陷：1、显示信息的空间受到屏幕大小的限制，如果想要更大的空间就需要更大的屏幕，成本提高，便携性下降。2、显示信息的方式不理想，信息只能呈现在屏幕上，工人需要频繁的低头或者转头查看显示屏幕，降低了操作效率。3、目前的显示屏幕只能显示平面信息，不能显示3D信息。4、交互方式受限，以上两种方案的交互都需要工人操作实体按键或者触碰显示屏幕，在不方便使用双手的情况下，操作很困难(比如在佩戴手套或者手上有油污的情况)。5、以上方案均无法实现人机协作，也就是根据人的操作速度、操作状态等情况实时调节机器人的工作速度。针对相关技术中工业生产中通过显示屏辅助操作时操作不便的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术的主要目的在于提供一种使用增强现实设备控制人机协作的方法、装置和系统，以解决相关技术中工业生产中通过显示屏辅助操作时操作不便的问题。为了实现上述目的，根据本专利技术的一个方面，提供了一种使用增强现实设备控制人机协作的方法，该方法包括：增强现实设备与工业机器人建立通讯连接；所述增强现实设备获取操作信息，响应于所述操作信息执行对应的操作；所述增强现实设备生成控制指令发送到所述工业机器人，其中，所述工业机器人根据所述控制指令执行对应操作。进一步地，所述增强现实设备获取操作信息包括以下任意一项或多项：所述增强现实设备获取用户发出的手势指令；所述增强现实设备获取用户发出的语音指令；所述增强现实设备通过识别用户眼球活动状态获取指令；所述增强现实设备获取所述工业机器人发送的操作信息；所述增强现实设备通过图像识别技术，解析实时采集的图像获取操作信息；所述增强现实设备获取生产线控制中心发出的操作信息。进一步地，在所述增强现实设备获取操作信息之后，所述方法还包括：所述增强现实设备根据所述操作信息更新显示内容；所述增强现实设备根据所述操作信息，使用处理器模块，生成机器人运动控制指令；所述增强现实设备根据所述操作信息，使用处理器模块，生成生产线的操作者的工作数据，发送至生产线控制中心；所述增强现实设备根据所述操作信息确定所述工业机器人的工作速率，生成机器人速率控制指令，其中，所述工业机器人的工作速率用于配合当前生产线的操作者的操作速率。进一步地，所述增强现实设备根据所述操作信息更新显示内容包括：所述增强现实设备根据所述操作信息确定下一步操作对象；所述增强现实设备生成并显示下一步操作的提示信息；所述增强现实设备更新并显示工业机器人的运动速度，当前位置和关节角度；所述增强现实设备显示工业机器人的电机温度。进一步地，所述增强现实设备生成并显示下一步操作的提示信息包括：在待操作对象上显示下一步操作的提示图标或文字或3D模型；和/或在所述增强现实设备视野中显示下一步操作的提示图标或文字或3D模型。进一步地，所述增强现实设备生成控制指令发送到所述工业机器人包括：所述增强现实设备生成开始、暂停、结束、变速、重启、复位、调节速度、改变模式的控制指令发送到所述工业机器人。进一步地，所述增强现实设备生成的控制指令包括：控制所述工业机器人改变自身运动状态，其中，所述自身运动状态包括所述工业机器人的运动速度，当前位置和关节角度；控制所述工业机器人改变操作对象；控制所述工业机器人改变操作模式；控制所述工业机器人改变操作速率；控制所述工业机器人将操作结果发回给所述增强现实设备。为了实现上述目的，根据本专利技术的另一方面，还提供了一种使用增强现实设备控制人机协作的装置，该装置包括：通讯单元，用于通过增强现实设备与工业机器人建立通讯连接；获取单元，用于通过所述增强现实设备获取操作信息，响应于所述操作信息执行对应的操作；处理单元，用于通过所述增强现实设备生成控制指令发送到所述工业机器人，其中，所述工业机器人根据所述控制指令执行对应操作。进一步地，所述获取单元用于执行以下任意一项或多项：通过所述增强现实设备获取用户发出的手势指令；通过所述增强现实设备获取用户发出的语音指令；通过所述增强现实设备通过识别用户眼球活动状态获取指令；通过所述增强现实设备通过图像识别技术，解析实时采集的图像获取操作信息；通过所述增强现实设备获取生产线控制中心发出的操作信息；通过所述增强现实设备获取所述工业机器人发送的操作信息。为了实现上述目的，根据本专利技术的另一方面，还提供了一种使用增强现实设备控制人机协作的控制系统，其特征在于，包括：工业设备；增强现实设备，所述增强现实设备用于本专利技术的使用增强现实设备控制人机协作的方法；工业机器人，用于与所述增强现实设备配合控制所述工业设备。本专利技术通过增强现实设备与工业机器人建立通讯连接；增强现实设备获取操作信息，响应于操作信息执行对应的操作；增强现实设备生成控制指令发送到工业机器人，其中，工业机器人根据控制指令执行对应操作，解决了相关技术中工业生产中通过显示屏辅助操作时操作不便的问题，进而达到了通过增强现实设备辅助工业生产提高效率和安全性的效果。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的使用增强现实设备控制人机协作的方法的流程图；图2是根据本专利技术实施例的使用增强现实设备控制人机协作的系统的示意图；以及图3是根据本专利技术实施例的使用增强现实设备控制人机协作的装置的示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方本文档来自技高网...

【技术保护点】
一种使用增强现实设备控制人机协作的方法，其特征在于，包括：增强现实设备与工业机器人建立通讯连接；所述增强现实设备获取操作信息，响应于所述操作信息执行对应的操作；所述增强现实设备生成控制指令发送到所述工业机器人，其中，所述工业机器人根据所述控制指令执行对应操作。

【技术特征摘要】
1.一种使用增强现实设备控制人机协作的方法，其特征在于，包括：增强现实设备与工业机器人建立通讯连接；所述增强现实设备获取操作信息，响应于所述操作信息执行对应的操作；所述增强现实设备生成控制指令发送到所述工业机器人，其中，所述工业机器人根据所述控制指令执行对应操作。2.根据权利要求1所述的方法，其特征在于，所述增强现实设备获取操作信息包括以下任意一项或多项：所述增强现实设备获取用户发出的手势指令；所述增强现实设备获取用户发出的语音指令；所述增强现实设备通过识别用户眼球或头部活动状态获取指令；所述增强现实设备获取所述工业机器人发送的操作信息；所述增强现实设备通过图像识别技术，解析实时采集的图像获取操作信息；所述增强现实设备获取生产线控制中心发出的操作信息。3.根据权利要求2所述的方法，其特征在于，在所述增强现实设备获取操作信息之后，所述方法还包括：所述增强现实设备根据所述操作信息更新显示内容；所述增强现实设备根据所述操作信息，使用处理器模块，生成机器人运动控制指令；所述增强现实设备根据所述操作信息，使用处理器模块，生成生产线的操作者的工作数据，发送至生产线控制中心；所述增强现实设备根据所述操作信息确定所述工业机器人的工作速率，生成机器人速率控制指令，其中，所述工业机器人的工作速率用于配合当前生产线的操作者的操作速率。4.根据权利要求3所述的方法，其特征在于，所述增强现实设备根据所述操作信息更新显示内容包括：所述增强现实设备根据所述操作信息确定下一步操作对象；所述增强现实设备生成并显示下一步操作的提示信息；所述增强现实设备更新并显示工业机器人的运动速度，当前位置和关节角度；所述增强现实设备显示工业机器人的电机温度。5.根据权利要求4所述的方法，其特征在于，所述增强现实设备生成并显示下一步操作的提示信息包括：在待操作对象上显示下一步操作的提示图标或文字或3...

【专利技术属性】
技术研发人员：翁鹏飞，徐驰，肖冰，
申请(专利权)人：杭州太若科技有限公司，
类型：发明
国别省市：浙江,33