一种基于数字孪生技术的AR辅助机器人远程操作系统技术方案

本发明专利技术公开了一种基于数字孪生技术的AR辅助机器人远程操作系统，包括AR虚拟模块、实体模块和服务器终端；AR虚拟模块，用于运行AR辅助机器人远程虚拟模型，辅助机器人远程操作；实体模块，包括机器人端和客户端，用于机器人端与客户端的信息交互；服务器终端，用于向机器人端和客户端发送操作指令，同时获取机器人端和客户端的实时数据；将所述实时数据输入至AR辅助机器人远程虚拟模型进行运算，接收AR辅助机器人远程虚拟模型运算所得的仿真结果，通过可视化的界面实现了与工业机器人的交互，灵活的与其他制造机器人协同合作，弥补传统机器人只能按照编辑好的程序操作的短板，且操作方式较为友好，能够大大减少操作员的工作量。能够大大减少操作员的工作量。能够大大减少操作员的工作量。

【技术实现步骤摘要】
一种基于数字孪生技术的AR辅助机器人远程操作系统


[0001]本专利技术涉及数字机器人
，具体涉及一种基于数字孪生技术的AR辅助机器人远程操作系统。

技术介绍

[0002]在当今竞争日益激烈的市场中，制造模式正在向大规模个性化和市场化转变，这相应地导致了对制造系统的高度灵活和自动化要求。为了实现制造业的大规模个性化，各种工业机器人和操作人员都被加入到了制造过程当中。然而，大多数现有机器人系统以常规方式执行预编程任务，没有多少智能，更不用说以协作方式很好地处理个性化任务了。此时需要一个介于全自动制造和全手动制造之间的协同制造系统，能够在数字空间中达到与自动化机器人或其他操作员协同合作的目的。
[0003]现有专利申请号202110456817.X公开了一种工业机器人的数字孪生实训方法及系统，通过构建相应的数字孪生模型实现物理模型的等价仿真，并获取实训台和工业机器人的实时数据，将所述实时数据输入至实训虚拟模型进行运算；接收所述实训虚拟模型运算所得的仿真结果，最后在虚拟空间中能够完成数字培训平台与实体工业机器人协调一致。
[0004]现有技术的不足在于缺乏操作员的人为干预，没有达到人与机器人的交互效果，交互性和灵活性较差。

技术实现思路

[0005]本专利技术的目的在于提供一种基于数字孪生技术的AR辅助机器人远程操作系统，通过可视化的界面实现了与工业机器人的交互(包括远程控制和协同合作)，灵活的与其他制造机器人协同合作，弥补传统机器人只能按照编辑好的程序操作的短板，且操作方式较为友好，能够大大减少操作员的工作量。
[0006]本专利技术的目的可以通过以下技术方案实现：
[0007]一种基于数字孪生技术的AR辅助机器人远程操作系统，包括AR虚拟模块、实体模块和服务器终端；
[0008]AR虚拟模块，用于运行AR辅助机器人远程虚拟模型，辅助机器人远程操作；
[0009]实体模块，包括机器人端和客户端，用于机器人端与客户端的信息交互；
[0010]服务器终端，用于向机器人端和客户端发送操作指令，同时获取机器人端和客户端的实时数据；
[0011]将所述实时数输入至AR辅助机器人远程虚拟模型进行运算，接收AR辅助机器人远程虚拟模型运算所得的仿真结果。
[0012]作为本专利技术进一步的方案：AR辅助机器人远程虚拟模型通过以下步骤实现：
[0013]构建多机器人多客户端通信机制，确保AR设备和机器人、机器人和机器人之间信息交互；
[0014]通过游戏引擎构建机器人物理模型并移植到AR眼镜上，通过在AR设备上的虚拟场景控制对应的数字孪生机器人，输入的相应命令信息通过强化学习算法得到对应的输出结果再返回给物理机器人。
[0015]作为本专利技术进一步的方案：游戏引擎采用Unity游戏引擎。
[0016]作为本专利技术进一步的方案：在虚拟场景中没有被控制的机器人则以其原有的姿态呈现在AR设备中。
[0017]作为本专利技术进一步的方案：AR辅助机器人远程虚拟模型中采用强化学习算法对数字孪生机器人上的输入进行计算，通过将任务环境的状态与其自身的运动参数相关联，实施初始化机器人控制策略；
[0018]再通过返回奖励和与环境的连续试错交互，通过强化学习算法改进相应的控制策略，实现物理机器人和数字孪生机器人的姿态双向映射
[0019]本专利技术的有益效果：本专利技术利用AR设备和数字孪生技术去实现远程操作机器人的功能，在虚拟空间上能够实现人远程控制机器人并与机器人协同合作的功能，能够弥补智能制造过程中传统机器人的功能上的不足，提升制造效率，且能够灵活的适配不同的场景。
附图说明
[0020]下面结合附图对本专利技术作进一步的说明。
[0021]图1是本专利技术流程图；
[0022]图2是本专利技术AR辅助机器人远程操作系统示意图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0024]请参阅图1
‑
图2所示，本专利技术为一种基于数字孪生技术的AR辅助机器人远程操作系统；
[0025]包括AR虚拟模块、实体模块和服务器终端；
[0026]AR虚拟模块，用于运行AR辅助机器人远程虚拟模型，辅助机器人远程操作；
[0027]实体模块，包括机器人端和客户端，用于机器人端与客户端的交互；
[0028]服务器终端，用于向机器人端和客户端发送操作指令，同时获取机器人端和客户端的实时数据；
[0029]将所述实时数输入至AR辅助机器人远程虚拟模型进行运算，接收AR辅助机器人远程虚拟模型运算所得的仿真结果。
[0030]服务器终端作为中转站，包括机器人端的边缘节点，机器人端的边缘节点用于接收机器人端的动作和状态信息以及发送来自客户端的命令信息；
[0031]还包括机器人端的操作节点，用于接收来自服务器终端的机器人状态信息和发送客户端命令；
[0032]其中，服务器终端采用sockets通信协议，允许客户端同时控制多个机器人，所有
机器人的状态都与服务器终端(即主节点)同步；
[0033]主节点：持续接收制造系统中每个机器人的状态更新，同时，各个机器人的状态将分布到连接到同一网络的每个从属节点；
[0034]边缘节点：连接到机器人客户端的节点，需要上传相应机器人的状态，并接收主节点发送的其他机器人的最新状态。
[0035]AR辅助机器人远程虚拟模型通过以下步骤实现；
[0036]S1：通过Unity游戏引擎对物理机器人的DT进行物理建模；
[0037]S2：机器人的DT模型被移植到AR眼镜上；
[0038]其中，在AR眼镜中，与物理机器人同步的机器人的DT被投影为远程工作空间的全息图，通过物理机器人的映射DT，可以远程控制物理机器人的运动，同时可以通过机器人DT监控和可视化物理机器人的状态；
[0039]S3：采用强化学习算法对虚拟机器人(数字孪生机器人)上的输入进行计算，通过将任务环境的状态与其自身的运动参数相关联，实施初始化机器人控制策略；
[0040]S4：通过返回奖励和与环境的连续试错交互，通过强化学习算法改进相应的控制策略，实现物理机器人和其数字孪生模型的姿态双向映射，以达到预期的性能/目标(达到任务中的特定位置)。
[0041]具体的，AR辅助机器人远程虚拟模型实现机器人虚拟
‑
物理的姿态配准，包括两个阶段，显示模型对齐和关节对齐：
[0042]在模型对齐阶段，使用已设计好的虚拟3D机器人模型和Vuforia引擎，用于在物理和虚拟机器人之间对齐模型目标，以同步显示的机器人位姿；
[0043]在关节对齐阶本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字孪生技术的AR辅助机器人远程操作系统，其特征在于，包括AR虚拟模块、实体模块和服务器终端；AR虚拟模块，用于运行AR辅助机器人远程虚拟模型，辅助机器人远程操作；实体模块，包括机器人端和客户端，用于机器人端与客户端的信息交互；服务器终端，用于向机器人端和客户端发送操作指令，同时获取机器人端和客户端的实时数据；将所述实时数据输入至AR辅助机器人远程虚拟模型进行运算，接收AR辅助机器人远程虚拟模型运算所得的仿真结果。2.根据权利要求1所述的一种基于数字孪生技术的AR辅助机器人远程操作系统,其特征在于，AR辅助机器人远程虚拟模型通过以下步骤实现：构建多机器人多客户端通信机制，确保AR设备和机器人、机器人和机器人之间信息交互；通过游戏引擎构建机器人物理模型并移植到AR眼镜上，通过在AR设备上的虚拟场景控制对应的...

【专利技术属性】
技术研发人员：杨清海，苏宇，乔飞宇，武艳，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：