一种基于5G+ AR的针对非结构化环境的遥操作方法技术

本发明专利技术公开了一种基于5G+AR的针对非结构化环境的遥操作方法。包括以下步骤：首先，对机器人所处的非结构化环境进行快速三维重构，并将重构好的的场景映射到虚拟现实空间中。然后，捕捉用户的手势动作，建立用户手的虚拟模型，并将手势动作也映射到虚拟现实空间中，从而实现用户与虚拟物体之间的交互。最后，引入了一种辅助技术，帮助用户更准确、快速地完成遥操作工作。

【技术实现步骤摘要】
一种基于5G+AR的针对非结构化环境的遥操作方法
本专利技术属于遥操作领域，特别涉及一种基于5G+AR的针对非结构化环境的遥操作方法。
技术介绍
在传统的遥操作领域（U.Keller,H.J.A.Hedel,etal.ChARMin:TheFirstActuatedExoskeletonRobotforPediatricArmRehabilitation,IEEE/ASMETransactionsonMechatronics,vol.21,no.5,pp.2201-2213,2016.SehoonOh,HanseungWoo,KyoungchulKong,“Frequency-ShapedImpedanceControlforSafeHuman–RobotInteractioninReferenceTrackingApplication,”IEEE/ASMETransactionsonMechatronics,vol.19,no.6,pp.1907-1916,2014.H.Ishida,etal.,“Developmentofrobotremotecontroller‘ArmrestJoystick’—Studyofbilateralremotecontrol”,IEEEInternationalConferenceonRoboticsandBiomimeticsIEEE,pp.2413-2418,2016.）中，操作者通常通过某种控制器如手柄、鼠标、键盘等来操作机器人，并通过远程摄像机传回的图像来观察操作对象，这使得操作者需要适应这些控制器的使用方式。对于不熟悉这些控制器的操作者来说，这增加了他们的学习成本。同时，通过观察画面来确定任务执行状态也使得用户需要在操作的同时不断观察显示器，使得用户的注意力需要在显示器和控制器之间不断转移，降低了交互的效率。为了改善传统的交互方式，提出了使用语音、手势等自然交互方式（YananLi,Ge,S.S.,“Human–RobotCollaborationBasedonMotionIntentionEstimation,IEEE/ASMETransactionsonMechatronics,”vol.19,no.3,pp.1007-1014,2014.X.Xu,A.Song,D.Ni,H.Li,P.XiongandC.Zhu,"Visual-HapticAidTeleoperationBasedon3-DEnvironmentModelingandUpdating,"inIEEETransactionsonIndustrialElectronics,vol.63,no.10,pp.6419-6428,Oct.2016.），但是对于一些复杂的操作方式来说，操作者无法借助语音和手势进行准确的描述，因此所能完成的任务有限。进而，学者们（B.Browatzki,etal.,“ActiveIn-HandObjectRecognitiononaHumanoidRobot”,IEEETransactionsonRobotics,vol.30,no.5,pp.1260-1269,2014.）希望通过使用标记捕捉操作者的动作从而对远程机器人进行操作，但是，一旦标记在操作的过程中被遮挡，操作者的动作便无法被捕捉到。所以便开始使用一些摄像机来对操作者的动作进行识别和捕捉，从而实现对远程机器人的控制。
技术实现思路
本专利技术的目的是为了解决上述现有技术存在的缺陷，提出了一种新的遥操作方法可以实现应对非结构化环境下的任务，同时应用工业AR技术以改善用户体验。系统首先对背景对象和目标对象执行不同的重建策略从而减少重建所需时间，实现快速而精准的三维重建。通过捕捉用户的手势数据并构建手势模型，实现了用户可以与虚拟物体进行交互。在此基础上，设计了一种辅助策略在虚拟端和真实端同时帮助用户操作远端机器人，并且准确快速地完成任务。本专利技术的目的至少通过如下技术方案之一实现。一种基于5G+AR的针对非结构化环境的遥操作方法，包括以下步骤：S1、借助安装在远程机器人手臂末端的摄像机，对远程机器人所处的非结构化环境和所需操作的目标物体进行快速三维重建；S2、通过安装在增强现实眼镜上的摄像机，捕捉用户手势数据，对用户手部进行建模并投射到增强现实的三维空间中；S3、事先构造虚拟机器人模型，应用计算机视觉相关技术，对用户和远程机器人的操作进行辅助校准，保证能够准确快速的完成针对非结构化环境的遥操作装配；整个过程利用5G技术将用户对模拟机器人的操作传输给远程机器人。进一步地，步骤S1中，所述快速三维重建技术分为粗糙重建技术和精细重建技术；由于远程机器人所处非结构化环境中的背景对象对远程机器人完成任务没有重大影响，因此对于非结构化环境中的背景对象进行粗糙重建；远程机器人通过以固定角度移动机械臂末端的摄像机，摄像机捕获非结构化环境中的背景对象的点云图像，将其在世界坐标系中进行构造，通过将前后两个图像在世界坐标系处于相同位置的部分进行重叠，然后对其进行拼接从而实现对场景中背景对象的粗糙重建。进一步地，由于远程机器人所要操作的目标物体对远程机器人能否正确完成工作有着重大的影响，因此对所要操作的目标物体需要执行精细重建；通过控制摄像机围绕所要操作的目标物体不断捕捉点云图像，并应用迭代最近点算法比较点云图像之间的相似点对点云图像进行拼接，从而实现对目标物体的精细重建。进一步地，所述步骤S2具体包括以下步骤：S21、依据增强现实眼镜与摄像机的位置关系将摄像机捕获到的手势数据进行坐标转换；S22、借助惯性测量单元消除用户移动时造成的测量误差，惯性测量单元用于获取到操作者手的加速度和角速度，依据操作者手的加速度和角速度和手的初始位置计算出手移动后的位置从而减小误差；S23、使用卡尔曼滤波器消除获得手势数据中的噪声；S24、根据消除噪声后的手势数据对用户手部进行建模并投射到增强现实的三维空间中。进一步地，步骤S3中，所述计算机视觉相关技术分为虚拟视觉辅助技术和真实视觉辅助技术；所述虚拟视觉辅助技术如下：当执行遥操作装配工作时，因为负责执行装配工作的远程机器人是已知的，所以会依据远程机器人的外形、结构参数直接对其进行构造，形成一个与之相同的虚拟机器人模型。当用户在本地虚拟现实环境中进行操作，即通过手引导虚拟现实环境中事先构造出的虚拟机器人模型执行装配动作时，为了帮助用户更加准确快速地完成任务，使用约束识别技术帮助用户确定虚拟环境中虚拟物体之间的位置关系，使用户在没有反馈的情况下能够更加准确地完成任务；通过对虚拟机器人模型执行任务过程中的各项参数进行记录，再经过计算和转化就得到远程机器人在完成任务的过程中需要移动的位置，从而得到控制远程机器人的指令，然后借助5G技术将指令发送给远程机器人去执行。进一步地，所述真实视觉辅助技术如下：当远程机器人执行遥操作指令的时候，因为存在模型误差，真实执行效果与预期执行效果可能产生偏差，因此当远程机器人执行遥本文档来自技高网...

【技术保护点】
1.一种基于5G+ AR的针对非结构化环境的遥操作方法，其特征在于，包括以下步骤：/nS1、借助安装在远程机器人手臂末端的摄像机，对远程机器人所处的非结构化环境和所需操作的目标物体进行快速三维重建；/nS2、通过安装在增强现实眼镜上的摄像机，捕捉用户手势数据，对用户手部进行建模并投射到增强现实的三维空间中；/nS3、事先构造虚拟机器人模型，应用计算机视觉相关技术，对用户和远程机器人的操作进行辅助校准，保证能够准确快速的完成针对非结构化环境的遥操作装配；整个过程利用5G技术将用户对模拟机器人的操作传输给远程机器人。/n

【技术特征摘要】
1.一种基于5G+AR的针对非结构化环境的遥操作方法，其特征在于，包括以下步骤：
S1、借助安装在远程机器人手臂末端的摄像机，对远程机器人所处的非结构化环境和所需操作的目标物体进行快速三维重建；
S2、通过安装在增强现实眼镜上的摄像机，捕捉用户手势数据，对用户手部进行建模并投射到增强现实的三维空间中；
S3、事先构造虚拟机器人模型，应用计算机视觉相关技术，对用户和远程机器人的操作进行辅助校准，保证能够准确快速的完成针对非结构化环境的遥操作装配；整个过程利用5G技术将用户对模拟机器人的操作传输给远程机器人。


2.根据权利要求1所述的一种基于5G+AR的针对非结构化环境的遥操作方法，其特征在于，步骤S1中，所述快速三维重建技术分为粗糙重建技术和精细重建技术；
由于远程机器人所处非结构化环境中的背景对象对远程机器人完成任务没有重大影响，因此对于非结构化环境中的背景对象进行粗糙重建；远程机器人通过以固定角度移动机械臂末端的摄像机，摄像机捕获非结构化环境中的背景对象的点云图像，将其在世界坐标系中进行构造，通过将前后两个图像在世界坐标系处于相同位置的部分进行重叠，然后对其进行拼接从而实现对场景中背景对象的粗糙重建。


3.根据权利要求2所述的一种基于5G+AR的针对非结构化环境的遥操作方法，其特征在于，由于远程机器人所要操作的目标物体对远程机器人能否正确完成工作有着重大的影响，因此对所要操作的目标物体需要执行精细重建；通过控制摄像机围绕所要操作的目标物体不断捕捉点云图像，并应用迭代最近点算法比较点云图像之间的相似点对点云图像进行拼接，从而实现对目标物体的精细重建。


4.根据权利要求1所述的一种基于5G+AR的针对非结构化环境的遥操作方法，其特征在于，所述步骤S2具体包括以下步骤：
S21、依据增强现实眼镜与摄像机的位置关系将摄像机捕获到的手势数据进行坐标转换；
S22...

【专利技术属性】
技术研发人员：杜广龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44