基于增强现实协同装配维修的远程系统及方法技术方案

本发明专利技术公开了一种基于增强现实协同装配维修的远程系统及方法，用户端包括信息采集模块、标注生成模块和结果显示模块；专家端包括标注识别模块；装配维修系统包括用户端、专家端和信息通信模块；通过增强现实设备对周围空间及物体进行实时建模，并将几何网格信息与真实世界进行叠加；不仅解决零件实时建模的问题，还引入远程专家的指导功能，使装配信息更加灵活与人性化；将信息标注用三维模型的方式呈现出来，并将常用指导信息提前预制到系统中，通过识别专家绘制在屏幕上的手势，调用相应的手势模型，并以模型动画的方式显示在用户端增强现实设备中，能提供精准高效，易于理解的远程实时指导能力，从而提高工作效率。

Remote system and method based on augmented reality collaborative assembly maintenance

【技术实现步骤摘要】
基于增强现实协同装配维修的远程系统及方法
本专利技术属于工业增强现实设备远程指导装配维修领域，具体涉及一种基于增强现实协同装配维修的远程系统及方法。
技术介绍
增强现实(AR,AugmentedReality)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。在此基础上，远程协同(RemoteCollaboration)结合工业制造和装配方面的应用，可以减少前期员工培训时间、提速制造周期。AR通过为现实世界叠加数字信息为现场人员提供多种文字、语音、3D模型、视频等多种辅助信息，指导拿取不同的工具，安放组装部件到各自位置，解决了阅读繁琐冗长的纸质装配指令的问题，使用户可以专注于手头上的装配任务。目前国内外有DOVE、TeleAdisor、HandsInAir等远程协同系统，但这些系统不是存在操作者的工作环境碎片化的问题，需要操作者不断分散注意力去查看显示器，就是提示信息不够直观，导致协同系统的实际运用率低。
技术实现思路
针对现有技术中的缺陷和不足，本专利技术提供了一种基于增强现实协同装配维修的远程系统及方法，解决现有技术存在的痛点问题，为检修人员提供精准高效、易于理解的远程实时指导，从而提高工作效率。为达到上述目的，本专利技术采取如下的技术方案：一种基于增强现实协同装配维修专家端，包括：标注识别模块，用于识别专家在终端设备对视频进行的信息标注：若识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息；若识别到信息标注为专家绘制的圈选标注时，将圈选多边形上的各个点的坐标序列作为圈选标注信息；若识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置作为文字标注信息。具体的，所述终端设备用以设在专家端供专家通过手势交互输入相应操作协助用户完成装配维修任务；终端设备包括PC机、智能手机、平板电脑的一种或多种，通过鼠标在PC机的显示屏上进行标注，或在智能手机、平板电脑的触摸屏上绘制图形。具体的，所述预制标注包括：手势识别中的插拔指令和旋转指令；旋转指令包括水平方向的旋转指令和垂直方向的旋转指令。一种基于增强现实协同装配维修用户端，包括：信息采集模块、标注生成模块和结果显示模块；信息采集模块，用于通过增强现实设备采集现场环境的图像信息、音频信息和深度信息；标注生成模块，用于将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置：若增强现实设备收到预制标注信息，则将收到的预制标注信息与屏幕位置、大小、朝向信息进行解包处理；根据屏幕位置将预制标注信息的三维模型放置到对应的空间位置，并调整预制标注的大小以及朝向；若增强现实设备收到圈选标注信息，首先通过经典的约束Delaunay三角剖分动态算法对收到的坐标序列生成相应的圈选标注的三维模型，并通过坐标序列获取圈选多边形中心点坐标；通过该中心点坐标位置，将圈选标注的三维模型放置到对应的空间位置；若增强现实设备收到文字标注信息，则将文字信息标注渲染到便签模型上，并将便签模型放置到对应的空间位置上；结果显示模块，用于将三维信息标注显示在增强现实设备的显示屏上。具体的，所述增强现实设备包括HoloLens头盔；所述信息采集模块还用于将采集到的图像信息和音频信息通过编码器编码并转换成音视频流发送至远程服务器端；结合深度信息通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加。具体的，所述便签模型是在增强现实设备中预制的三维模型以呈现收到的文字标注信息，该便签模型使用锚点固定在现实世界，便签模型始终朝向佩戴增强现实设备的操作人员，方便其阅读文字信息。具体的，标注生成模块将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置具体包括：增强现实设备与终端设备初始化时都以程序启动后初始空间位置为坐标原点，以当前操作人员的朝向为z轴的负方向，当专家在终端设备屏幕上绘制图像时，终端设备会发送最终模型的相对屏幕位置信息，增强现实设备收到相对屏幕位置信息后，会从视点位置向该相对屏幕位置方向发射一条虚拟碰撞射线，当该射线碰撞到增强现实设备叠加到真实世界的网格模型时，会返回该碰撞点的三维空间的位置信息，该碰撞点就是信息标注放置的空间位置，然后通过打包发送过来的其他位姿信息，调整标注模型的旋转角度、大小。一种基于增强现实协同装配维修系统，包括基于增强现实协同装配维修专家端和基于增强现实协同装配维修用户端；还包括：信息通信模块，用于将用户端采集的图像信息和音频信息传输至专家端；还用于将专家端的预制标注信息、圈选标注信息或文字标注信息发送至用户端。一种基于增强现实协同装配维修方法，包括：步骤1：增强现实设备采集现场环境的图像信息、音频信息和深度信息；并将采集到的图像信息和音频信息通过编码器编码并转换成音视频流发送至远程服务器端；结合深度信息通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加；步骤2：远程服务器端将图像信息和音频信息发送至专家端，专家端对音视频流进行解码操作处理，并播放音视频；步骤3：专家端在终端设备上对视频进行信息标注；若终端设备识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息通过网络打包发送至增强现实设备；若终端设备识别到信息标注为专家绘制的圈选标注时，将多边形上的各个点的坐标序列作为圈选标注信息打包发送到增强现实设备；若终端设备识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置发送至增强现实设备；步骤4：若增强现实设备收到预制标注信息，则将收到的预制标注信息与步骤3发送过来的屏幕位置、大小、朝向信息进行解包处理；通过屏幕位置，将预制标注信息三维模型放置到对应的空间位置，并调整预制标注的大小以及朝向；若增强现实设备收到圈选标注信息，首先通过经典的约束Delaunay三角剖分动态算法对收到的坐标序列生成相应的圈选标注的三维模型，并通过坐标序列获取多边形中心点坐标；通过该中心点坐标位置，将圈选标注的三维模型放置到对应的空间位置；若增强现实设备收到文字标注信息，则将文字信息标注渲染到便签模型上，并将便签模型放置到对应的空间位置上；步骤5：根据用户端显示的三维信息标注进行维修操作。具体的，所述增强现实设备包括HoloLens头盔，步骤1中：用户端戴HoloLens头盔，并通过连接无线路由器，与远程服务器端通信；利用HoloLens头盔上的RGB摄像头采集现场环境的图像信息；利用HoloLens头盔上的麦克风采集现场环境的音频信息；利用HoloLens头盔上的深度摄像头采集当前维修场景的深度信息，并通过SLAM算法实时生成现场环境本文档来自技高网...

【技术保护点】
1.一种基于增强现实协同装配维修专家端，其特征在于，包括：/n标注识别模块，用于识别专家在终端设备对视频进行的信息标注：/n若识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息；/n若识别到信息标注为专家绘制的圈选标注时，将圈选多边形上的各个点的坐标序列作为圈选标注信息；/n若识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置作为文字标注信息。/n

【技术特征摘要】
1.一种基于增强现实协同装配维修专家端，其特征在于，包括：
标注识别模块，用于识别专家在终端设备对视频进行的信息标注：
若识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息；
若识别到信息标注为专家绘制的圈选标注时，将圈选多边形上的各个点的坐标序列作为圈选标注信息；
若识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置作为文字标注信息。


2.如权利要求1所述的基于增强现实协同装配维修专家端，其特征在于，所述终端设备用以设在专家端供专家通过手势交互输入相应操作协助用户完成装配维修任务；终端设备包括PC机、智能手机、平板电脑的一种或多种，通过鼠标在PC机的显示屏上进行标注，或在智能手机、平板电脑的触摸屏上绘制图形。


3.如权利要求1所述的基于增强现实协同装配维修专家端，其特征在于，所述预制标注包括：手势识别中的插拔指令和旋转指令；旋转指令包括水平方向的旋转指令和垂直方向的旋转指令。


4.一种权利要求1所述的基于增强现实协同装配维修用户端，其特征在于，包括：信息采集模块、标注生成模块和结果显示模块；
信息采集模块，用于通过增强现实设备采集现场环境的图像信息、音频信息和深度信息；
标注生成模块，用于将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置：
若增强现实设备收到预制标注信息，则将收到的预制标注信息与屏幕位置、大小、朝向信息进行解包处理；根据屏幕位置将预制标注信息的三维模型放置到对应的空间位置，并调整预制标注的大小以及朝向；
若增强现实设备收到圈选标注信息，首先通过经典的约束Delaunay三角剖分动态算法对收到的坐标序列生成相应的圈选标注的三维模型，并通过坐标序列获取圈选多边形中心点坐标；通过该中心点坐标位置，将圈选标注的三维模型放置到对应的空间位置；
若增强现实设备收到文字标注信息，则将文字信息标注渲染到便签模型上，并将便签模型放置到对应的空间位置上；
结果显示模块，用于将三维信息标注显示在增强现实设备的显示屏上。


5.如权利要求4所述的基于增强现实协同装配维修用户端，其特征在于，所述增强现实设备包括HoloLens头盔；
所述信息采集模块还用于将采集到的图像信息和音频信息通过编码器编码并转换成音视频流发送至远程服务器端；结合深度信息通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加。


6.如权利要求4所述的基于增强现实协同装配维修用户端，其特征在于，所述便签模型是在增强现实设备中预制的三维模型以呈现收到的文字标注信息，该便签模型使用锚点固定在现实世界，便签模型始终朝向佩戴增强现实设备的操作人员，方便其阅读文字信息。


7.如权利要求4所述的基于增强现实协同装配维修用户端，其特征在于，标注生成模块将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置，具体包括：
增强现实设备与终端设备初始化时都以程序启动后初始空间位置为坐标原点，以当前操作人员的朝向为z轴的负方向，当专家在终端设备屏幕上绘...

【专利技术属性】
技术研发人员：柳有权，徐琨，王愿超，
申请(专利权)人：长安大学，
类型：发明
国别省市：陕西;61