【技术实现步骤摘要】
基于增强现实协同装配维修的远程系统及方法
本专利技术属于工业增强现实设备远程指导装配维修领域，具体涉及一种基于增强现实协同装配维修的远程系统及方法。
技术介绍
增强现实(AR,AugmentedReality)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。在此基础上，远程协同(RemoteCollaboration)结合工业制造和装配方面的应用，可以减少前期员工培训时间、提速制造周期。AR通过为现实世界叠加数字信息为现场人员提供多种文字、语音、3D模型、视频等多种辅助信息，指导拿取不同的工具，安放组装部件到各自位置，解决了阅读繁琐冗长的纸质装配指令的问题，使用户可以专注于手头上的装配任务。目前国内外有DOVE、TeleAdisor、HandsInAir等远程协同系统，但这些系统不是存在操作者的工作环境碎片化的问题，需要操作者不断分散注意力去查看显示器，就是提示信息不够直观，导致协同系统的实际运用率低。专利技...
【技术保护点】
1.一种基于增强现实协同装配维修专家端，其特征在于，包括：/n标注识别模块，用于识别专家在终端设备对视频进行的信息标注：/n若识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息；/n若识别到信息标注为专家绘制的圈选标注时，将圈选多边形上的各个点的坐标序列作为圈选标注信息；/n若识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置作为文字标注信息。/n
【技术特征摘要】
1.一种基于增强现实协同装配维修专家端，其特征在于，包括：
标注识别模块，用于识别专家在终端设备对视频进行的信息标注：
若识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息；
若识别到信息标注为专家绘制的圈选标注时，将圈选多边形上的各个点的坐标序列作为圈选标注信息；
若识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置作为文字标注信息。
2.如权利要求1所述的基于增强现实协同装配维修专家端，其特征在于，所述终端设备用以设在专家端供专家通过手势交互输入相应操作协助用户完成装配维修任务；终端设备包括PC机、智能手机、平板电脑的一种或多种，通过鼠标在PC机的显示屏上进行标注，或在智能手机、平板电脑的触摸屏上绘制图形。
3.如权利要求1所述的基于增强现实协同装配维修专家端，其特征在于，所述预制标注包括：手势识别中的插拔指令和旋转指令；旋转指令包括水平方向的旋转指令和垂直方向的旋转指令。
4.一种权利要求1所述的基于增强现实协同装配维修用户端，其特征在于，包括：信息采集模块、标注生成模块和结果显示模块；
信息采集模块，用于通过增强现实设备采集现场环境的图像信息、音频信息和深度信息；
标注生成模块，用于将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置：
若增强现实设备收到预制标注信息，则将收到的预制标注信息与屏幕位置、大小、朝向信息进行解包处理；根据屏幕位置将预制标注信息的三维模型放置到对应的空间位置，并调整预制标注的大小以及朝向；
若增强现实设备收到圈选标注信息，首先通过经典的约束Delaunay三角剖分动态算法对收到的坐标序列生成相应的圈选标注的三维模型，并通过坐标序列获取圈选多边形中心点坐标；通过该中心点坐标位置，将圈选标注的三维模型放置到对应的空间位置；
若增强现实设备收到文字标注信息，则将文字信息标注渲染到便签模型上，并将便签模型放置到对应的空间位置上；
结果显示模块，用于将三维信息标注显示在增强现实设备的显示屏上。
5.如权利要求4所述的基于增强现实协同装配维修用户端，其特征在于，所述增强现实设备包括HoloLens头盔；
所述信息采集模块还用于将采集到的图像信息和音频信息通过编码器编码并转换成音视频流发送至远程服务器端；结合深度信息通过SLAM算法实时生成现场环境模型，并将现场环境模型的几何网格信息与现场环境叠加。
6.如权利要求4所述的基于增强现实协同装配维修用户端，其特征在于，所述便签模型是在增强现实设备中预制的三维模型以呈现收到的文字标注信息，该便签模型使用锚点固定在现实世界，便签模型始终朝向佩戴增强现实设备的操作人员，方便其阅读文字信息。
7.如权利要求4所述的基于增强现实协同装配维修用户端，其特征在于，标注生成模块将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置，具体包括：
增强现实设备与终端设备初始化时都以程序启动后初始空间位置为坐标原点，以当前操作人员的朝向为z轴的负方向，当专家在终端设备屏幕上绘...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。