一种共享眼动信息的混合现实远程协同装置制造方法及图纸

本实用新型专利技术公开了一种共享眼动信息的混合现实远程协同装置，它包括远程虚拟现实客户端模块，服务器模块和本地增强现实客户端模块。本实用新型专利技术支持共享远程端用户的眼动信息并可通过眼动信息实现对制造场景中实物的明确指引，为远程用户提供一个三维的沉浸式协同环境，为本地端工人提供一种在作业中无需额外操作和穿戴其它设备的虚实融合环境，便于远程端用户为本地端工人提供帮助，也便于本地端工人完成协同任务，从而提高用户体验和协同效率。

【技术实现步骤摘要】
一种共享眼动信息的混合现实远程协同装置
本技术属于远程协同
，具体涉及一种共享眼动信息的混合现实远程协同装置。
技术介绍
由于远程协同技术的不断发展，使得用户在无法亲临现场时可以实现对本地协同场景进行监测、引导以及探索等任务，也可以有效的帮助远程用户与本地工人的互动与交流。但传统的基于视频和语音的远程协同方法和装置，主要通过视频和语音沟通传达信息，常常存在表达有歧义和指代不明确的情况，而远程用户亲临制造现场的时间和经济成本较高。因此，如何针对在远程用户端与制造现场技术工人高效协同作业已经成了一个亟待解决的问题。随着基于混合现实的远程协同技术的发展为该问题的有效解决带来新思路。基于混合现实的远程协同技术包含将虚拟信息无缝融合于现实空间中的增强现实技术和利用计算机技术产生逼真三维虚拟空间的虚拟现实技术。增强现实技术是随着虚拟现实技术迅速发展和实际应用需要而出现的一种将真实世界信息与虚拟世界信息“无缝”集成的新技术，通过这种技术使虚拟环境与实际环境融为一体，能够极大的提升远程协同能力。此外，基于混合现实的远程协同技术允许协同作业的各方在共享视频和语音的基础上通过眼动信息进行自然直观的交互。中国专利公开号CN106127409A中公开了一种基于智能眼镜的远程电力协同交互方法及系统，所述系统包括有智能眼镜、电力大数据平台、决策支持子系统和APP子系统，所述方法包括如下步骤：步骤S1，利用决策支持子系统向APP子系统发出巡检、施工调度任务；步骤S2，巡检施工员登录APP子系统接受所述调度任务后，通过智能眼镜获取地理位置数据和图片视频数据并实时上传至电力大数据平台进行存储、管理，直至任务结束；步骤S3，所述决策支持子系统对巡检施工任务远程协同指挥，并对任务完成情况进行评价，定性定量实现各巡检施工员工作的考核评估。上述现有技术能够在电力系统巡检、施工过程中实现智能化、协同性和任务量化，但是其协同系统不支持远程端用户对本地端对象的明确指引，因此不能适应用固定区域的协作任务如装配、维修和培训。中国专利公开号CN109189041A中公开了一种多专家协同会诊的故障远程诊断方法，包括：整车专家端获取在线专家列表，并根据在线专家列表，确定一个或多个会诊专家端，并向服务器发起会诊请求；服务器将会诊请求转发给相应的会诊专家端，再反馈的会诊意向信息，判断是否将已反馈的会诊专家端，加入到由整车专家端发起的远程会诊中。上述现有技术改进了基于视频语音远程协同一对一的协同模式，可以支持一对多的远程协同，实现车辆诊断的多专家远程会诊，但是未能解决远程协同中远程专家和制造现场工人操作指令的传递和协同作业中信息指代不明确、协同效率低的问题。
技术实现思路
本技术的目的就是针对上述现有技术的不足，提供一种可克服远程协同技术中效率低、人机交互不自然以及语音指代不明确问题的共享眼动信息的混合现实远程协同装置。本技术采用的技术方案如下：一种共享眼动信息的混合现实远程协同装置，它包括：远程虚拟现实客户端模块，用于实现三维沉浸式的协同环境，并通过眼动追踪应用程序和虚拟现实设备HTCViveProEye将采集到的用户的眼动信息传输至服务器模块；服务器模块，用于对接收到的各个信息进行处理且与各个模块之间进行通讯，并将接受到的用户的眼动信息进行处理后共享到本地增强现实客户端模块；本地增强现实客户端模块，用于实现增强现实协同环境，并将服务器模块共享的信息内容投射到本地增强现实客户端模块内的装配工作台上进行实物的明确指引，同时，本地增强现实客户端模块将采集的本地作业情况的视频信息传输至服务器模块，服务器模块将接收到的视频信息进行处理后再共享到远程虚拟现实客户端模块。所述远程虚拟现实客户端模块采集到的用户的眼动信息以红色小球的样式进行显示。所述远程虚拟现实客户端模块包括虚拟现实设备，计算机Ⅰ和语音设备，所述虚拟现实设备和语音设备通过线路与计算机Ⅰ相连。所述服务器模块由微型电脑构成。所述本地增强现实客户端模块包括投影仪，相机，语音设备，计算机Ⅱ和装配工作台，所述投影仪和相机通过线路与计算机Ⅱ相连，所述投影仪和相机均安装在装配工作台的上方，其中投影仪和相机的中心可以在同一水平面上且保持一定间距。所述投影机为3LCD投影仪，使投影出的图像颜色层次分明。所述远程虚拟现实客户端模块，服务器模块和本地增强现实客户端模块通过有线的方式进行互相连接。所述投影仪与相机的间距距离为50mm-150mm。所述投影仪和相机距离装配工作台的高度为1500mm-2800mm。本技术的有益效果有：本技术支持共享远程端用户的眼动信息并可通过眼动信息实现对制造场景中实物的明确指引，为远程用户提供一个三维的沉浸式协同环境，为本地端工人提供一种在作业中无需额外操作和穿戴其它设备的虚实融合环境，便于远程端用户为本地端工人提供帮助，也便于本地端工人完成协同任务，从而提高用户体验和协同效率。附图说明图1为本技术的结构示意图；图2为本技术的具体实施过程示意图。具体实施方式下面结合附图对本技术作进一步地说明：如图1-2所示，本技术它包括有远程虚拟现实客户端模块，用于实现三维沉浸式的协同环境，并通过眼动追踪应用程序和虚拟现实设备HTCViveProEye将采集到的用户的眼动信息传输至服务器模块，使用时只需在HTCViveProEye内安装相应的SDK和开启眼动追踪的功能即可；服务器模块，用于对接收到的各个信息进行处理且与各个模块之间进行通讯，并将接受到的用户的眼动信息进行处理后共享到本地增强现实客户端模块，其中服务器模块由微型电脑构成；本地增强现实客户端模块，用于实现增强现实协同环境，并将服务器模块共享的信息内容投射到本地增强现实客户端模块内的装配工作台上进行实物的明确指引，同时，本地增强现实客户端模块将采集的本地作业情况的视频信息传输至服务器模块，服务器模块将接收到的视频信息进行处理后再共享到远程虚拟现实客户端模块。所述远程虚拟现实客户端模块采集到的用户的眼动信息以红色小球的样式进行显示。所述远程虚拟现实客户端模块包括虚拟现实设备，计算机Ⅰ和语音设备，所述虚拟现实设备和语音设备通过线路与计算机Ⅰ相连，其中语音设备可选择微信或QQ进行语音传输。所述本地增强现实客户端模块包括投影仪，相机，语音设备，计算机Ⅱ和装配工作台，该投影机为3LCD投影仪，所述投影仪和相机通过线路与计算机Ⅱ相连，所述投影仪和相机均安装在装配工作台的上方，其中投影仪和相机距离装配工作台的高度为1500mm-2800mm，该投影仪和相机的中心可以在同一水平面上且保持一定间距，其中投影仪与相机的间距距离为50mm-150mm。所述远程虚拟现实客户端模块，服务器模块和本地增强现实客户端模块通过有线的方式进行互相连接，其中本地增强现实客户端模块和远程虚拟现实客户端模块上安装有远程传输协议，远程本文档来自技高网...

【技术保护点】
1.一种共享眼动信息的混合现实远程协同装置，其特征是它包括：/n远程虚拟现实装置，所述远程虚拟现实装置包括虚拟现实设备，计算机Ⅰ和语音设备，所述虚拟现实设备和语音设备通过线路与计算机Ⅰ相连；/n服务器，所述服务器由微型电脑构成；/n本地增强现实装置，所述本地增强现实装置包括投影仪，相机，语音设备，计算机Ⅱ和装配工作台，所述投影仪和相机通过线路与计算机Ⅱ相连，所述投影仪和相机均安装在装配工作台的上方；所述远程虚拟现实装置与服务器之间互相连接，所述服务器与本地增强现实装置之间互相连接。/n

【技术特征摘要】
1.一种共享眼动信息的混合现实远程协同装置，其特征是它包括：
远程虚拟现实装置，所述远程虚拟现实装置包括虚拟现实设备，计算机Ⅰ和语音设备，所述虚拟现实设备和语音设备通过线路与计算机Ⅰ相连；
服务器，所述服务器由微型电脑构成；
本地增强现实装置，所述本地增强现实装置包括投影仪，相机，语音设备，计算机Ⅱ和装配工作台，所述投影仪和相机通过线路与计算机Ⅱ相连，所述投影仪和相机均安装在装配工作台的上方；所述远程虚拟现实装置与服务器之间互相连接，所述服务器与本地增强现实装置之间互相连接。


2.根据权利要求1所述的共享眼动信息的混合现实远程协同装置，其特征是所述远程虚拟现实装置用于采集用户...

【专利技术属性】
技术研发人员：王鹏，白晓亮，常壮，邵立，
申请(专利权)人：南京翱翔信息物理融合创新研究院有限公司，
类型：新型
国别省市：江苏;32