辅助远程协作的头显设备、远程协同系统及其控制方法技术方案

一种辅助远程协作的头显设备、远程协同系统及其控制方法。头显设备可穿戴，包括：主控单元、图像采集设备、音频采集设备、显示单元、音频输出设备、人机交互按键以及无线通信单元。佩戴头显设备的现场人员可解放双手，通过现场人员现场或者远程协助人员远程控制拍摄有问题的现场设备场景，并且通过通信单元将拍摄的内容传输至远程协助终端。远程协助人员根据现场设备场景及时向现场人员反馈标注了设备问题和操作步骤的现场设备场景图像，现场人员可通过显示单元的显示按照操作步骤进行操作，并且还可以与远程协助人员进行实时通讯，以便及时解决设备故障问题。

【技术实现步骤摘要】
辅助远程协作的头显设备、远程协同系统及其控制方法
本申请涉及一种能够解放现场人员双手并便于现场人员实时根据远程指导进行操作的辅助远程协作的可穿戴头显设备、远程协同系统及其控制方法。
技术介绍
随着科技的不断进步，工业生产领域管理要求越来越高，而现场人员面对越来越复杂的生产环境，不仅需要在操作安全性方面需要增强，而且在专业技能、工作素养以及工作效率等多方面的要求也越来越苛刻。在工业生产领域中，设备检修是基本工作，在检修过程中，如果遇到现场人员无法解决的问题时，就需要联系专家进行问题远程解决，而现在主要手段就是打电话、发微信等方式寻求帮助，通过这种方式，使得协作过程效率不高，解决问题时间长，工作质量得不到保证，工作效率低等问题。
技术实现思路
本专利技术专利公开了一种辅助远程协作的可穿戴头显设备、远程协同系统及其控制方法和作用流程，通过微型摄像机、视讯设备、通信设备、充电电池、控制按钮等设备，只需现场人员佩戴上头显设备，即可真正的解放双手，通过通信设备，与远程人员进行实时通讯，以及远程协作人员根据拍摄的现场设备场景，可及时反馈设备问题图片，现场人员可按照设备问题图片中指出的问题和操作步骤，及时解决设备故障问题。本申请提供了一种辅助远程协作的可穿戴头显设备，该设备包括：主控单元、图像采集设备、音频采集设备、显示单元、音频输出设备、人机交互按键、存储器以及无线通信单元，其中，主控单元用于控制可穿戴头显设备中的各部件；图像采集设备用于采集现场图片或现场视频；音频采集设备用于采集音频信号或环境噪音信号；显示单元用于实时显示图像采集设备采集的图像数据或者用于根据主控单元的控制显示存储器中的图像；音频输出设备用于进行音频输出；人机交互按键用于启动图像采集设备的采集，其中：无线通信单元用于音频与视频的实时通讯，以及根据主控单元的控制将图像采集设备采集的现场图片或现场视频传输至远程协作终端，并且接收来自远程协作终端传送来的图像数据，存储器对所述传送来的图像数据进行存储以供显示单元进行显示，并且图像采集设备可由可穿戴头显设备的人机交互按键启动采集以及由远程协作终端进行远程控制以启动采集，所述可穿戴头显设备的显示单元单元在显示远程协作终端传送来的图像数据时，可同时与远程协作终端进行实时通讯。更进一步的，可穿戴头显设备包括照明单元，用于在现场环境能见度低时进行照明。更进一步的，主控设备可预先设定视频录制时间间隔，启动采集时，将微型摄像机对准有问题的设备按照预定视频录制时间间隔的时长进行现场图片或现场视频音频采集。更进一步的，主控设备可实时设定视频录制时间间隔，启动采集时，将微型摄像机对准有问题的设备按照设定的视频录制时间间隔的时长进行现场图片或现场视频音频采集。更进一步的，音频输出设备包括骨传导耳机或扬声器。更进一步的，可穿戴头显设备还包括供电单元，用于为可穿戴头显设备的各部件进行充电，并且供电单元可通过USB从外部电源获取电力以进行充电或供电。另一方面，本申请提供了一种远程协同系统，包括如上所述的辅助远程协作的可穿戴头显设备，并且还包括流媒体云服务器以及远程协作终端设备，其中：可穿戴头显设备用于通过无线通信单元将图像采集设备采集的现场图片或现场视频经过流媒体云服务器传输至远程协作终端设备；远程协作终端设备用于接收所述现场图片或现场视频、进行所述现场图片或现场视频中关键图片的截取和编辑，并且用于将编辑后得到的图像数据经过流媒体云服务器传输至可穿戴头显设备，可穿戴头显设备通过显示单元显示该编辑后得到的图像数据，以指导佩戴可穿戴头显设备的现场人员根据上述编辑后得到的图像数据进行操作。更进一步的，其中编辑后得到的图像数据包括问题所在的标注以及解决步骤的标注。另一方面，本申请提供了一种远程协同系统的控制方法，该远程协同系统包括如上所述的辅助远程协作的可穿戴头显设备、流媒体云服务器以及远程协作终端设备，其中：其中可穿戴头显设备通过图像采集设备拍摄现场实时画面，并且通过显示单元确定所拍摄的画面，然后将拍摄的画面通过无线通信单元上传到流媒体服务器，流媒体服务器保存所上报的视频数据，并通知远程终端设备，远程终端设备拉取流媒体服务器中获取的现场视频画面进行问题画面抓取、编辑和标注，然后将标注好的图片无线发送给可穿戴头显设备的显示单元进行显示，以指导佩戴可穿戴头显设备的现场人员根据上述编辑后得到的图像数据进行操作，可穿戴头显设备在显示单元显示编辑后得到的图像数据的同时，可与远程协作终端设备进行实时通讯。另一方面，本申请还提供了一种远程协同系统的控制方法，该远程协同系统包括如上所述的辅助远程协作的可穿戴头显设备、流媒体云服务器以及远程协作终端设备，其中远程协助人员和现场人员可相互进行实时视频通讯，现场人员通过人机交互按键，控制视频通讯状态，远程协助人员通过远程控制现场人员的头戴式设备，在远程协作终端设备上以点击时间为基准，通过可穿戴头显设备图像采集设备拍摄现场实时画面，进行视频截获，将截获后的视频传到流媒体服务器，流媒体服务器保存所截获的视频数据，远程协作终端设备将现场截获的视频画面进行问题画面抓取、编辑和标注，然后将标注好的图片无线发送给可穿戴头显设备的显示器进行显示，以指导佩戴可穿戴头显设备的现场人员根据上述编辑后得到的图像数据进行操作，可穿戴头显设备在显示单元显示标注好的图片的同时，可与远程协作终端设备进行实时通讯。本申请的优点在于可穿戴头显设备通过局部视频的录制、精准视频进度拖拉、关键画面截取、画面指导标注及语音交互等步骤，大大提升了远程协作效率，协助现场人员及时解决现场问题，通过可穿戴头显设备能够真正释放双手。远程协同系统通过控制可穿戴头显设备显示内容直观指导现场人员进行操作，避免现场人员违规操作和在工作中出现操作顺序杂乱等现象，保证了操作的安全性及杜绝了误操作行为的危险隐患，同时解决了现场人员因问题导致的工作时间滞后问题，间接的提升员工的工作能力和基本操作素养。同时极大的缩短企业对现场员工的职前培训时间和资金投入。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请的示例性的可穿戴头显设备的结构图；图2是本申请的示例性的远程协同系统的结构图；图3是本申请的示例性的PC终端机视频抓取示意图；图4是本申请的示例性的PC终端机提取图片示意图；图5是本申请的示例性的PC终端机发送标注图片示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1为本申请的示例性的可穿戴头显设备的结构图以及远程协同系统的结构图，可穿戴头显设备主要构本文档来自技高网...

【技术保护点】
1.一种可穿戴的辅助远程协作的头显设备，包括：主控单元、图像采集设备、音频采集设备、显示单元、音频输出设备、人机交互按键、存储器以及无线通信单元，其中，主控单元用于控制头显设备中的各部件；图像采集设备用于采集现场图片或现场视频；音频采集设备用于采集输入音频信号或环境噪音信号；显示单元用于实时显示图像采集设备采集的图像数据或者用于根据主控单元的控制显示存储器中的图像；音频输出设备用于进行音频输出；人机交互按键用于启动图像采集设备的采集，其特征在于：无线通信单元用于音频与视频的实时通讯，以及根据主控单元的控制将图像采集设备采集的现场图片或现场视频传输至远程协作终端，并且接收来自远程协作终端传送来的图像数据，存储器对所述传送来的图像数据进行存储以供显示单元进行显示，并且图像采集设备可由头显设备的人机交互按键启动采集以及由远程协作终端进行远程控制以启动采集，所述头显设备的显示单元在显示远程协作终端传送来的图像数据时，头显设备可同时与远程协作终端进行实时通讯。/n

【技术特征摘要】
1.一种可穿戴的辅助远程协作的头显设备，包括：主控单元、图像采集设备、音频采集设备、显示单元、音频输出设备、人机交互按键、存储器以及无线通信单元，其中，主控单元用于控制头显设备中的各部件；图像采集设备用于采集现场图片或现场视频；音频采集设备用于采集输入音频信号或环境噪音信号；显示单元用于实时显示图像采集设备采集的图像数据或者用于根据主控单元的控制显示存储器中的图像；音频输出设备用于进行音频输出；人机交互按键用于启动图像采集设备的采集，其特征在于：无线通信单元用于音频与视频的实时通讯，以及根据主控单元的控制将图像采集设备采集的现场图片或现场视频传输至远程协作终端，并且接收来自远程协作终端传送来的图像数据，存储器对所述传送来的图像数据进行存储以供显示单元进行显示，并且图像采集设备可由头显设备的人机交互按键启动采集以及由远程协作终端进行远程控制以启动采集，所述头显设备的显示单元在显示远程协作终端传送来的图像数据时，头显设备可同时与远程协作终端进行实时通讯。


2.根据权利要求1所述的头显设备，其特征在于：头显设备包括照明单元，用于在现场环境能见度低时进行照明。


3.根据权利要求1所述的头显设备，其特征在于：主控单元可预先设定视频录制时间间隔，启动采集时，将图像采集设备对准现场有问题的设备进行现场图片或按照预先设定的视频录制时间间隔的时长进行现场视频音频采集。


4.根据权利要求1所述的头显设备，其特征在于：主控单元可实时设定视频录制时间间隔，启动采集时，将图像采集设备对准现场有问题的设备进行现场图片或按照实时设定视频录制时间间隔的时长进行现场视频音频采集。


5.根据权利要求1所述的头显设备，其特征在于：音频输出设备包括骨传导耳机或扬声器。


6.根据权利要求1所述的头显设备，其特征在于：头显设备还包括供电单元，用于为头显设备的各部件进行供电，并且供电单元可通过USB接口从外部电源获取电力以进行充电或供电。


7.一种远程协同系统，包括如权利要求1-6任一项所述的头显设备，并且还包括流...

【专利技术属性】
技术研发人员：李志强，刘俊宽，刘曙元，王克飞，
申请(专利权)人：国能信控互联技术有限公司，
类型：发明
国别省市：北京;11