远程作业指导方法及系统技术方案

本发明专利技术提供了一种远程作业指导方法及系统，包括：智能终端在采集的音频、视频和增强现实标注信息上添加第一相对时间戳使三者同步，同步后发送给WEB终端；智能终端获取WEB端返回的添加有第二相对时间戳的视频和远程协助信息；智能终端根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，同时根据第二相对时间戳对视频和远程协助信息进行同步回放；智能终端以视频为主流，显示同步回放后的视频、音频、增强现实标注信息和远程协助信息。本发明专利技术提供的技术方案使用相对时间戳同步法实现了音频、视频和增强现实标注信息三者的同步，采用同步回放实现视频、音频、增强现实标注信息和远程协助信息的同步显示，实现精准化远程指导。

Remote Operational Guidance Method and System

The invention provides a remote job guidance method and system, which includes: an intelligent terminal adds a first relative timestamp to the collected audio, video and augmented reality annotation information to synchronize them and sends them to the WEB terminal after synchronization; an intelligent terminal obtains the video and remote assistance information returned by the WEB terminal with a second relative timestamp; and an intelligent terminal adds a second relative timestamp according to the first relative timestamp. Audio, video and augmented reality annotation information are replayed synchronously, and video and remote assistance information are replayed synchronously according to the second relative timestamp. Video is the mainstream of intelligent terminals, displaying video, audio, augmented reality annotation information and remote assistance information after synchronous playback. The technical scheme of the invention realizes synchronization of audio, video and augmented reality annotation information by using relative timestamp synchronization method, realizes synchronous display of video, audio, augmented reality annotation information and remote assistance information by synchronous playback, and realizes precise remote guidance.

【技术实现步骤摘要】
远程作业指导方法及系统
本专利技术属于信息技术多媒体应用领域，具体涉及远程作业指导方法及系统。
技术介绍
随着公司电网规模日益扩大和新型设备投产，电网设备安装、运行、检修面临资料繁杂、步骤复杂、设备拆装精准度高以及人员水平不一等问题。传统的电网作业方式(基建安装、巡视检修、配网抢修)采用作业前制定详细计划，执行过程中严格按照计划执行，由于电网现场作业面临的情况非常复杂，作业人员遇到突发问题处理能力不足，执行作业时间较长，需要现场作业人员具有较高的专业技术水平。随着可穿戴及增强现实技术发展，电网作业人员将采用佩戴智能终端方式进行信息采集、传输、处理，在遇到疑难问题可接受技术专家远程协助。而单纯的通过视频和声音无法让各个参与方都能清楚的实现相关的作业操作，因此一种电网检修作业场景远程协助指导方法及系统，为电网现场作业人员提供直观便捷的作业指导和协作支持，提高电网设备基建安装、巡视检修、配网抢修的工作效率和安全作业水平。
技术实现思路
为了满足电网检修现场作业的需要，本专利技术提供了一种远程作业指导方法及系统，通过视频、声音、远程专家标注的方式实现精准化远程指导。为了实现上述目的，采用如下技术方案：本专利技术提供一种远程作业指导方法，包括：智能终端在采集的音频、视频和增强现实标注信息上添加第一相对时间戳使三者同步，并向WEB终端提供同步后的音频、视频和增强现实标注信息；智能终端获取WEB端返回的添加有第二相对时间戳的视频和远程协助信息；智能终端根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，同时根据第二相对时间戳对视频和远程协助信息进行同步回放；智能终端以视频为主流，显示同步回放后的视频、音频、增强现实标注信息和远程协助信息。所述智能终端向WEB终端提供同步后的音频、视频和增强现实标注信息，包括：所述智能终端将同步后的音频、视频和增强现实标注信息进行压缩编码后通过各自独立的信道同时或依次以视频包、音频包、增强现实标注信息包的顺序发送给视频服务器后再通过视频服务器发送给WEB端。所述远程协助信息包括：远程协助音频和远程协助标注信息。所述根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，包括：同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳，若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。所述根据第二相对时间戳对视频和远程协助信息进行同步回放，包括：同时提取视频帧、远程协助音频帧和远程协助标注信息帧进行比较，若视频帧正常，而远程协助音频帧和远程协助标注信息帧均滞后，则丢弃该远程协助音频帧和远程协助标注信息帧，若远程协助音频帧和视频帧同步，远程协助标注信息帧滞后，则丢弃该远程协助标注信息帧，若视频帧滞后，就将远程协助音频播放速度减慢或加快视频的播放速率。本专利技术提供一种智能终端，包括：第一采集模块，用于采集视频、音频和增强现实标注信息；第一同步模块，用于对视频、音频和增强现实标注信息添加第一相对时间戳进行同步；第一通讯模块，用于从WEB端获取添加有第二相对时间戳的视频和远程协助信息；第一同步回放模块，用于根据第一相对时间戳对视频、音频和增强现实标注信息进行同步回放；且根据第二相对时间戳对视频、远程协助信息进行同步回放；第一显示模块，用于以视频为主流，显示同步回放后的视频、音频、增强现实标注信息和远程协助信息。所述第一通讯模块从WEB端获取的远程协助信息包括远程协助音频和远程协助标注信息。所述第一同步回放模块包括：第一比较单元，用于根据第一相对时间戳同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳；第一处理单元，用于若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。所述第一同步回放模块包括：第二比较单元，用于根据第二相对时间戳同时提取视频帧、远程协助音频帧和远程协助标注信息帧进行比较；第二处理单元，用于若视频帧正常，而远程协助音频帧和远程协助标注信息帧均滞后，则丢弃该远程协助音频帧和远程协助标注信息帧，若远程协助音频帧和视频帧同步，远程协助标注信息帧滞后，则丢弃该远程协助标注信息帧，若视频帧滞后，就将远程协助音频播放速度减慢或加快视频的播放速率。本专利技术提供一种远程作业指导方法，其特征在于，包括：WEB端从智能终端获取添加有第一相对时间戳的音频、视频和增强现实标注信息，并根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放并显示；WEB端获取远程协助信息，并在所述远程协助信息与视频中添加第二相对时间戳进行同步；WEB端向智能终端提供同步后的添加有第二相对时间戳的视频和远程协助信息。所述WEB端对同步后的远程协助信息和视频发送给智能终端包括：所述WEB端对同步后的远程协助信息和视频进行压缩编码后通过视频服务器发送给智能终端。所述根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，包括：同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳，若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。本专利技术提供一种WEB端，包括：第二采集模块，用于获取远程协助信息；第二同步回放模块，用于根据第一相对时间戳对视频、音频和增强现实标注信息进行同步回放；第二显示模块，用于显示同步回放后的视频、音频和增强现实标注信息；第二同步模块，用于对远程协助信息和添加视频添加第二相对时间戳进行同步；第二通讯模块，用于向智能终端提供同步后的添加有第二相对时间戳的视频和远程协助信息。所述第二同步回放模块根据第一相对时间戳同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳，若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。本专利技术提供一种远程作业指导系统，包括所述的智能终端、所述的WEB端、以及分别与智能终端和WEB端通讯的视频服务器，所述视频服务器包括：视频质量优化模块，用于对解码后的添加有第一时间戳和/或第二时间戳的数据信息进行音视频速率控制、质量补偿、回音消除、降噪处理和/或拥塞控制；第三通讯模块，用于与智能终端和/或WEB端通讯。与最接近的现有技术比，本专利技术提供的技术方案具有以下有益效果：本专利技术提供的技术方案，智能终端使用相对时间戳同步法，在音频、视频和增强现实标注信息中分别插入第一相对时间戳，实现了音频、视频和增强现实标注信息三者的同步；智能终端获取W本文档来自技高网...

【技术保护点】
1.一种远程作业指导方法，其特征在于，包括：智能终端在采集的音频、视频和增强现实标注信息上添加第一相对时间戳使三者同步，并向WEB终端提供同步后的音频、视频和增强现实标注信息；智能终端获取WEB端返回的添加有第二相对时间戳的视频和远程协助信息；智能终端根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，同时根据第二相对时间戳对视频和远程协助信息进行同步回放；智能终端以视频为主流，显示同步回放后的视频、音频、增强现实标注信息和远程协助信息。

【技术特征摘要】
1.一种远程作业指导方法，其特征在于，包括：智能终端在采集的音频、视频和增强现实标注信息上添加第一相对时间戳使三者同步，并向WEB终端提供同步后的音频、视频和增强现实标注信息；智能终端获取WEB端返回的添加有第二相对时间戳的视频和远程协助信息；智能终端根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，同时根据第二相对时间戳对视频和远程协助信息进行同步回放；智能终端以视频为主流，显示同步回放后的视频、音频、增强现实标注信息和远程协助信息。2.如权利要求1所述的远程作业指导方法，其特征在于，所述智能终端向WEB终端提供同步后的音频、视频和增强现实标注信息，包括：所述智能终端将同步后的音频、视频和增强现实标注信息进行压缩编码后通过各自独立的信道同时或依次以视频包、音频包、增强现实标注信息包的顺序发送给视频服务器后再通过视频服务器发送给WEB端。3.如权利要求1所述的远程作业指导方法，其特征在于，所述远程协助信息包括：远程协助音频和远程协助标注信息。4.如权利要求1所述的远程作业指导方法，其特征在于，所述根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，包括：同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳，若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。5.如权利要求3所述的远程作业指导方法，其特征在于，所述根据第二相对时间戳对视频和远程协助信息进行同步回放，包括：同时提取视频帧、远程协助音频帧和远程协助标注信息帧进行比较，若视频帧正常，而远程协助音频帧和远程协助标注信息帧均滞后，则丢弃该远程协助音频帧和远程协助标注信息帧，若远程协助音频帧和视频帧同步，远程协助标注信息帧滞后，则丢弃该远程协助标注信息帧，若视频帧滞后，就将远程协助音频播放速度减慢或加快视频的播放速率。6.一种智能终端，其特征在于，包括：第一采集模块，用于采集视频、音频和增强现实标注信息；第一同步模块，用于对视频、音频和增强现实标注信息添加第一相对时间戳进行同步；第一通讯模块，用于从WEB端获取添加有第二相对时间戳的视频和远程协助信息；第一同步回放模块，用于根据第一相对时间戳对视频、音频和增强现实标注信息进行同步回放；且根据第二相对时间戳对视频、远程协助信息进行同步回放；第一显示模块，用于以视频为主流，显示同步回放后的视频、音频、增强现实标注信息和远程协助信息。7.如权利要求6所述的智能终端，其特征在于，所述第一通讯模块从WEB端获取的远程协助信息包括远程协助音频和远程协助标注信息。8.如权利要求6所述的智能终端，其特征在于，所述第一同步回放模块包括：第一比较单元，用于根据第一相对时间戳同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳；第一处理单元，用于若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标...

【专利技术属性】
技术研发人员：侯战胜，彭林，韩海韵，王刚，徐敏，鲍兴川，于海，王鹤，朱亮，何志敏，张泽浩，周强，徐成，
申请(专利权)人：全球能源互联网研究院，国网江苏省电力公司检修分公司，国网江苏省电力公司电力科学研究院，国网江苏省电力公司，国家电网公司，
类型：发明
国别省市：北京,11