基于远程语音视频技术的专家远程辅助赋能系统技术方案

本发明专利技术提供了基于远程语音视频技术的专家远程辅助赋能系统包括：采集模块采集指定现场的实时信息流，通信模块分别将实时信息流传输到第一分析模块和第二分析模块中，第一分析模块解析实时信息流，得到所述指定现场每一工作人员的工作疑问，获取远程专家发布的第一解决方案，并将第一解决方案传输到指定现场的显示模块进行显示，第二分析模块当远程专家未发布第一解决方案时，在预设专家知识库中查找所述工作疑问对应的第二解决方案，将第二解决方案传输到指定现场的显示模块进行显示，既能支持运维专家对运维现场人员实施基于实时音视频的远程辅助，又可以在专家无法提供在线服务时，系统启动专家的数字分身，完成对现场运维人员的远程协助。人员的远程协助。人员的远程协助。

【技术实现步骤摘要】
基于远程语音视频技术的专家远程辅助赋能系统


[0001]本专利技术涉及远程辅助
，特别涉及基于远程语音视频技术的专家远程辅助赋能系统。

技术介绍

[0002]专家远程辅助技术是一种通过数字样机将问题反馈给专家，无需差旅，专家便可远程诊断，随后通过虚拟现实或增强现实的方式对操作员进行远程指导便可解决大部分常见问题的技术手段，目前已经公开的相关技术中，针对运维现场的远程专家辅助以及协助系统以及其技术方案比较多，也得到了比较广泛的应用。但是这些技术方案中要求运维专家必须在线并能及时响应，一旦专家无法实时提供在线的远程辅助，此系统的实用性大打折扣。而且运维专家数量本来就不多，专家自己一般承担大量的工作，大部分时间中无法提供即时在线的音视频远程协助。
[0003]因此，本专利技术提供了基于远程语音视频技术的专家远程辅助赋能系统。

技术实现思路

[0004]本专利技术基于远程语音视频技术的专家远程辅助赋能系统，可以通过语音和视频的方式采集现场的实时信息，然后对施实时信息进程分析解答现场人员提出的疑问，既能支持运维专家对运维现场人员实施基于实时音视频的远程辅助，又可以在专家无法提供在线服务时，系统启动专家的数字分身，完成对现场运维人员的远程协助。
[0005]本专利技术提供了基于远程语音视频技术的专家远程辅助赋能系统，包括：
[0006]采集模块，用于采集指定现场的实时视频流以及实时语音流，建立实时信息流；
[0007]通信模块，用于分别将所述实时信息流传输到第一分析模块和第二分析模块中；
[0008]第一分析模块，用于解析所述实时信息流，得到所述指定现场每一工作人员的工作疑问，获取远程专家发布的第一解决方案，并将所述第一解决方案传输到所述指定现场的显示模块进行显示；
[0009]第二分析模块，用于当所述远程专家未发布第一解决方案时，在预设专家知识库中查找所述工作疑问对应的第二解决方案，将所述第二解决方案传输到所述指定现场的显示模块进行显示。
[0010]在一种可实施的方式中，
[0011]还包括：
[0012]所述第二分析模块，还用于：
[0013]将所述第一解决方案与所述目标工作疑问进行配对，建立疑问
‑
解决对应信息；
[0014]将所述疑问
‑
解决对应信息更新到所述预设专家知识库中，得到目标预设专家知识库；
[0015]利用所述目标预设专家知识库替换所述预设专家知识库。
[0016]在一种可实施的方式中，
[0017]所述显示模块设置在所述指定现场中；
[0018]所述显示模块，用于显示所述第一分析模块传输的第一解决方案，以及显示所述第二分析模块传输的第二解决方案。
[0019]在一种可实施的方式中，
[0020]所述采集模块，包括：
[0021]视频采集单元，用于采集所述指定现场的实时视频流；
[0022]音频采集单元，用于采集所述指定现场的实时语音流；
[0023]信息处理单元，用于解析所述实时视频流得到对应的第一时间进度，以及解析所述实时语音流得到对应的第二时间进度，将所述第一时间进度和第二时间进度进行对齐，生成时间轴；
[0024]信息对齐单元，用于将所述实时视频流和所述实时语音流输入到所述时间轴中进行时间对齐，得到实时信息流。
[0025]在一种可实施的方式中，
[0026]所述通信模块，包括：
[0027]第一通信单元，用于检测预设公网的通信质量，当所述预设公网的通信质量大于预设通信质量时，基于所述预设公网建立通信信道，将所述采集模块和所述第一分析模块分别接入到所述通信信道中；
[0028]第二通信单元，用于获取所述采集模块接入的第一网络和所述第二分析模块接入的第二网络，分别获取所述第一网络中包含的若干个第一信道以及所述第二网络中包含的若干个第二信道，将每一条第一信道分别与每一条第二信道进行网络对接，提取对接成功的目标第一信道和目标第二信道建立局域私网，将所述采集模块和所述第二分析模块分别接入到所述局域私网中；
[0029]信息传输单元，用于通过所述预设公网将所述实时信息流传输到所述第一分析模块，以及通过所述局域私网将所述实时信息流传输到所述第二分析模块。
[0030]在一种可实施的方式中，
[0031]所述第一分析模块，包括：
[0032]疑问处理单元，用于根据所述工作疑问结合预设指令样本建立提问指令；
[0033]问题记录单元，用于记录远程专家根据所述提问指令做出的问题解答；
[0034]第一修正单元，用于将所述问题解答输入到预设语义人工智能模型中进行语义训练，得到对应的陈述句，将所述陈述句进行词语分割得到若干个单位词语，根据所述陈述句对应的句型建立初始二叉树；
[0035]第二修正单元，用于将所述单位词语输入到所述初始二叉树中得到句义二叉树，根据所述句义二叉树对所述单位词语进行筛选得到目标单位词语，根据所述句义二叉树的逻辑结构，对所述目标单位词语进行重组得到第一解决方案，将所述第一解决方案传输到所述指定现场的显示模块进行显示。
[0036]在一种可实施的方式中，
[0037]所述第二分析模块，包括：
[0038]处理单元，用于当所述远程专家未发布第一解决方案时，将所述实时信息流划分为若干个单位信息流，并分别获取每一单位信息流中包含的人员信息，提取含有同一人员
信息的若干个单位信息流得到第一单位信息流集，基于每一人员信息建立人员标签，将所述人员标签标记在对应的第一单位信息流集中，得到每一人员信息对应的第二单位信息流集；
[0039]解析单元，用于分别解析每一第二单位信息流集得到对应工作人员在所述指定现场执行现场作业时的作业特征，分别将每一作业特征与预设提问特征进行对比，根据对比结果确定发出疑问的目标工作人员，获取所述目标工作人员发出的工作疑问；
[0040]查找单元，用于分别将每一所述工作疑问输入到预设语义人工智能模型中进行语义训练，得到对应的疑问句以及得到每一工作疑问对应的疑问关键词，在所述预设专家知识库中查找所述疑问关键词得到若干条解决建议，分别将每一所述解决建议与所述疑问句进行语义逻辑分析，得到每一解决建议与所述疑问句之间的关联程度，提取关联程度最高的目标解决建议；
[0041]总结单元，用于根据同一工作人员提出的多个工作疑问对应的目标解决建议，建立第二解决方案，并将所述第二解决方案传输到所述指定现场的显示模块进行显示。
[0042]在一种可实施的方式中，
[0043]当同一工作人员提出一个工作疑问时，根据对应的目标解决建议，建立第二解决方案，并将所述第二解决方案传输到所述指定现场的显示模块进行显示。
[0044]在一种可实施的方式中，
[0045]所述显示模块，还包括：
[0046]互动单元，用于根据预设动态三维人物模型建立数字专家，控制所述数字本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于，包括：采集模块，用于采集指定现场的实时视频流以及实时语音流，建立实时信息流；通信模块，用于分别将所述实时信息流传输到第一分析模块和第二分析模块中；第一分析模块，用于解析所述实时信息流，得到所述指定现场每一工作人员的工作疑问，获取远程专家发布的第一解决方案，并将所述第一解决方案传输到所述指定现场的显示模块进行显示；第二分析模块，用于当所述远程专家未发布第一解决方案时，在预设专家知识库中查找所述工作疑问对应的第二解决方案，将所述第二解决方案传输到所述指定现场的显示模块进行显示。2.如权利要求1所述的一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于，还包括：所述第二分析模块，还用于：将所述第一解决方案与所述目标工作疑问进行配对，建立疑问
‑
解决对应信息；将所述疑问
‑
解决对应信息更新到所述预设专家知识库中，得到目标预设专家知识库；利用所述目标预设专家知识库替换所述预设专家知识库。3.如权利要求1所述的一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于：所述显示模块设置在所述指定现场中；所述显示模块，用于显示所述第一分析模块传输的第一解决方案，以及显示所述第二分析模块传输的第二解决方案。4.如权利要求1所述的一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于，所述采集模块，包括：视频采集单元，用于采集所述指定现场的实时视频流；音频采集单元，用于采集所述指定现场的实时语音流；信息处理单元，用于解析所述实时视频流得到对应的第一时间进度，以及解析所述实时语音流得到对应的第二时间进度，将所述第一时间进度和第二时间进度进行对齐，生成时间轴；信息对齐单元，用于将所述实时视频流和所述实时语音流输入到所述时间轴中进行时间对齐，得到实时信息流。5.如权利要求1所述的一种基于远程语音视频技术的专家远程辅助赋能系统，其特征在于，所述通信模块，包括：第一通信单元，用于检测预设公网的通信质量，当所述预设公网的通信质量大于预设通信质量时，基于所述预设公网建立通信信道，将所述采集模块和所述第一分析模块分别接入到所述通信信道中；第二通信单元，用于获取所述采集模块接入的第一网络和所述第二分析模块接入的第二网络，分别获取所述第一网络中包含的若干个第一信道以及所述第二网络中包含的若干个第二信道，将每一条第一信道分别与每一条第二信道进行网络对接，提取对接成功的目标第一信道和目标第二信道建立局域私网，将所述采集模块和所述第二分析模块分别接入到所述局域私网中；
信息传输单元，用于通过所述预设公网将所述实时信息流传输到所述第一分析模块，以及通过所述局域私网将所述实时信息流传输到所述第二分析模块。6.如权利要求1所述的一种基于远程语音视频技...

【专利技术属性】
技术研发人员：李红江，沈锐，韩强，傅黎，
申请(专利权)人：武汉蓝海科创技术有限公司，
类型：发明
国别省市：