一种SOE信息的智能监控方法技术

本发明专利技术公开了一种SOE信息的智能监控方法，为了解决无法实现SOE信息的智能监控、诊断和预警的问题，包括以下步骤：S1：采集故障自诊断图像和文字信息；S2：图文识别，包括图像预处理、文字检测、文本识别；S3：通过识别后的信息实现故障自诊断，将识别后的信息进行全语种语义建模；S4：通过全语种语义建模构建发音体系，通过多语种混合建模和迁移学习，构建语音生成模型。本发明专利技术的有益效果是：基于图像和文字信息采集、文本识别等技术，实现SOE信息的智能监控、诊断和预警；实现重合失败、重合成功、跳闸未重合、接地故障等四类状态的自诊断；通过语音合成技术，将重要信息通过语音模型播报，确保重要信息无遗漏。保重要信息无遗漏。保重要信息无遗漏。

【技术实现步骤摘要】
一种SOE信息的智能监控方法


[0001]本专利技术涉及计算机
，尤其涉及一种SOE信息的智能监控方法。

技术介绍

[0002]随着信息技术的不断发展，在大部分电厂主机、造纸等重要工业领域中，一旦在系统联调或生产运行过程中发生停机停车等事件，需要通过DCS(Distributed ControlSystem分布式控制系统)平台来查找事故的原因，而这些项目的工艺过程复杂，实时性高，一般的报警记录及历史趋势无法用来做出准确的事故分析。因此，需要用到事件顺序记录(sequence of event SOE)技术对DCS进行事件记录。
[0003]一种在中国专利文献上公开的“一种SOE事件的采集方法及相关装置”，其公告号CN109376878A，包括：包括：控制器进行运算得到状态数据，判断状态数据和上一周期状态数据是否一样；若是，将状态数据作为上一周期状态数据进行保存；若否，根据状态数据进行SOE事件记录处理，得到SOE事件，将状态数据作为上一周期状态数据进行保存；将SOE事件保存至缓存队列，按照预设规则从缓存队列将SOE事件上传至上位机，以使上位机获取SOE事件。通过判断状态数据减少控制器采集监控数据的数据量，降低了监控软件传输的数据量，保持监控数据全被采集的情况下降低网络负荷。其不足之处是：无法实现SOE信息的智能监控、诊断和预警。

技术实现思路

[0004]本专利技术主要是为了解决无法实现SOE信息的智能监控、诊断和预警的问题，提供一种SOE信息的智能监控方法。
[0005]为了实现上述目的，本专利技术采用以下技术方案：一种SOE信息的智能监控方法，包括以下步骤：S1：采集故障自诊断图像和文字信息；S2：图文识别，包括图像预处理、文字检测、文本识别；S3：通过识别后的信息实现故障自诊断，将识别后的信息进行全语种语义建模；S4：通过全语种语义建模构建发音体系，通过多语种混合建模和迁移学习，构建语音生成模型。
[0006]步骤S1中所述采集故障自诊断图像和文字信息，可以使用视频采集、摄像采集等获取所需图像和文字信息。
[0007]所述图像预处理是针对图像的成像问题进行修正。图像预处理过程包括：几何变换(透视、扭曲、旋转等)、畸变校正、去除模糊、图像增强和光线校正等。
[0008]文字检测即检测文本的所在位置和范围及其布局，包括版面分析和文字行检测等。文字检测主要解决的问题是哪里有文字，文字的范围有多大。
[0009]文本识别是在文本检测的基础上，对文本内容进行识别，将图像中的文本信息转化为文本信息。文字识别主要解决的问题是每个文字是什么。识别出的文本需要再次核对
以保证其正确性。
[0010]作为优选，步骤S1中所述图像和文字信息包括事故信息、异常信息、变位信息、告知信息，所述异常信息包括重合失败、重合成功、跳闸未重合、接地故障。
[0011]作为优选，所述步骤S2包括以下步骤：S21：通过神经网络提取图像特征，进行图像预处理；S22：通过候选框框选预处理后图像中的文本区域；S23：引入文本区域中上下文的序列信息，通过依赖于时序关系的神经网络进行文本识别。
[0012]步骤S21中使用基于CNN(卷积神经网络)的神经网络作为特征提取手段，CNN神经网络可以配合大量的数据增强特征提取的鲁棒性，在面临模糊、扭曲、畸变、复杂背景和光线不清等图像问题均可以表现良好的鲁棒性。
[0013]步骤S23中所述引入文本区域中上下文的序列信息，确保了条目准确率，可以通过RNN(循环神经网络)和LSTM(长短期记忆网络)等依赖于时序关系的神经网络引入文本区域中上下文的序列信息。
[0014]作为优选，所述步骤S22包括以下步骤：S221：判断框选的文本区域是否为检测目标；S222：调整候选框旋转角度和/或长宽比得到矩形候选框，或计算文本区域与候选框的重合度后得到非矩形候选框；S223：通过分类定位的多任务损失判断检测目标类型。
[0015]采用辅助生成样本的RPN(区域候选网络)网络，将算法结构分为两个部分，第一部分为步骤S221中判断框选的文本区域是否为检测目标，第二部分为步骤S223中通过分类定位的多任务损失判断检测目标类型。这种形式可以使整个网络流程都能共享卷积神经网络提取的的特征信息，节约计算成本，且解决算法生成正负样本候选框速度慢的问题，同时避免候选框提取过多导致算法准确率下降。
[0016]步骤S222中可以通过RRPN(基于旋转候选框实现任意方向的场景文本检测)，将垂直的候选框进行旋转满足非垂直文本的检测，这样一来就可以满足非垂直文字的检测需求。
[0017]步骤S222中可以通过TextBoxes算法调整了候选框的长宽比，以适应文字的高长宽比。
[0018]步骤S222中可以采用DMPNet(Deep Matching Prior Network)算法，通过Monte
‑
Carlo方法计算标注区域与矩形候选框和旋转候选框的重合度后重新计算顶点坐标，得到非矩形四边形的顶点坐标，得到非矩形候选框。
[0019]作为优选，步骤S3中所述将识别后的信息进行全语种语义建模包括以下步骤：S31：构建全语种语义预训练模型提取文本语义信息；S32：通过多语言融合的文本预训练方式提取语义变化信息；S33：在预训练模型基础上构建各语种独立情况的文本预测信息分支。
[0020]采用基于多国语言融合的BERT无监督文本预训练模型，提取文本语义信息，降低文本人工标注难度和数量。
[0021]通过多语言融合的海量文本预训练方式提取语义变化信息，改善文本输入能力偏
弱的现实，提升语音合成表现效果。
[0022]在统一的BERT预训练模型基础上构建各语种独立情况的文本预测信息分支，如中文多音字、日语调核、阿拉伯语元音恢复等问题，实现共享信息的多任务学习。
[0023]作为优选，步骤S4中所述构建发音体系包括以下步骤：S41：根据物理发音规律覆设计覆盖全部发音体系，预先定义并在数据充足语言上人工确认标注；S42：构建统一单元的发音词典，将语言相关技术模块化，在语言资源有限的条件下得以实现合成系统快速定制；S43：以国际音标为基础，辅音根据发音部位、发音方法做主要区分，元音以发音位置的高低、前后、圆唇/不圆唇三点作为主要区分维度，以时长、鼻化，松紧作为次要区分维度，构建多语言发音体系。
[0024]所述根据物理发音规律覆设计覆盖全部发音体系，包含孤立语、黏着语、屈折语以及区分音节显赫语言(有调、无调)、音节非显赫语言(有重音、无重音)等各种主要语系里语音发音类型。
[0025]通过VAE半监督聚类方法自动构建统一单元的发音词典，将语言相关技术模块化的方法，在语言资源有限的条件下得以实现合成系统快速定制，解决了小语种或方言等资源受限语种的语音系统需求。
[0026]作为优选，步骤S41中所述将语言相关技术模块化包括语言相关模块和语言无关模块，所述语言无关模块包括语音合成引本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种SOE信息的智能监控方法，其特征在于，包括以下步骤：S1：采集故障自诊断图像和文字信息；S2：图文识别，包括图像预处理、文字检测、文本识别；S3：通过识别后的信息实现故障自诊断，将识别后的信息进行全语种语义建模；S4：通过全语种语义建模构建发音体系，通过多语种混合建模和迁移学习，构建语音生成模型。2.根据权利要求1所述的一种SOE信息的智能监控方法，其特征在于，步骤S1中所述图像和文字信息包括事故信息、异常信息、变位信息、告知信息，所述异常信息包括重合失败、重合成功、跳闸未重合、接地故障。3.根据权利要求1所述的一种SOE信息的智能监控方法，其特征在于，所述步骤S2包括以下步骤：S21：通过神经网络提取图像特征，进行图像预处理；S22：通过候选框框选预处理后图像中的文本区域；S23：引入文本区域中上下文的序列信息，通过依赖于时序关系的神经网络进行文本识别。4.根据权利要求3所述的一种SOE信息的智能监控方法，其特征在于，所述步骤S22包括以下步骤：S221：判断框选的文本区域是否为检测目标；S222：调整候选框旋转角度和/或长宽比得到矩形候选框，或计算文本区域与候选框的重合度后得到非矩形候选框；S223：通过分类定位的多任务损失判断检测目标类型。5.根据权利要求1所述的一种SOE信息的智能监控方法，其特征在于，步骤S3中所述将识别后的信息进行全语种语义建模包括以下步骤：S31：构建全语种语义预训练模型提取文本语义信息；S32：通过多语言融合的文本预训练方式提取语义变化信息；S33：在预训练模型基础上构建各语种独立情况的文本预测信息分支。6.根据权利要求1所述的一种SOE信息的智能监控方法，其特征在于，步骤S4中所述构建发音体系包括以下步骤：S41：根据物理发音规律覆设计覆盖全部发音体系，预先定义并在数据充足语言上人工确认标注；S42：构建统一单元的发音词典，将语言相关技术模块化，在语言资源有限的条件下得以实现合成系统快速定制；S43：以国际音标为基础，辅音根据发音部位、发音方法做主要区分，元音以发音位置的高低、前后、圆唇/不圆唇三点...

【专利技术属性】
技术研发人员：陈超，方景辉，沈红峰，丁磊明，姚强，龚利武，潘白浪，张健，张炜，吴军，徐光年，郭艳东，胡郁，吴佳，顾一星，朱晓晨，江波，黄悦华，孙舒柳，
申请(专利权)人：平湖市通用电气安装有限公司浙江华云信息科技有限公司国网浙江省电力有限公司嘉兴供电公司，
类型：发明
国别省市：