一种基于深度学习的端到端告警信息识别方法技术

本发明专利技术公开了一种基于深度学习的端到端告警信息识别方法，包括以下步骤：截取视频帧图像，对图像进行预处理；按告警信息的行切割图像，得到包含每一行告警信息的图像片；分别对每一个图像片进行文本信息检测；基于端到端的深度学习算法对检测到的文本信息进行识别，得到告警信息识别结果。本发明专利技术主要针对变电运行智能辅助系统，对后台电子屏幕上按行显示的多行动态告警信息进行视频图像监控时，基于深度学习的端到端识别方法可以精准地识别所有告警信息，从而可以高效地获取电子屏幕上的告警信息，及时将信息反馈给数据分析系统，以供后续设备根据告警信息排除变电运行系统故障。

An End-to-End Alarm Information Recognition Method Based on Deep Learning

The invention discloses an end-to-end alarm information recognition method based on depth learning, which includes the following steps: intercepting video frame images and preprocessing the images; cutting the images according to the alarm information to get the image slices containing each line of alarm information; detecting the text information of each image slice separately; and detecting the detected text based on the end-to-end depth learning algorithm. The information is identified and the result of alarm information recognition is obtained. The invention is mainly aimed at intelligent auxiliary system of substation operation. When monitoring video image of multi-action dynamic alarm information displayed in line on backstage electronic screen, the end-to-end recognition method based on deep learning can accurately identify all alarm information, so that the alarm information on electronic screen can be efficiently obtained, and the information can be timely fed back to the data analysis system for follow-up. The equipment eliminates the faults of the substation operation system according to the alarm information.

【技术实现步骤摘要】
一种基于深度学习的端到端告警信息识别方法
本专利技术属于计算机视觉
，尤其涉及一种基于深度学习的端到端告警信息识别方法。
技术介绍
告警信息识别实际上就是识别拍摄到的视频图像中的文字信息，文字识别能够将文字高速、快效的输入到计算机系统，实现人机交互，减轻人们的劳动，将人力从枯燥冗杂的工作中解放出来，提高处理效率。传统文字识别过程分为字符预处理、特征提取、模式分类几大模块，由于文字识别受到的影响因素多，比如背景和噪声复杂、字符结构本身复杂、字符种类多、相似字符多。特别是传统算法在字符预处理时由于光线以及字符间隔小会导致字符分割误差大，从而影响后续处理，以至于传统的文字识别方法的精确度无法满足实际应用的要求。最近几年来随着深度学习的兴起及不断发展,特别是深度卷积神经网络、深度置信网络、层叠自动编码机、深度递归神经网络等深度模型在图像识别及计算机视觉各领域的大量突破性成果的涌现,相关的方法也被逐步应用到文字识别领域,并取得了不少突破性发展。而目前现有的基于深度学习的文字识别算法多用于单句文字或短语的识别，对于大篇幅的文字识别效果并不理想，存在识别准确率差等问题；针对传统算法的缺陷和现有的基于深度学习的文字识别算法的不足，进一步专利技术研究应用于电子屏幕上大篇幅按行显示的复杂告警信息识别技术是非常有必要的。
技术实现思路
本专利技术要解决的技术问题是：提供一种基于深度学习的端到端告警信息识别方法，以解决现有技术基于深度学习的文字识别算法多用于单句文字或短语的识别，对于大篇幅的文字识别效果并不理想存在识别准确率差等技术问题。本专利技术的技术方案是：一种基于深度学习的端到端告警信息识别方法，它包括：步骤S1：图像预处理：首先，截取由固定相机拍摄的视频帧图像，并且用该相机拍摄标定板图像；然后根据标定板图像获取相机内参和畸变参数，并且根据参数矫正原图像；最后，在截取到的第一帧图像上标定实际告警信息区域的四个顶点，同时矫正由于拍摄角度造成的告警信息倾斜，获得矫正后的只包含告警信息的矩形区域；步骤S2：采用水平投影算法对步骤S1获得的告警信息矩形区域图像进行水平投影，根据投影结果将告警信息图像按行分割，获得告警信息的行图像片；步骤S3：采用传统算法阈值分割、形态学变换和连通域筛选检测出步骤S2获得的所有图像片中的文字区域；步骤S4：采用结合卷积神经网络、注意力模型和循环神经网络的深度学习算法端到端识别步骤S3检测到的所有文字区域，获得一帧图像上的所有告警信息。所述固定相机是固定在正对电子屏幕的位置，在拍摄过程中拍摄角度以及相机参数恒定不变，同时电子屏幕的位置固定不变。所述步骤S1中进行图像预处理的具体步骤为：步骤S1.1：截取视频帧图像，并且用相机拍摄一组标定板图像；步骤S1.2：用标定板图像计算获得相机内参和畸变参数，根据参数矫正原图像；步骤S1.3：在第一帧图像上标定告警信息所在的实际区域，保存该区域四个顶点的坐标信息，根据标定的顶点坐标对步骤S1.2校正后的图像进行透视变换，然后保留只包含告警信息的矩形区域，该区域内的告警信息按行水平显示。所述步骤S3的具体步骤包括：步骤S3.1：首先，对告警信息行图像片进行阈值分割；步骤S3.2：然后，对阈值分割后的二值图进行形态学变换，将所有相邻的文字信息经膨胀形成连通区域，不同类别的告警信息形成不同的连通区域；步骤S3.3：最后，经连通域筛选排除噪声信息干扰，得到只包含不同类别告警信息的连通域，获得每个类别告警信息所在的位置，即实现文字信息的检测。步骤S4所述采用结合卷积神经网络、注意力模型和循环神经网络的深度学习算法端到端识别步骤S3检测到的所有文字区域，获得一帧图像上的所有告警信息的方法包括：步骤S4.1：构建网络结构，该结构由卷积神经网络、注意力模型和循环神经网络构成，首先，卷积神经网络在整个网络结构前端，从输入的图片中提取特征；接着，注意力模型根据循环神经网络的隐藏状态以及卷积神经网络输出的特征计算出注意力权重；最后，将卷积神经网络输出的特征图谱与注意力权重结合起来，输入循环神经网络进行编码，得到整个字符集的概率分布，概率最高的编号所对应的字符为最后的识别结果；步骤S4.2:训练深度学习模型：首先采集每个类别告警信息的图片组成训练集，制作数据集的图片来源于拍摄到的电子屏幕告警信息的视频图像，对原图片上的告警信息按类分割，获得的每幅图像只包含一类告警信息，最后获得的图像涵盖所有告警信息，并且数据集由这些子图像组成；在获得数据集之后分别对文字信息进行标记，一幅图像对应一个标签，并且统计告警信息字符集；最后使用数据集根据构建出的网络结构迭代训练深度学习模型；步骤S4.3:识别告警信息：告警信息识别是一次按行识别每一类告警信息，输入为包含文字的告警信息图片，将这些图片输入到训练好的深度学习模型，输出为对应的文字序列；识别过程中无需将这些文字依次分割。步骤S4.1中，从输入的图片中提取特征的表达式为：f＝{fi,j,c}式中：f表示特征图谱，i，j表示在特征图谱中的位置，c表示通道数；注意力权重的计算方法为：注意力模型根据循环神经网络的隐藏状态计算得到注意力掩模，表示为：式中，αt,i,j表示注意力掩模，Vα表示一个向量，st表示循环神经网络的隐藏状态，fi,j表示特征图谱中坐标为i，j处的特征，ei、ej分别表示坐标i，j的独热编码，W表示对应的参数；结合卷积神经网络输出的特征计算出注意力权重：ut,c＝αt,i,jfi,j,c式中，ut,c表示注意力权重，αt,i,j表示注意力掩模，fi,j,c表示卷积神经网络输出的特征。所述将卷积神经网络输出的特征图谱与注意力权重结合起来，输入循环神经网络进行编码，得到整个字符集的概率分布的方法为：循环神经网络中加入了长短时记忆模块(LSTM)，使得循环神经网络可以对任意长度的序列进行操作，将卷积神经网络输出的特征图谱与注意力权重结合起来，输入循环神经网络进行编码，得到整个字符集的概率分布；循环神经网络在t时刻的输入表示为：式中，表示循环神经网络在t时刻的输入，表示前一时刻预测出的字符的独热编码，ut-1表示前一时刻的注意力权重，W表示对应参数；循环神经网络的输出表示为：式中，(ot,st)表示循环神经网络的输出，分别表示输入和上一时刻的隐藏状态；经过softmax层得到对应字符集的概率分布：表示字符集概率分布，ot表示t时刻循环神经网络的输出，ut表示t时刻注意力权重，W表示对应参数；概率最高的编号所对应的字符为最后的识别结果：ct表示字符最后识别结果，表示字符对应的概率分布。本专利技术有益效果：本专利技术具有较强的工程适用性，通过所提出的图像预处理可以得到只包含告警信息的图像区域，排除了其他信息的干扰，并且经畸变和倾斜矫正后可以使告警信息按行水平显示，为后续处理提供关键依据；按行分割图像，依次检测识别行图像片文字信息，可以排除其他告警信息的干扰，使得整个识别结果更加准确；采用结合卷积神经网络、注意力模型和循环神经网络的深度学习算法端到端的识别每类告警信息，避免了文字分割对识别准确率的影响，对字体颜色、模糊具有一定的鲁棒性，在网络中融合的注意力模型进一步提高了识别结果的准确率；解决了解决现有技术基于深度学习的文字识别算法多用于单句文字或短语的识本文档来自技高网...

【技术保护点】
1.一种基于深度学习的端到端告警信息识别方法，它包括：步骤S1：图像预处理：首先，截取由固定相机拍摄的视频帧图像，并且用该相机拍摄标定板图像；然后根据标定板图像获取相机内参和畸变参数，并且根据参数矫正原图像；最后，在截取到的第一帧图像上标定实际告警信息区域的四个顶点，同时矫正由于拍摄角度造成的告警信息倾斜，获得矫正后的只包含告警信息的矩形区域；步骤S2：采用水平投影算法对步骤S1获得的告警信息矩形区域图像进行水平投影，根据投影结果将告警信息图像按行分割，获得告警信息的行图像片；步骤S3：采用传统算法阈值分割、形态学变换和连通域筛选检测出步骤S2获得的所有图像片中的文字区域；步骤S4：采用结合卷积神经网络、注意力模型和循环神经网络的深度学习算法端到端识别步骤S3检测到的所有文字区域，获得一帧图像上的所有告警信息。

【技术特征摘要】
1.一种基于深度学习的端到端告警信息识别方法，它包括：步骤S1：图像预处理：首先，截取由固定相机拍摄的视频帧图像，并且用该相机拍摄标定板图像；然后根据标定板图像获取相机内参和畸变参数，并且根据参数矫正原图像；最后，在截取到的第一帧图像上标定实际告警信息区域的四个顶点，同时矫正由于拍摄角度造成的告警信息倾斜，获得矫正后的只包含告警信息的矩形区域；步骤S2：采用水平投影算法对步骤S1获得的告警信息矩形区域图像进行水平投影，根据投影结果将告警信息图像按行分割，获得告警信息的行图像片；步骤S3：采用传统算法阈值分割、形态学变换和连通域筛选检测出步骤S2获得的所有图像片中的文字区域；步骤S4：采用结合卷积神经网络、注意力模型和循环神经网络的深度学习算法端到端识别步骤S3检测到的所有文字区域，获得一帧图像上的所有告警信息。2.根据权利要求1所述一种基于深度学习的端到端告警信息识别方法，其特征在于：所述固定相机是固定在正对电子屏幕的位置，在拍摄过程中拍摄角度以及相机参数恒定不变，同时电子屏幕的位置固定不变。3.根据权利要求1所述一种基于深度学习的端到端告警信息识别方法，其特征在于：所述步骤S1中进行图像预处理的具体步骤为：步骤S1.1：截取视频帧图像，并且用相机拍摄一组标定板图像；步骤S1.2：用标定板图像计算获得相机内参和畸变参数，根据参数矫正原图像；步骤S1.3：在第一帧图像上标定告警信息所在的实际区域，保存该区域四个顶点的坐标信息，根据标定的顶点坐标对步骤S1.2校正后的图像进行透视变换，然后保留只包含告警信息的矩形区域，该区域内的告警信息按行水平显示。4.根据权利要求1所述一种基于深度学习的端到端告警信息识别方法，其特征在于：所述步骤S3的具体步骤包括：步骤S3.1：首先，对告警信息行图像片进行阈值分割；步骤S3.2：然后，对阈值分割后的二值图进行形态学变换，将所有相邻的文字信息经膨胀形成连通区域，不同类别的告警信息形成不同的连通区域；步骤S3.3：最后，经连通域筛选排除噪声信息干扰，得到只包含不同类别告警信息的连通域，获得每个类别告警信息所在的位置，即实现文字信息的检测。5.根据权利要求1所述一种基于深度学习的端到端告警信息识别方法，其特征在于：步骤S4所述采用结合卷积神经网络、注意力模型和循环神经网络的深度学习算法端到端识别步骤S3检测到的所有文字区域，获得一帧图像上的所有告警信息的方法包括：步骤S4.1：构建网络结构，该结构由卷积神经网络、注意力模型和循环神经网络构成，首先，卷积神经网络在整个网络结构前端，从输入的图片中提取特征；接着，注意力模型根据循环神经网络的隐藏状态以及卷积神经网络输出的特...

【专利技术属性】
技术研发人员：胡星，邹欣，张衡，张大贵，张承模，张庆伟，王亮，田恩勇，毛强，辛丽娜，吴玉柱，娄方旭，王俊杰，付航，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：贵州,52