【技术实现步骤摘要】
本专利技术涉及一种基于多模态知识图谱的作业安全风险识别方法，属于电力现场作业安全。
技术介绍
1、电力现场作业点多面广、施工人员多、环境复杂，各类安全风险和事故隐患交织叠加，安全管控难度大。针对现场作业安全管控中的作业点分散、人员和设备管控力度不够、安监人力不足，目前普遍开展了基于各类监控终端的现场作业安全管控，基于各类传感器、视频图像识别系统、可穿戴装备和工器具的联合使用对现场作业的违章行为进行自动识别与告警，提升作业安全监管水平，其中，利用人工智能、边缘计算、传感器、物联网等技术实现对现场作业的各类数据就地分析和实时研判，相对低成本地实现违章行为的高准确度识别，是开展电力现场作业安全管控工作的重点和难点。由于现场作业环境干扰因素多、容易遮挡、要识别的目标可能不够显著、相应人工智能模型训练的样本不典型或不充分等各种因素，目前现场作业违章识别装置的总体准确度不高，存在较多漏检、误检的情况，如何创新电力多源异构数据的组织与应用形式，提升电力作业现场风险防控水平，是亟待考虑的问题。
2、知识图谱(knowledgegraph，kg)作为人工智能关键技术之一，既包含丰富的语义信息，又包含图的拓扑结构信息，成为了多源异构数据的有效组织与应用载体。在电力领域知识图谱技术的研究与应用已经取得一定成果，但涉及的数据资源主要以结构化表格数据与文本数据为主，面对电力生产作业安全管控场景中，尚缺乏对各核心要素(设备、人员、环境、流程、规范等)的多模态数据(图像、视频、语音、文本等)联动认知分析手段。电力现场作业环境复杂、管控类型多样，涉
3、申请号为cn202110683084.3的中国专利公开了一种面向智慧电厂的安全知识图谱构建方法及系统，该方法构建的知识图谱综合考虑了电力企业安全管理的应用现状与需求，能够有效的减少电厂生产环节的安全风险，便于企业在电力生产中实现智能管理，保障电厂的生产安全。
4、该方法没有考虑到电力现场业环境复杂、管控类型多样、各类风险隐患交织叠加的问题，采用单一模态数据很难提供某个现象的完整信息，容易造成人工智能模型出现作业风险、违章误报且漏报率高，实际使用中准确率并不高。
技术实现思路
1、为了克服上述问题，本专利技术提供一种基于多模态知识图谱的作业安全风险识别方法，该方法利用多模态知识图谱技术，通过构建多模态电力现场作业风险认知图谱，基于知识图谱数据组织、因果推理等能力，解决电力现场作业多源数据离散化、异构化难以高效利用问题，融合文本、作业图像、视频等非结构化与结构化数据开展作业风险研判，挖掘作业隐性风险，推荐风险应对措施，提升作业风险研判的全面性、时效性与准确性，为现场作业安全管控决策提供支撑。
2、本专利技术的技术方案如下：
3、一种基于多模态知识图谱的作业安全风险识别方法，包括以下步骤：
4、获取多种模态的电力现场作业数据；
5、构建多模态知识图谱的schema；
6、对不同模态的电力现场作业数据分别进行知识抽取，得到电力现场作业数据的标签；
7、对不同模态的电力现场作业数据的标签进行融合；
8、通过融合后的标签和schema进行知识存储，得到多模态电力现场作业风险认知图谱；
9、通过所述多模态电力现场作业风险认知图谱进行辅助决策，识别电力现场作业风险。
10、进一步的，所述电力现场作业数据的数据类型包括文本数据、图像数据和视频数据。
11、进一步的，所述文本数据包括作业工作票、规章制度、人员信息、设备信息、工作通报和违章案例中的至少一种；还包括对所述文本数据的预处理，具体为：
12、获取文本数据a；
13、识别所述文本数据a的文件类型；所述文件类型包括文本文件和非文本文件；
14、若所述文本数据a的文件类型为文本文件，则通过tika组件输出所述文本数据a的纯文本数据，否则，通过光学字符识别技术提取所述文本数据a的纯文本数据，并输出。
15、进一步的，对所述电力现场作业数据进行知识抽取包括文本数据的关键信息抽取，包括以下步骤：
16、获取数据类型为文本数据的电力现场作业数据；
17、对电力现场作业数据中的实体和关系类型进行定义；
18、抽取部分数据类型为文本数据的电力现场作业数据，并根据定义进行标注，得到训练集；
19、构建基于注意力机制的分段卷积神经网络模型；
20、通过所述训练集对所述基于注意力机制的分段卷积神经网络模型进行训练；
21、将待抽取的电力现场作业数据、目标实体和关系类型输入所述基于注意力机制的分段卷积神经网络模型进行实体关系抽取。
22、进一步的，对所述电力现场作业数据进行知识抽取包括图像数据的语义标签提取，包括以下步骤：
23、构建电力现场作业图像中包含的常见目标清单；
24、通过所述常见目标清单构建电力现场作业的常见违章行为清单；
25、对部分数据类型为图像数据的电力现场作业数据进行违章行为标注；
26、对所述常见违章行为清单中的各项违章行为通过深度学习算法结合标注的电力现场作业数据进行训练，得到不同违章行为的识别模型；
27、通过所述识别模型对数据类型为图像数据的电力现场作业数据进行语义标签提取，所述识别模型的输出即语义标签。
28、进一步的，通过所述识别模型对数据类型为图像数据的电力现场作业数据进行语义标签提取，包括以下步骤：
29、将数据类型为图像数据的电力现场作业数据输入编码器，通过解码器的卷积神经网络提取出n个位置的特征x＝{x1,x2,x3,...,xn}，xn∈rd，其中，xn为d维向量，d为通道数，n为特征图的尺寸；
30、将特征x输入解码器；
31、通过解码器的attention机制对所述特征x分配不同的权重；
32、在生成语义标签的第t个单词时，输入解码器的循环神经网络的上下文向量为zt，所述循环神经网络前一阶段的隐藏层状态为gt-1；所述上下文向量zt为特征x的加权平均，通过以下公式获得：
33、
34、其中，at,m为衡量生成第t个单词时，第m个位置的图像特征所占的权重；所述权重为前一阶段的隐藏层状态gt-1和第m个位置图像特征xm的函数；所述单词为图像数据的语义标签的文字；
35、将上下文向量作为长短期记忆网络的输入，通过所述长短期记忆网络的隐变量生成，输出模型结果yt；
36、将所述模型结果yt作为语义标签，模型结果yt为k维概率本文档来自技高网...
【技术保护点】
1.一种基于多模态知识图谱的作业安全风险识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于多模态知识图谱的作业安全风险识别方法，其特征在于，所述电力现场作业数据的数据类型包括文本数据、图像数据和视频数据。
3.根据权利要求2所述作业安全风险识别方法，其特征在于，所述文本数据包括作业工作票、规章制度、人员信息、设备信息、工作通报和违章案例中的至少一种；所述方法还包括对所述文本数据的预处理，具体为：
4.根据权利要求2或3所述基于多模态知识图谱的作业安全风险识别方法，其特征在于，对所述电力现场作业数据进行知识抽取包括文本数据的关键信息抽取，包括以下步骤：
5.根据权利要求2所述基于多模态知识图谱的作业安全风险识别方法，其特征在于，对所述电力现场作业数据进行知识抽取包括图像数据的语义标签提取，包括以下步骤：
6.根据权利要求5所述基于多模态知识图谱的作业安全风险识别方法，其特征在于，通过所述识别模型对数据类型为图像数据的电力现场作业数据进行语义标签提取，包括以下步骤：
7.根据权利要求2所述作业安全风
8.根据权利要求2所述基于多模态知识图谱的作业安全风险识别方法，其特征在于，对不同模态的电力现场作业数据的标签进行融合，包括以下步骤：
9.根据权利要求1所述基于多模态知识图谱的作业安全风险识别方法，其特征在于，还包括对所述多模态电力现场作业风险认知图谱进行推理，推断出不同三元组实体之间的潜在关系，完善所述多模态电力现场作业风险认知图谱，包括以下步骤：
10.根据权利要求1所述基于多模态知识图谱的作业安全风险识别方法，其特征在于，所述构建多模态知识图谱的Schema包括：
...【技术特征摘要】
1.一种基于多模态知识图谱的作业安全风险识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于多模态知识图谱的作业安全风险识别方法，其特征在于，所述电力现场作业数据的数据类型包括文本数据、图像数据和视频数据。
3.根据权利要求2所述作业安全风险识别方法，其特征在于，所述文本数据包括作业工作票、规章制度、人员信息、设备信息、工作通报和违章案例中的至少一种；所述方法还包括对所述文本数据的预处理，具体为：
4.根据权利要求2或3所述基于多模态知识图谱的作业安全风险识别方法，其特征在于，对所述电力现场作业数据进行知识抽取包括文本数据的关键信息抽取，包括以下步骤：
5.根据权利要求2所述基于多模态知识图谱的作业安全风险识别方法，其特征在于，对所述电力现场作业数据进行知识抽取包括图像数据的语义标签提取，包括以下步骤：
6.根据权利要求5...
【专利技术属性】
技术研发人员：伍臣周，庄莉，梁懿，王秋琳，苏江文，邱镇，卢大玮，张晓东，王燕蓉，薛鑫，
申请(专利权)人：福建亿榕信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。