融合多模态数据分析的电力现场作业违章行为识别方法技术

本发明专利技术涉及一种融合多模态数据分析的电力现场作业违章行为识别方法，包括以下步骤：采集目标电力现场的作业图像、违章行为和数字化工作票的历史数据；基于目标识别模型，对采集的作业图像的历史数据进行目标识别，获取目标识别结果；提取数字化工作票的历史数据中的特征信息；建立BERT分类模型，通过作业图像的目标识别结果以及数字化工作票的特征信息作为输入数据，违章行为的历史数据作为标签数据，对模型进行训练，得到违章行为识别模型；获取当前作业图像以及数字化工作票，通过目标识别模型对当前作业图像进行目标识别获得当前目标识别结果，提取数字化工作票的特征信息连同当前目标识别结果输入至违章行为识别模型中，获识别结果。获识别结果。获识别结果。

【技术实现步骤摘要】
融合多模态数据分析的电力现场作业违章行为识别方法


[0001]本专利技术涉及融合多模态数据分析的电力现场作业违章行为识别方法，属于电力现场作业监测


技术介绍

[0002]在电网建设及安全运行过程中，需要在基建施工、设备检修等各类生产活动中开展现场作业。由于电力现场作业点多面广、施工人员多、环境复杂，针对现场作业安全管控中的作业点分散、人员和设备管控力度不够、安监人力不足，目前普遍开展了基于各类监控终端的现场作业安全管控，基于各类传感器、视频图像识别系统、可穿戴装备和工器具的联合使用对现场作业的违章行为进行自动识别与告警，提升作业安全监管水平。
[0003]例如，电网作业过程中经常需要爬到供电塔架高处进行检，为了保障作业人员的安全，电网公司规定：“攀爬离地人员必须佩戴安全带，并在现场配有监护人员，以防止出现意外情况”。针对这个问题，比较主流的做法是在现场部署摄像头及基于人工智能的视频分析装置，识别视频图像中的在场人员，并具体区分出监护人员、佩戴安全带的人员、处于离地状态的人员，即时给出是否存在“为配有监护人员”、“未佩戴安全带”的违章情况并给出告警。
[0004]如何利用人工智能、边缘计算、传感器、物联网等技术实现对现场作业的各类数据就地分析和实时研判，相对低成本地实现违章行为的高准确度识别，是开展电力现场作业安全管控工作的重点和难点。由于现场作业环境干扰因素多、容易遮挡、要识别的目标可能不够显著、相应人工智能模型训练的样本不典型或不充分等各种因素，目前现场作业违章识别装置的总体准确度不高，存在较多漏检、误检的情况。
[0005]针对现场作业违章识别准确度提升问题，目前主要有两类技术方案：
[0006]一是基于图像识别准确度的提升，依靠人工智能技术的飞速发展，图像识别技术在现场作业违章识别过程中发挥了重要作用，如何在各类现场因素制约下通过优化图像识别算法与相关机制提升违章作业识别准确度，是主要的技术方向。例如专利号为“CN113705476A”的专利技术专利公开了一种基于神经网络的现场作业违章行为分析方法，包括：建立基于前景区域分割模型的安全作业检测神经网络模型，所述前景区域分割的对象为安全作业区域；获取安全作业数据训练集，所述训练集包括由工作人员和工作环境构成的图像及与该图像对应的安全作业区域的背景掩膜；将所述训练集输入所述神经网络模型进行模型训练，得到训练后的神经网络模型；将待测图像输入所述训练后的神经网络模型进行安全作业区域分割预测，得到安全作业区域的背景掩膜；根据所述安全作业区域的背景掩膜的前景区域的面积判断工作人员是否存在违章行为。该现有技术在不会耗费较多人力、时间的前提下，也能及时发现现场作业中的违章行为。
[0007]二是基于其它装置的协同，通过可穿戴技术、物联网技术的应用，从安全帽、安全工器具、压力及角度传感器等获取位置、距离、压力等信息，与图像识别协同应用，提升违章作业准确识别整体水平。例如专利号为“CN110674772A”的专利技术专利提出一种电力作业现场
智能安全管控辅助系统及方法，系统包括AI智能视觉终端、手持智能移动终端和物联网云平台，所述前端AI智能视觉终端为可穿戴设备，实现目标检测与识别、违章行为识别、智能分析和自动告警并将视频数据、识别结果与告警信息上传到手持智能移动终端。
[0008]对于上述现有技术，第一个现有技术的方案通过提升图像识别算法水平以适应不同的现场环境，优点是实施简单，不需要改变整体解决方案，缺点是适应性较差，且算法优化空间不大、要真正改善识别效果难度较高；第二个现有技术的方案通过与其它装置、设备协同，获得更多输入，优点是确定性比较高，缺点是实施复杂、成本较高。

技术实现思路

[0009]为了解决上述现有技术中存在的问题，本专利技术提出了一种融合多模态数据分析的电力现场作业违章行为识别方法及系统。
[0010]本专利技术的技术方案如下：
[0011]一方面，本专利技术提供一种融合多模态数据分析的电力现场作业违章行为识别方法，包括以下步骤：
[0012]采集目标电力现场的作业图像、违章行为和数字化工作票的历史数据；
[0013]基于预训练的目标识别模型，对采集的作业图像的历史数据进行目标识别，获取目标识别结果；
[0014]提取数字化工作票的历史数据中的特征信息；
[0015]建立BERT分类模型，将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据，对BERT分类模型进行迭代训练，得到训练好的违章行为识别模型；
[0016]获取目标电力现场的当前作业图像以及当前作业对应的数字化工作票，通过预训练的目标识别模型对当前作业图像进行目标识别获得当前目标识别结果，提取当前作业对应的数字化工作票的特征信息连同当前目标识别结果输入至违章行为识别模型中，获得违章行为识别结果。
[0017]作为优选实施方式，所述目标识别模型基于神经网络模型构建，所述预训练的过程具体为：
[0018]收集若干电力现场的作业图像数据；
[0019]定义电力现场需要识别的目标；
[0020]根据电力现场需要识别的目标对收集到的作业图像数据进行标注，在图像中确定目标的位置信息并对目标添加标签，形成训练样本集；
[0021]通过训练样本集对目标识别模型进行迭代训练，当模型达到预设的精度时，结束迭代，得到训练好的目标识别模型。
[0022]作为优选实施方式，所述将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据的步骤具体为：
[0023]获取一组训练数据，包括一作业图像的目标识别结果、一数字化工作票的特征信息以及一违章行为；
[0024]将该作业图像的历史数据的目标识别结果转换为结构化数据，作为第一数据；
[0025]将该数字化工作票的历史数据中的特征信息转换为结构化数据，作为第二数据；
[0026]将第一数据和第二数据进行拼接形成第三数据，第三数据包括第一数据和第二数据中的所有字段，且每个字段之间通过分隔符分隔；
[0027]将第三数据作为BERT分类模型的输入数据；
[0028]生成一标签数组用于对应违章行为，标签数组中的每一位置对应一违章类型，当违章行为包括对应的违章类型时，标签数组中的对应位置数值为1，当违章行为不包括对应的违章类型时，标签数组中的对应位置数值为0；
[0029]将标签数组作为BERT分类模型的标签数据。
[0030]作为优选实施方式，所述作业图像的历史数据的目标识别结果包括识别的图像目标、目标置信度、目标的图像交叉比例以及违章类型；
[0031]所述数字化工作票的历史数据中的特征信息包括作业类型、作业环境、安全工器具、安全措施、风险点以及施工人员信息。
[0032]另一方面，本专利技术还提供一种融合多模态数据分析的电力现场作业违章行为识别系统，包括：
...

【技术保护点】

【技术特征摘要】
1.一种融合多模态数据分析的电力现场作业违章行为识别方法，其特征在于，包括以下步骤：采集目标电力现场的作业图像、违章行为和数字化工作票的历史数据；基于预训练的目标识别模型，对采集的作业图像的历史数据进行目标识别，获取目标识别结果；提取数字化工作票的历史数据中的特征信息；建立BERT分类模型，将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据，对BERT分类模型进行迭代训练，得到训练好的违章行为识别模型；获取目标电力现场的当前作业图像以及当前作业对应的数字化工作票，通过预训练的目标识别模型对当前作业图像进行目标识别获得当前目标识别结果，提取当前作业对应的数字化工作票的特征信息连同当前目标识别结果输入至违章行为识别模型中，获得违章行为识别结果。2.根据权利要求1所述的一种融合多模态数据分析的电力现场作业违章行为识别方法，其特征在于，所述目标识别模型基于神经网络模型构建，所述预训练的过程具体为：收集若干电力现场的作业图像数据；定义电力现场需要识别的目标；根据电力现场需要识别的目标对收集到的作业图像数据进行标注，在图像中确定目标的位置信息并对目标添加标签，形成训练样本集；通过训练样本集对目标识别模型进行迭代训练，当模型达到预设的精度时，结束迭代，得到训练好的目标识别模型。3.根据权利要求1所述的一种融合多模态数据分析的电力现场作业违章行为识别方法，其特征在于，所述将作业图像的历史数据的目标识别结果以及数字化工作票的历史数据中的特征信息作为输入数据，违章行为的历史数据作为标签数据的步骤具体为：获取一组训练数据，包括一作业图像的目标识别结果、一数字化工作票的特征信息以及一违章行为；将该作业图像的历史数据的目标识别结果转换为结构化数据，作为第一数据；将该数字化工作票的历史数据中的特征信息转换为结构化数据，作为第二数据；将第一数据和第二数据进行拼接形成第三数据，第三数据包括第一数据和第二数据中的所有字段，且每个字段之间通过分隔符分隔；将第三数据作为BERT分类模型的输入数据；生成一标签数组用于对应违章行为，标签数组中的每一位置对应一违章类型，当违章行为包括对应的违章类型时，标签数组中的对应位置数值为1，当违章行为不包括对应的违章类型时，标签数组中的对应位置数值为0；将标签数组作为BERT分类模型的标签数据。4.根据权利要求1所述的一种融合多模态数据分析的电力现场作业违章行为识别方法，其特征在于：所述作业图像的历史数据的目标识别结果包括识别的图像目标、目标置信度、目标的图像交叉比例以及违章类型；
所述数字化工作票的历史数据中的特征信息包括作业类型、作业环境、安全工器具、安全措施、风险点以及施工人员信息。5.一种融合多模态数据分析的电力现场作业违章行为识别系统，其特征在于，包括：历史数据采集模块，用于采集目标电力现场的作业图像、违章行为和数字化工作票的历史数据；目标识别模块，用于基于预训练的目标识别模型，对采集的作业图像的历史数据进行目标识别，获取目标识别结果；工作票信息...

【专利技术属性】
技术研发人员：李强，庄莉，赵峰，梁懿，王秋琳，宋立华，郑耀松，
申请(专利权)人：国网信息通信产业集团有限公司，
类型：发明
国别省市：