多模态电力场景作业规范检测方法、系统、设备及介质技术方案

本发明专利技术公开一种多模态电力场景作业规范检测方法、系统、设备及介质，涉及电力场景数据识别技术领域，包括：获取工作票，提取作业事件，并获取作业事件对应的语音分析规则和视频分析规则；对监控范围内的语音信息提取异常部分，通过与语音分析规则中的异常事件库进行匹配，判断语音异常事件；提取监控范围内的视频信息中的人员的位置及运动跟踪信息，通过视频分析规则中的异常事件库，判断是否出现视频异常事件；通过判断是否存在语音异常事件或视频异常事件来进行作业规范的检测。通过文本、声音、视频三种模态信息监控追踪作业人员作业全流程，完成整体流程作业规范的监控与检测。完成整体流程作业规范的监控与检测。完成整体流程作业规范的监控与检测。

【技术实现步骤摘要】
多模态电力场景作业规范检测方法、系统、设备及介质


[0001]本专利技术涉及电力场景数据识别
，特别是涉及一种多模态电力场景作业规范检测方法、系统、设备及介质。

技术介绍

[0002]目前针对电力作业规范的监督管控上，信息载体大多以文本、图像、视频等载体进行传播，而目前的监控方法大多是基于视频的单模态形式的监控，对于大范围的作业场景，缺乏覆盖的广度与宽度，不能根据文本、视频、语音等多模态信息更深度的理解作业规范流程，难以多维度实现电力作业违章的智能识别，电力作业违章识别效率和可靠性低。
[0003]另外，在对人员的跟踪上，目前仅基于卡尔曼滤波（Kalman Filter）目标跟踪算法的方式可能会出现误匹配；比如同一人员虽然在时间上可以将运动路径进行关联，但是空间位置上不一定存在关联关系，所以人员的跟踪需要考虑多种约束条件的限制。

技术实现思路

[0004]为了解决上述问题，本专利技术提出了一种多模态电力场景作业规范检测方法、系统、设备及介质，通过文本、声音、视频三种模态信息监控追踪作业人员的作业，完成整体流程作业规范的监控与检测。
[0005]为了实现上述目的，本专利技术采用如下技术方案：第一方面，本专利技术提供一种多模态电力场景作业规范检测方法，包括：获取工作票，提取作业事件，并获取作业事件对应的语音分析规则和视频分析规则；获取监控范围内的语音信息，对语音信息提取异常部分，对异常部分与语音分析规则中设定的异常事件库进行匹配，以判断是否出现语音异常事件；获取监控范围内的视频信息，通过提取视频信息中的人员特征和人员所处场景的场景语义特征确定人员位置，通过设定时间约束、空间约束和运动约束，对人员进行运动跟踪，将人员的位置及运动跟踪信息与视频分析规则中设定的异常事件库进行匹配，以判断是否出现视频异常事件；通过判断是否存在语音异常事件或视频异常事件来进行作业规范的检测。
[0006]作为可选择的实施方式，提取作业事件的过程包括：确定工作票中的列数、行数以及每个单元格的位置和大小，以此将工作票切分为多个子表格，形成多个工作票子内容；提取工作票子内容中与作业事件相关的信息，所述作业事件包括作业任务、作业人员和作业时间；将多个工作票子内容中的信息进行合并汇总，并采用正则匹配方法进行结构化处理，从而完成作业事件的提取。
[0007]作为可选择的实施方式，对语音信息提取异常部分的过程包括：
采用滑动窗口将语音信息分段，每个时间窗口对应一个图卷积神经网络的节点，每个时间窗口的频谱图表示为一个节点的特征；使用欧几里得距离确定节点间的相似性，以节点间的相似性为边构建图卷积神经网络；对图卷积神经网络经训练后得到基于图卷积神经网络的异常检测模型，以此提取语音信息的异常部分。
[0008]作为可选择的实施方式，对提取的异常部分进行降维后，与语音分析规则中设定的异常事件库进行特征匹配，特征匹配度最高的即判定为出现语音异常事件。
[0009]作为可选择的实施方式，确定人员位置的过程包括：检测视频信息中的人员，并确定每个人员图像的边界框坐标和类别标签；对每个人员图像提取人员特征；对每个人员图像提取所处场景的场景语义特征；将人员特征与场景语义特征进行融合，以确定人员位置。
[0010]作为可选择的实施方式，所述运动跟踪包括：所述时间约束为设置时间窗口，将在时间窗口内出现的同一人员进行运动关联；所述空间约束为设置空间范围，将在空间范围内出现的同一人员进行运动关联；所述运动约束为根据同一人员的运动方向和速度，判断在不同的视频图像之间是否存在关联，以确定运动轨迹。
[0011]作为可选择的实施方式，当且仅当时间约束、空间约束和运动约束均满足时，才判定为符合运动追踪原则。
[0012]第二方面，本专利技术提供一种多模态电力场景作业规范检测系统，包括：文本分析模块，被配置为获取工作票，提取作业事件，并获取作业事件对应的语音分析规则和视频分析规则；语音分析模块，被配置为获取监控范围内的语音信息，对语音信息提取异常部分，对异常部分与语音分析规则中设定的异常事件库进行匹配，以判断是否出现语音异常事件；视频分析模块，被配置为获取监控范围内的视频信息，通过提取视频信息中的人员特征和人员所处场景的场景语义特征确定人员位置，通过设定时间约束、空间约束和运动约束，对人员进行运动跟踪，将人员的位置及运动跟踪信息与视频分析规则中设定的异常事件库进行匹配，以判断是否出现视频异常事件；综合判断模块，被配置为通过判断是否存在语音异常事件或视频异常事件来进行作业规范的检测。
[0013]第三方面，本专利技术提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
[0014]第四方面，本专利技术提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
[0015]与现有技术相比，本专利技术的有益效果为：本专利技术创新性提出一种多模态电力场景作业规范检测方法，根据工作票信息确定
作业事件，明确作业任务、作业时间和作业人员，以此为依据确定语音和视频的分析对象，实现通过文本、声音、视频三种模态信息监控追踪作业人员的作业，完成整体流程作业规范的监控与检测，极大的提高了电力场景作业规范检测的智能识别能力，解决了现有的识别智能化程度低、效率低和可靠性低的问题。
[0016]本专利技术创新性提出基于时空运约束的目标跟踪技术，设计时间约束、空间约束和运动约束，且当且仅当时间约束、空间约束和运动约束均满足时，才判定为符合运动追踪原则，降低误匹配概率，提高追踪准确率。
[0017]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0018]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0019]图1为本专利技术实施例1提供的多模态电力场景作业规范检测方法流程图。
具体实施方式
[0020]下面结合附图与实施例对本专利技术做进一步说明。
[0021]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0022]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0023]在不冲突的情况下，本专利技术中的实施例及实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多模态电力场景作业规范检测方法，其特征在于，包括：获取工作票，提取作业事件，并获取作业事件对应的语音分析规则和视频分析规则；获取监控范围内的语音信息，对语音信息提取异常部分，对异常部分与语音分析规则中设定的异常事件库进行匹配，以判断是否出现语音异常事件；获取监控范围内的视频信息，通过提取视频信息中的人员特征和人员所处场景的场景语义特征确定人员位置，通过设定时间约束、空间约束和运动约束，对人员进行运动跟踪，将人员的位置及运动跟踪信息与视频分析规则中设定的异常事件库进行匹配，以判断是否出现视频异常事件；通过判断是否存在语音异常事件或视频异常事件来进行作业规范的检测。2.如权利要求1所述的多模态电力场景作业规范检测方法，其特征在于，提取作业事件的过程包括：确定工作票中的列数、行数以及每个单元格的位置和大小，以此将工作票切分为多个子表格，形成多个工作票子内容；提取工作票子内容中与作业事件相关的信息，所述作业事件包括作业任务、作业人员和作业时间；将多个工作票子内容中的信息进行合并汇总，并采用正则匹配方法进行结构化处理，从而完成作业事件的提取。3.如权利要求1所述的多模态电力场景作业规范检测方法，其特征在于，对语音信息提取异常部分的过程包括：采用滑动窗口将语音信息分段，每个时间窗口对应一个图卷积神经网络的节点，每个时间窗口的频谱图表示为一个节点的特征；使用欧几里得距离确定节点间的相似性，以节点间的相似性为边构建图卷积神经网络；对图卷积神经网络经训练后得到基于图卷积神经网络的异常检测模型，以此提取语音信息的异常部分。4.如权利要求1或3所述的多模态电力场景作业规范检测方法，其特征在于，对提取的异常部分进行降维后，与语音分析规则中设定的异常事件库进行特征匹配，特征匹配度最高的即判定为出现语音异常事件。5.如权利要求1所述的多模态电力场景作业规范检测方法，其特征在于，确定人员位置的过程包括：检测视频信息中的人员，并确定每个人员...

【专利技术属性】
技术研发人员：田克强，李继攀，王帅，谷栋，孙素亮，郭瑞，王维令，王洋，李效乾，朱仰贺，
申请(专利权)人：国网山东省电力公司菏泽供电公司，
类型：发明
国别省市：