电网监控数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供了一种电网监控数据处理方法、装置、设备及存储介质，首先获取包括第一结构化数据和非结构化数据；然后将非结构化数据转化为半结构化数据，并根据第一知识图谱确定第一结构化数据和半结构化数据的第一相关系数；接着选取第一相关系数大于第一预设阈值的第一结构化数据，组成第一数据组；再将半结构化数据全部转化为第二结构化数据；最终根据第二结构化数据和第一数据组，确定并去除重复性数据。通过对比半结构化数据的特征信息与第一结构化数据之间的相关性，从而将可能重复的半结构化数据与第一结构化数据关联，最终在半结构化数据化为结构化数据后，对关联的数据进行重复性筛除，从而避免数据重复造成存储资源和处理资源的浪费。理资源的浪费。理资源的浪费。

【技术实现步骤摘要】
电网监控数据处理方法、装置、设备及存储介质


[0001]本专利技术属于数据处理
，尤其涉及一种电网监控数据处理方法、装置、设备及存储介质。

技术介绍

[0002]电力系统在运行过程中具有非常庞大的信息量，这些信息可以划分为结构化数据和非结构化数据。为了更好的掌握电力系统的各项信息，需要对运行状态进行实时的监控，进而对产生的结构化数据和非结构化数据进行分析。由于非结构化数据的复杂特性，其难以进行存储、处理和使用，因此一般需要对非结构化数据进行处理。
[0003]现有技术中，通常是将非结构化数据与结构化数据分别单独处理，但由于结构化数据和非结构化数据是紧密相关的，具有强相关性，分开处理会产生大量的重复性数据，造成存储资源和处理资源的浪费。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种电网监控数据处理方法电网监控数据处理方法、装置、设备及存储介质，旨在解决现有技术对电网监控数据处理时产生大量重复性数据的问题。
[0005]本专利技术实施例的第一方面提供了一种电网监控数据处理方法，包括：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电网监控数据处理方法，其特征在于，包括：获取电网监控数据；其中，所述电网监控数据包括第一结构化数据和非结构化数据；将非结构化数据转化为半结构化数据，并根据预先建立的第一知识图谱，确定所述第一结构化数据和所述半结构化数据之间的第一相关系数；针对每个半结构化数据，选取与该半结构化数据之间的第一相关系数大于第一预设阈值的第一结构化数据，组成该半结构化数据的第一数据组；将半结构化数据全部转化为第二结构化数据；根据第二结构化数据和第一数据组中的第一结构化数据，确定并去除重复性数据，以完成数据处理。2.根据权利要求1所述的电网监控数据处理方法，其特征在于，所述根据第二结构化数据和第一数据组中的第一结构化数据，确定并去除重复性数据，包括：将每个半结构化数据对应的第二结构化数据与该半结构化数据对应的第一数据组中的第一结构化数据进行对比，确定并去除重复性数据。3.根据权利要求2所述的电网监控数据处理方法，其特征在于，在将每个半结构化数据对应的第二结构化数据与该半结构化数据对应的第一数据组中的第一结构化数据进行对比，确定并去除重复性数据之后，所述方法还包括：根据第二结构化数据的数目、第一结构化数据的数目以及重复性数据的数目，计算各个第一数据组的组内重复率；根据各个第一数据组的组内重复率以及预设重复率阈值，确定所述电网监控数据的处理有效性；当所述电网监控数据的处理有效性为低时，分别将每个第二结构化数据与每个第一结构化数据进行再次对比，得到对比结果；根据所述对比结果更新所述第一知识图谱。4.根据权利要求1所述的电网监控数据处理方法，其特征在于，在针对每个半结构化数据，选取与该半结构化数据之间的第一相关系数大于第一预设阈值的第一结构化数据，组成该半结构化数据的第一数据组之后，所述方法还包括：根据预先建立的第二知识图谱，确定各个半结构化数据之间的第二相关系数；针对每个半结构化数据，当另一个半结构化数据与该半结构化数据之间的第二相关系数大于预设阈值时，将所述另一个半结构化数据的第一数据组标记为该半结构化数据的相邻第一数据组；所述根据第二结构化数据和第一数据组中的第一结构化数据，确定并去除重复性数据，包括：将每个半结构化数据对应的第二结构化数据分别与该半结构化数据对应的第一数据组中的第一结构化数据，以及该半结构化数据的相邻第一数据组中的第一结构化数据进行对比，确定并去...

【专利技术属性】
技术研发人员：胡诗尧，柴林杰，荆志朋，申永鹏，王中亮，郝军魁，林榕，容春艳，高立坡，郭佳，李腾，张德广，程蓉，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：