一种变电站多源异构数据处理方法技术

本申请涉及电力数据处理技术领域，公开了一种变电站多源异构数据处理方法，依如下步骤实施：S1：采集变电站多源异构数据并且建立变电站多类检测数据的电力数据库，所述多源异构数据包括结构化数据和非结构化数据；S2：对所述电力数据库中的数据进行数据清洗；S3：对完成清洗的数据进行数据集成；S4：选用数据融合模型对数据进行深度融合。该一种变电站多源异构数据处理方法，针对不同类型的数据选用不同种类的数据处理模型，随后利用各自的数据处理模型相应的对结构化数据和非结构化数据进行处理和融合，解决了变电站监测数据中多源异构数据不能高效处理和融合的问题。数据不能高效处理和融合的问题。数据不能高效处理和融合的问题。

【技术实现步骤摘要】
一种变电站多源异构数据处理方法


[0001]本申请涉及电力数据处理
，具体为一种变电站多源异构数据处 理方法。

技术介绍

[0002]作为电网的重要组成部分，配电线路能否安全稳定地运行直接决定了电 网的是否正常工作。通过加强配电线路检查工作，及时发现并且就解决配电线 路存在的安全隐患，能够保证配电线路以及相关设备处在安全稳定的运行状 态。
[0003]通常采用带电检测技术和机器人巡检系统对配电线路进行检测。目前我 国变电站带电检测装置或系统已经应用很多，并发挥了较好作用，但是由于电 气设备种类繁多、结构各异，每种电气设备的带电检测项目各有不同，使得获 取后的数据的分析工作尚需要人工参与，同时，机器人巡检所获得的图像信息 也还需要人工深度参与才能得出结果，使得变电站运维自动化水平较低。
[0004]因此，针对多类固定带电检测装置或系统的海量结构化数据和巡检机器 人采集图像的非结构化数据，研究如何结合人工智能技术对其融合应用，以便 进一步挖掘价值提升变电站运维智能自动化水平具有重要实际意义

技术实现思路

[0005]针对现有技术的不足，本申请提供了一种变电站多源异构数据处理方法， 解决了变电站监测数据中多源异构数据不能高效处理和融合的问题。
[0006]为实现上述目的，本申请提供如下技术方案：一种变电站多源异构数据处 理方法，其特征在于，依如下步骤实施：
[0007]S1：采集变电站多源异构数据并且建立变电站多类检测数据的内存数据 库，所述多源异构数据包括结构化数据和非结构化数据；
[0008]S2：对所述内存数据库中的数据进行数据清洗；
[0009]S3：对完成清洗的数据进行数据集成；
[0010]S4：选用数据融合模型对数据进行深度融合。
[0011]优选的，所述步骤S2中包括如下步骤：
[0012]S2.1：预定义若干条校验规则，确定若干条校验规则的校验顺序，并将全 部校验规则储存至内存数据库中；
[0013]S2.2：修改多类检测数据的格式，将多类检测数据的格式统一后，储存至 内存数据库中；
[0014]S2.3：从内存数据库中提取检验规则和数据并且输送至校验引擎；
[0015]S2.4：校验引擎依据校验顺序将数据应用于校验规则上，并且对完成校验 的数据生成对应的校验记录；
[0016]S2.5：将数据和相应的检验记录存回内存数据库。
[0017]优选的，所述检验规则包括完整性检验、正确性检验和逻辑性检验。
[0018]优选的，所述步骤S2.4中包括如下步骤：
[0019]S2.4.1：校验引擎将数据应用到完整性检验上；若数据中数据项有空缺， 则检验不通过，生成相应检验记录，并且将数据和检验记录存回电力数据库； 若数据中数据项均不为空，则校验通过，进入下一检验阶段；
[0020]S2.4.2：校验引擎将数据应用到正确性检验上，判断数据的数据项、数据 类型、精度、范围是否与集成规范要求一致；若与集成规范不一致，则判定数 据不正确，生成相应检验记录，并且将数据和检验记录存回电力数据库；若均 与集成规范一致，则校验通过，进入下一检验阶段；
[0021]S2.4.3：校验引擎将数据应用到逻辑性检验上，依据数据交互过程中数据 源个体之间的关系，检查数据项是否符合业务逻辑关系；若不满足业务逻辑关 系，则判定数据不正确，生成相应检验记录，并且将数据和检验记录存回电力 数据库；若满足业务逻辑关系，则校验通过，并且生成校验通过的检验记录。
[0022]优选的，所述步骤S3中包括如下步骤：
[0023]S3.1：完成数据ID匹配。在内存数据库中生成数据的ID，比较数据的ID， 若存在ID相同的数据，则将ID相同的数据融合为一条数据，重复执行步骤 S31直至内存数据库不存在相同ID的数据；
[0024]S3.2：完成数据特征匹配。根据数据特征，将步骤S31中无法处理的数据 进行特征匹配，将阈值以上相似度的数据融合为一条数据，重复执行步骤S32 直至内存数据库数据的特征相似度均在阈值以下；
[0025]S3.3：完成数据级融合匹配。将S3.2中无法处理的数据暂存在内存数据 库中以待后续处理。
[0026]优选的，所述步骤S4中包括：根据数据类型选择数据融合模型，若数据 类型为结构化数据，则采用基于改进D
‑
S证据理论数据融合模型进行数据深 度融合；若数据类型为非结构化数据，则采用基于卷积神经网络(RNN)中的 VGG
‑
19数据融合模型。
[0027]优选的，采用基于改进D
‑
S证据理论数据融合模型进行数据深度融合， 包括如下步骤：
[0028]S4.1：判断结构化数据的数据类型，若结构化数据为字符串类型数据，则 进入步骤S4.2，若结构化数据为数值类型的数据，则进入步骤S4.3；
[0029]S4.2：提取专用词进行对比。首先利用全数据生成正则表达式，再利用正 则表达式提取专用词，对比专用词后，相同的即关联，否则再根据置信度进行 关联；
[0030]S4.3：去掉数据中非数值字符，替换数据的数字，用通配符替代，形成字 符规则，统计每个规则出现数量和频度。然后提取规则，对规则计算概率。对 于单一来源的数据，直接根据频度，选择频度最高的规则作为实际规则，针对 多来源的数据，使用最大概率加权D
‑
S证据推理法求得最佳规则，形成规则 替换正则式，将所有其他规则数据替换为推导出来的规则数据。
[0031]优选的，所述步骤S4.2中包括如下步骤：
[0032]S4.2.1：建立电力名词词典；
[0033]S4.2.2：根据相同属性去重，生成全数据文件；
[0034]S4.2.3：使用基于词典的双向最大匹配法对数据文件进行分词，去掉重复 分词结
果，生成分词后的文件；
[0035]S4.2.4：提取分词后的文件，去掉文件中与词典相同的词，根据每个类型 生成一个特定正则式；
[0036]S4.2.5：对需要关联的数据相同属性利用特定正则式提取专用词进行匹 配，若提取后的内容一致，则为同一对象的不同数据进行融合，若提取后的内 容不一致，则进入下一融合阶段；
[0037]S4.2.6：对提取后的字符进行全名词匹配，若提取后的词都存在，则表示 不为同一对象，完成处理，若其中至少一个不存在，则利用置信度进行判断， 置信度达到设定的阈值即为同一对象。
[0038]优选的，采用基于卷积神经网络(RNN)中的VGG
‑
19数据融合模型针对非 结构化数据进行数据融合，包括如下步骤：
[0039]S5.1：依据双尺度分解法，通过均值滤波器将源图像分解为基础层图像 和细节层图像。其中，基础层包含了图像的大部分信息，细节层为图像的局 部结构信息；
[0040]S5.2：对于基础层，使用双尺度分解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种变电站多源异构数据处理方法，其特征在于，依如下步骤实施：S1：采集变电站多源异构数据并且建立变电站多类检测数据的电力数据库，所述多源异构数据包括结构化数据和非结构化数据；S2：对所述电力数据库中的数据进行数据清洗；S3：对完成清洗的数据进行数据集成；S4：选用数据融合模型对数据进行深度融合。2.根据权利要求1所述的一种变电站多源异构数据处理方法，其特征在于，所述步骤S2中包括如下步骤：S2.1：预定义若干条校验规则，确定若干条校验规则的校验顺序，并将全部校验规则储存至内存数据库中；S2.2：修改多类检测数据的格式，将多类检测数据的格式统一后，储存至内存数据库中；S2.3：从内存数据库中提取检验规则和数据并且输送至校验引擎；S2.4：校验引擎依据校验顺序将数据应用于校验规则上，并且对完成校验的数据生成对应的校验记录；S2.5：将数据和相应的检验记录存回电力数据库。3.根据权利要求2所述的一种变电站多源异构数据处理方法，其特征在于，所述检验规则包括完整性检验、正确性检验和逻辑性检验。4.根据权利要求3所述的一种变电站多源异构数据处理方法，其特征在于，所述步骤S2.4中包括如下步骤：S2.4.1：校验引擎将数据应用到完整性检验上；若数据中数据项有空缺，则检验不通过，生成相应检验记录，并且将数据和检验记录存回电力数据库；若数据中数据项均不为空，则校验通过，进入下一检验阶段；S2.4.2：校验引擎将数据应用到正确性检验上，判断数据的数据项、数据类型、精度、范围是否与集成规范要求一致；若与集成规范不一致，则判定数据不正确，生成相应检验记录，并且将数据和检验记录存回电力数据库；若均与集成规范一致，则校验通过，进入下一检验阶段；S2.4.3：校验引擎将数据应用到逻辑性检验上，依据数据交互过程中数据源个体之间的关系，检查数据项是否符合业务逻辑关系；若不满足业务逻辑关系，则判定数据不正确，生成相应检验记录，并且将数据和检验记录存回电力数据库；若满足业务逻辑关系，则校验通过，并且生成校验通过的检验记录。5.根据权利要求1所述的一种变电站多源异构数据处理方法，其特征在于，所述步骤S3中包括如下步骤：S3.1：完成数据ID匹配。在内存数据库中生成数据的ID，比较数据的ID，若存在ID相同的数据，则将ID相同的数据融合为一条数据，重复执行步骤S31直至内存数据库不存在相同ID的数据；S3.2：完成数据特征匹配。根据数据特征，将步骤S31中无法处理的数据进行特征匹配，将阈值以上相似度的数据融合为一条数据，重复执行步骤S32直至内存数据库数据的特征相似度均在阈值以下；
S3.3：完成数据级融合匹配。将S32中无法处理的数据暂存在内存数据库中以待后续处理。6.根据权利要求1所述的一种变电站多源异构数据处理方法，其特征在于，所述步骤S4中包括：根据数据类型选择数据融合模型，若数据类型为结构化数据，则采用基于改进D
‑
S证据理论数据融合模型进行数据深度融合；若数据类型为非结构化数据，则采用基于卷积神经网络(RNN)中的VGG
‑
19数据融合模型。7.根据权利要求6所述的一种变电站多源异构数据处理方法，其特征在于，采用基于改进D
‑
S证据理论数据...

【专利技术属性】
技术研发人员：张艳艳，宁雪峰，王永源，袁炜灯，林志强，李元佳，纪丹霞，韦薇，陈文睿，余海宁，郑再添，莫小勇，廖彬强，刘泽槐，
申请(专利权)人：广东电网有限责任公司东莞供电局，
类型：发明
国别省市：