一种电力设备的数据采集与处理方法技术

本发明专利技术涉及数据处理技术，揭露了一种电力设备的数据采集与处理方法，包括：获取监控数据文件，并识别监控数据文件的文件类型及监控关键字序列；利用数据清洗容器对监控数据文件进行数据清洗，得到干净文件；获取监控关键字序列中的最高级关键字，并在历史监控文件图谱中查询最高级关键字所处于的子文件图谱；将监控关键字序列中各个监控关键字在子文件图谱区域中进行层次聚类操作，得到文件关系树图；利用监控关键字序列中各个监控关键字在文件关系树图中的位置信息标记所述干净文件，得到标记文件，并将所述标记文件进行存储。本发明专利技术可以提高电力设备监控数据存储时的效率。可以提高电力设备监控数据存储时的效率。可以提高电力设备监控数据存储时的效率。

【技术实现步骤摘要】
一种电力设备的数据采集与处理方法


[0001]本专利技术涉及数据处理
，尤其涉及一种电力设备的数据采集与处理方法。

技术介绍

[0002]为了提高电力供应的可靠性，满足人们越来越高的用电质量要求，行业内普遍加强了对电力设备的监控，保证电力设备的生产质量。
[0003]目前行业内电力设备生产过程中的监控点越来越多，使得出现了各种各样类型的数据，如纸质版报告、手工测量数据后录入、仪器直接检测的电子数据等，由于这些数据的采集方式、传输时间、传输次数等方面互不相同，使得电力企业只能划分出大量存储空间，将各个接收到的数据进行定义位置并存储，造成电力设备监控数据的存储效率极低。

技术实现思路

[0004]本专利技术提供一种电力设备的数据采集与处理方法，其主要目的在于在提高电力设备监控数据存储时的效率。
[0005]为实现上述目的，本专利技术提供的一种电力设备的数据采集与处理方法，包括：
[0006]获取数据接收接口中的监控数据文件，并识别所述监控数据文件的文件类型及监控关键字序列；
[0007]获取所述文件类型对应的数据清洗容器，并利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件；
[0008]根据预设的监控关键字等级表，获取所述监控关键字序列中的最高级关键字，并在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱；
[0009]将所述监控关键字序列中各个监控关键字在所述子文件图谱区域中进行层次聚类操作，得到文件关系树图；
>[0010]获取所述监控关键字序列中各个监控关键字在所述文件关系树图中的位置信息，得到位置信息集合；
[0011]利用所述位置信息集合标记所述干净文件，得到标记文件，并将所述标记文件进行存储。
[0012]可选的，所述识别所述监控数据文件的文件类型及监控关键字序列，包括：
[0013]获取所述监控数据文件的文件流，并解析所述文件流中的目标参数字段，得到所述监控数据文件的文件扩展名；
[0014]根据所述文件扩展名，获取所述监控数据文件的文件类型；
[0015]判断所述文件类型是否为图片类型；
[0016]当所述文件类型为图片类型时，利用光学识别算法识别所述所述监控数据文件的文件内容，得到文本文档，并查询所述文本文档中的目标字段内容，得到所述监控数据文件的监控关键字序列；
[0017]当所述文件类型不是图片类型时，查询所述监控数据文件中的目标字段内容，得
到所述监控数据文件的监控关键字序列。
[0018]可选的，所述在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱，包括：
[0019]判断所述历史监控文件图谱中是否含有所述最高级关键字；
[0020]当所述历史监控文件图谱中不含有所述最高级关键字时，根据余弦相似度算法，获取所述历史监控文件图谱的各个节点中与所述最高级关键字的语义关联度最大的节点，作为并列节点，并将所述并列节点的父节点下的图谱网络作为子文件图谱；
[0021]当所述历史监控文件图谱中含有所述最高级关键字时，将所述历史监控文件图谱中所述最高级关键字对应的节点下的图谱网络作为子文件图谱。
[0022]可选的，所述获取所述文件类型对应的数据清洗容器之前，所述方法还包括：
[0023]根据预构建的容器脚本，获得镜像容器框架；
[0024]获取数据库的操作系统依赖包，并利用所述操作系统依赖包对所述镜像容器框架进行操作环境配置，得到基础容器；
[0025]根据预设的数据清洗策略表，获取各个文件类型对应的数据清洗函数包，并将各个所述数据清洗函数包封装至不同的所述基础容器中，得到所述各个目标文件类型对应的数据清洗容器。
[0026]可选的，所述利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件，包括：
[0027]利用所述数据清洗容器对所述监控数据文件进行格式化处理，得到格式化文档；
[0028]查询所述格式化文档的缺失值与异常值，并利用所述数据清洗容器中的数据清洗函数包对所述缺失值与所述异常值进行清洗，得到干净文件。
[0029]可选的，所述将所述标记文件进行存储，包括：
[0030]利用预构建的纠删码对所述标记文件进行编码加密，得到加密数据；
[0031]将所述加密数据进行分块，并分布式存储于数据库的各个存储空间中。
[0032]可选的，所述将所述标记文件进行存储之后，所述方法还包括：
[0033]利用埋点分析方法，监控所述标记文件的存储过程；
[0034]当所述标记文件存储成功后，获取所述标记文件的存储地址，并根据所述存储地址，在预设的可视化区域中构建浏览超链接；
[0035]当所述标记文件存储不成功时，显示预构建的存储失败提示信息。
[0036]本专利技术实施例通过判断监控数据文件的类型，先将不同类型的监控数据文件通过不同的数据清洗容器进行清洗，得到干净文件，使得存储过程中减少了数据冗余性、增加了数据可用性，而且所述数据清洗容器可以增加数据清洗效率，从而增加整体数据存储效率；此外，本专利技术通过图谱的方式将文件所属位置进行标记，避免了顺序存储或人工主观存储带来的低效率及存储不合理的问题，其中，本专利技术还通过先确定最高级关键字的位置，再确定监控关键字序列中各个监控关键字位置的聚类方式，能够较少聚类过程的计算量，增加聚类效率。因此本专利技术提出的电力设备的数据采集与处理方法、装置、电子设备及计算机可读存储介质，可以解决多类型文件混合存储时的存储效率低的问题。
附图说明
[0037]图1为本专利技术一实施例提供一种数据存储框架的结构示意图；
[0038]图2为本专利技术一实施例提供的电力设备的数据采集与处理方法的流程示意图；
[0039]图3为本专利技术一实施例提供的电力设备的数据采集与处理方法中一个步骤的详细流程示意图；
[0040]图4为本专利技术一实施例提供的电力设备监控数据的存储装置的功能模块图；
[0041]图5为本专利技术一实施例提供的实现所述电力设备的数据采集与处理方法的电子设备的结构示意图。
[0042]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0043]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0044]为解决电力设备监控数据存储效率较低的问题，本专利技术实施例构建了一个数据存储框架来执行所述电力设备监控数据的存储。参阅图1所示，所述数据存储框架1包括数据库集群2、缓存空间3及数据接收接口4，其中，所述数据库集群2用于数据的底层存储，所述数据接收接口4用于与外业务对接，所述缓存空间3处于所述数据接收接口4及所述数据库集群2之间的缓冲区域，用于对数据进行清洗及聚类操作，其中，所述缓存空间3包括清洗容器集群5及文件聚类算法6。
[0045]进一步地，本申请实施例提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电力设备的数据采集与处理方法，其特征在于，所述方法包括：获取数据接收接口中的监控数据文件，并识别所述监控数据文件的文件类型及监控关键字序列；获取所述文件类型对应的数据清洗容器，并利用所述数据清洗容器对所述监控数据文件进行数据清洗，得到干净文件；根据预设的监控关键字等级表，获取所述监控关键字序列中的最高级关键字，并在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱；将所述监控关键字序列中各个监控关键字在所述子文件图谱区域中进行层次聚类操作，得到文件关系树图；获取所述监控关键字序列中各个监控关键字在所述文件关系树图中的位置信息，得到位置信息集合；利用所述位置信息集合标记所述干净文件，得到标记文件，并将所述标记文件进行存储。2.如权利要求1所述的电力设备的数据采集与处理方法，其特征在于，所述识别所述监控数据文件的文件类型及监控关键字序列，包括：获取所述监控数据文件的文件流，并解析所述文件流中的目标参数字段，得到所述监控数据文件的文件扩展名；根据所述文件扩展名，获取所述监控数据文件的文件类型；判断所述文件类型是否为图片类型；当所述文件类型为图片类型时，利用光学识别算法识别所述所述监控数据文件的文件内容，得到文本文档，并查询所述文本文档中的目标字段内容，得到所述监控数据文件的监控关键字序列；当所述文件类型不是图片类型时，查询所述监控数据文件中的目标字段内容，得到所述监控数据文件的监控关键字序列。3.如权利要求1所述的电力设备的数据采集与处理方法，其特征在于，所述在预构建的历史监控文件图谱中查询所述最高级关键字所处于的子文件图谱，包括：判断所述历史监控文件图谱中是否含有所述最高级关键字；当所述历史监控文件图谱中不含有所述最高级关键字时，根据余弦相似度算法，获取所述历史监控文件图谱的各个节点中与所述最高级关键字的...

【专利技术属性】
技术研发人员：李通，陈杰华，杨瑞波，林景锋，胥经纬，袁诗雪，毛磊，
申请(专利权)人：南方电网物资有限公司，
类型：发明
国别省市：