一种配电网网格化规划成果的校验方法技术

本发明专利技术涉及一种配电网网格化规划成果的校验方法，包括以下步骤：S1：数据存储的步骤：将网格化规划成果的数据存储到HDFS分布式存储系统中，HDFS分布式存储系统集群包括Client、Namenode和Datanode节点；Client节点负责数据的输入及任务下达；Namenode节点在一个集群中只有一个，由服务器担当，负责管理Datanode节点，包括调度或维护源数据；Datanode节点负责数据的存储；S2：对配电网网格化规划成果数据的校核步骤，具体包括：S21：获取语料的步骤；S22：对语料进行预处理的步骤；S23：数据特征化的步骤；S24：模型训练的步骤。骤。骤。

【技术实现步骤摘要】
一种配电网网格化规划成果的校验方法


[0001]本专利技术属于电力系统
，具体涉及一种配电网网格化规划成果的校验方法。

技术介绍

[0002]配电网作为地区电网承上启下的重要环节和城乡发展不可或缺的基础设施，覆盖范围广、功能要素全、用户影响深，是建设枢纽型企业的重要着力点，是建设平台型企业的利益契合点，是建设共享型企业的关键切入点。
[0003]规划在配电网发展中起着至关重要的作用。配电网规划数据量大、涉及领域广、不确定因素多、更新变化快，目前，基层供电单位基于网格划分承担了大量的基础数据收集、数据指标分析和规划成果编制工作，网格化规划数据收集工作量巨大，配电网“网格化”规划成果数据多以非结构化形式存储，数据之间缺乏有效的关联关系，依靠传统人工校核资料的方式，不仅耗费时间长，成本高，而且校核结果难免存在一定误差，如果数据出现疏漏，则需要组织各个部门重新确认，按流程重新提报成果资料，继而影响后续的设计、可研等阶段的工作开展，难以适应电网精益化管理、精准化投资的要求。此为现有技术的不足之处。
[0004]有鉴于此，本专利技术提供一种配电网网格化规划成果的校验方法；以解决现有技术中存在的上述缺陷，是非常有必要的。

技术实现思路

[0005]本专利技术的目的在于，针对上述现有技术存在的缺陷，提供设计一种配电网网格化规划成果的校验方法，以解决上述技术问题。
[0006]为实现上述目的，本专利技术给出以下技术方案：
[0007]一种配电网网格化规划成果的校验方法，包括以下步骤：
[0008]S1：数据存储的步骤：
[0009]将网格化规划成果的数据存储到HDFS分布式存储系统中， HDFS分布式存储系统集群包括Client、Namenode和Datanode节点；
[0010]Client节点负责数据的输入及任务下达；
[0011]Namenode节点在一个集群中只有一个，由服务器担当，负责管理Datanode节点，包括调度或维护源数据；
[0012]Datanode节点负责数据的存储；
[0013]在数据进行存储时，具体包括以下步骤：
[0014]S11：上传配电网网格化规划成果资料数据到指定文件路径,后端服务找到Namenode节点,Namenode节点存储数据的元数据信息, 首先判断上传的文件路径是否合法,若不合法则返回错误信息；然后再判断客户端是否有写入数据的权限,若无此权限同样返回提示信息；最后Namenode节点给客户端返回一个输出流并为配电网网格化规划成果资料数据分配块存储信息；
[0015]S12：客户端在得到Namenode节点返回的输出流和数据块存储信息后,将配电网网格化规划成果资料数据写入Datanode节点,Datanode节点负责存储数据；
[0016]S13：后端服务利用pipiLine数据流将数据块先发送给第一个 Datanode节点,然后再由第一个Datanode节点将数据块发送给第二个Datanode节点,第二个Datanode节点再将数据块发送给第三个 Datanode节点,从而实现了配电网网格化规划成果资料数据的可靠性；
[0017]S14：后端服务通过ack确认机制向客户端发送确认信息,从而保证了配电网网格化规划成果资料数据存储的完整性；
[0018]S15：客户端在收到确认信息后,关闭配电网网格化规划成果资料数据流写入操作；从而完成配电网格化规划成果资料的存储；
[0019]S2：对配电网网格化规划成果数据的校核步骤，具体包括：
[0020]S21：获取语料的步骤；
[0021]S22：对语料进行预处理的步骤，其中包括语料清理、分词、词性标注、去停用词以及词频统计的步骤。
[0022]S23：数据特征化的步骤，对数据进行向量化处理，把分词后的字和词表示成计算机可计算的类型(向量)，这样有助于较好的表达不同词之间的相似关系；
[0023]S24：模型训练的步骤，根据应用需求不同选择有监督、半监督或者无监督学习模型。
[0024]作为优选，所述的步骤S12中，为了防止某个Datanode节点因硬件故障导致数据丢失问题,后端服务将配电网网格化规划成果资料数据生成三个备份，一个存放于该机架的Datanode节点上，一个存放于该机架的另一个Datanode节点上，还有一个存放于另一个机架的Datanode节点上。
[0025]作为优选，所述步骤S22中，分词即将规划数据中的文本字符串合理地切分成词语序列，是中文文本信息处理必备且最为基础的环节；应用隐马尔科夫模型对文本进行初始分词。
[0026]作为优选，所述步骤S22中，去停用词即去除规划数据中无法表征文本的词，执行中先建立停用词表，再将词频统计结果和停用词表中的词进行对照，删去其中的停用词。
[0027]作为优选，所述步骤S22中，词频统计即是对规划数据中所有的词进行出现频次的统计并据此排序；完整的词频统计结果包括了规划数据中出现的所有词，可用这些词构成文本向量的向量空间，将每个词对应向量空间中的一个维度，通过分析词频统计结果，可对全文语义进行分析，从而进行全文的模式识别。
[0028]作为优选，向量空间按照以下步骤建立：
[0029]定义操作时间：[y
s d
s m
s m
r
][0030]其中y
s
为开始年份，d
s
表示开始日为该年第几日，m
s
表示开始分钟数为该日的第几分钟，m
r
为操作持续时间(分钟)；
[0031]操作任务：
[0032]其中，m
t
为任务总数，n
t
为系统内预设的任务总数。
[0033]针对该类型数据进行基于MapReduce的数据挖掘，仅需针对数据提前将预设字段设计好，然后将项目信息分解为单个Split，再用 Map进行年月日数据的提取以及文字内容与预设字段的匹配，最后采用Reduce将所有结果汇总。
[0034]作为优选，文本向量化是把经过上述处理的文本转化为数字向量的表示结果；传统的文本模型包括词袋模型和词向量模型。词袋模型是将文本中的不同的词采用词的频数和索引表示，文本经Map程序分词及词频统计后的结果即可看作是词袋模型的一种表示。词向量模型是采用向量形式表示文本，其中一种常用的方法是采用one
‑
hot编码，即将每一条文本对应一个向量，向量的每一维对应词频统计结果中的每一个词，若文本中包含该词，则将该文本对应的向量中表征该词的维度置为1，反之该维度置为0，从而完成文本向量化过程。
[0035]作为优选，所述步骤24具体包括：
[0036]模型训练采用长短期记忆网络LSTM，LSTM网络是由专门的记忆存储单元组成，通过精心设计的遗忘门、输入门和输出门来控制各个记忆存储单元的状态，通过门的控制保证了随着隐藏层在新的时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种配电网网格化规划成果的校验方法，其特征在于，包括以下步骤：S1：数据存储的步骤：将网格化规划成果的数据存储到HDFS分布式存储系统中，HDFS分布式存储系统集群包括Client、Namenode和Datanode节点；Client节点负责数据的输入及任务下达；Namenode节点在一个集群中只有一个，由服务器担当，负责管理Datanode节点，包括调度或维护源数据；Datanode节点负责数据的存储；在数据进行存储时，具体包括以下步骤：S11：上传配电网网格化规划成果资料数据到指定文件路径,后端服务找到Namenode节点,Namenode节点存储数据的元数据信息,首先判断上传的文件路径是否合法,若不合法则返回错误信息；然后再判断客户端是否有写入数据的权限,若无此权限同样返回提示信息；最后Namenode节点给客户端返回一个输出流并为配电网网格化规划成果资料数据分配块存储信息；S12：客户端在得到Namenode节点返回的输出流和数据块存储信息后,将配电网网格化规划成果资料数据写入Datanode节点,Datanode节点负责存储数据；S13：后端服务利用pipiLine数据流将数据块先发送给第一个Datanode节点,然后再由第一个Datanode节点将数据块发送给第二个Datanode节点,第二个Datanode节点再将数据块发送给第三个Datanode节点；S14：后端服务通过ack确认机制向客户端发送确认信息；S15：客户端在收到确认信息后,关闭配电网网格化规划成果资料数据流写入操作；S2：对配电网网格化规划成果数据的校核步骤，具体包括：S21：获取语料的步骤；S22：对语料进行预处理的步骤，其中包括语料清理、分词、词性标注、去停用词以及词频统计的步骤；S23：数据特征化的步骤，对数据进行向量化处理，把分词后的字和词表示成计算机可计算的类型；S24：模型训练的步骤，根据应用需求不同选择有监督、半监督或者无监督学习模型。2.根据权利要求1所述的一种配电网网格化规划成果的校验方法，其特征在于，所述的步骤S12中，后端服务将配电网网格化规划成果资料数据生成三个备份，一个存放于该机架的Datanode节点上，一个存放于该机架的另一个Datanode节点上，还有一个存放于另一个机架的Datanode节点上。3.根据权利要求2所述的一种配电网网格化规划成果的校验方法，其特征在于，所述步骤S22中，分词即将规划数据中的文本字符串合理地切分成词语序列，应...

【专利技术属性】
技术研发人员：刘猛，张俊岭，尹朋，刘波，周忠强，苏彪，高明，魏巍，
申请(专利权)人：山东鲁能软件技术有限公司，
类型：发明
国别省市：