一种实现电力调度海量数据并行计算的方法及存储介质技术

本发明专利技术公开了一种实现电力调度海量数据并行计算的方法及存储介质，该方法通过将计算请求进行词法分析，针对计算请求的不同词组和相互依赖关系进行分析，得到词法分析表，将分析后的词法分析表组合为一棵多叉树，形成语法分析树，再将语法分析树转化为对象操作的顺序依赖图，形成对象计算图，最后再通过向量化计算引擎将对象计算图转换为一系列的向量原语操作，形成向量计算图，并且让这些向量原语操作在多核处理器上执行，从而提高电力调度多元异构海量数据计算时的并行效率。异构海量数据计算时的并行效率。异构海量数据计算时的并行效率。

【技术实现步骤摘要】
一种实现电力调度海量数据并行计算的方法及存储介质


[0001]本专利技术涉及一种实现电力调度海量数据并行计算的方法及存储介质，尤其是一种将海量数据计算请求通过多步转换为一系列向量原语操作并支持在多核处理器上并执行的数据计算方法及存储介质。

技术介绍

[0002]电力是现代社会生产、经济发展及生活的重要物质基础，随着科学技术的进步，人类对电力的需求年年增长，国内电力行业信息化也得到了长足的发展。随着风光等强随机波动的新能源发电装机的快速建设与应用，电力调度数据资源剧增，存在数据量大、结构复杂、存储分散等特点，为满足新能源出力预测、用户日前预测、负荷潮流分析的实时性要求，迫切需要海量实时数据高性能处理和计算技术，解决内外部不同层次、粒度、时段数据信息间的高度融合和高效处理。
[0003]针对目前存在的问题，需要结合电力调度业务特性及数据特点，开展实时、准实时数据特性和处理研究，实现面向高并发海量终端表计数据的快速查询和计算，提升电力调度相关的不同类型实时数据的高效处理。

技术实现思路

[0004]本专利技术要解决的技术问题在于提供一种实现电力调度海量数据并行计算的方法及存储介质，该方法通过将计算请求进行词法分析，针对计算请求的不同词组和相互依赖关系进行分析，得到词法分析表，将分析后的词法分析表组合为一棵多叉树，形成语法分析树，再将语法分析树转化为对象操作的顺序依赖图，形成对象计算图，最后再通过向量化计算引擎将对象计算图转换为一系列的向量原语操作，形成向量计算图，并且让这些向量原语操作在多核处理器上执行，从而提高数据计算并行效率。
[0005]本专利技术用于调度海量数据计算包括下列步骤：
[0006]步骤101，接收请求：
[0007]获取待查询和计算的请求，作为输入，包括：
[0008]请求中记录了待计算的对象，计算条件，返回结果三类信息，其中计算对象为对象ID，计算条件包括对象关联关系和关联条件，返回结果包括对象属性和计算要求。
[0009]步骤102，词法分析表：
[0010]对输入的请求进行词法分析，分别得到字段、对象、条件、计算、结果，包括：
[0011]对输入的请求进行词法分析，按照对象、字段、条件、计算、结果5种类型对计算请求进行拆分和细化，每种类型的拆分说明如下：
[0012][0013]步骤103，语法分析树：
[0014]基于需要输出的结果，自下向上构建语法分析树，获得计算过程的重要步骤和信息，包括：
[0015]以抽象语法树(AST)解码器为基础，递归构建一颗自下向上倒长树，根在上，叶在下。语法结构树的线性次序为，第一，在树的分枝节点上有一组词形成句子的一个部分，称为语法结构成分，树的底部是单个的词。第二，语法成分结构树具有层次结构，组成语法结构成分的词组由树上所出现的层次来表示。第三，语法结构成分具有句法范畴，一个成分包括所有在结构树层次上低于自己的更小的成分，树的分枝处称为节点，与节点相关的句法范畴为标记，单个的词称为叶子。
[0016]语法分析树节点类型说明如下表：
[0017][0018]步骤104，对象计算图：
[0019]基于词法分析表，将语法分析树转化为粗粒度的对象计算图，包括：
[0020]首先记录下对象的数据表地址，以及对象的属性，按照语法分析树结构，采用至上向下的解析，将分析树转换为有向无环的对象计算图，构建步骤为：
[0021]1)分别构建查询节点和计算节点，形成对象集合；
[0022]2)查询节点下依次构建子查询节点或字段，形成对象过滤集合，计算节点下依次构建子计算节点或连接节点，形成连接条件集合；
[0023]3)连接节点下依次构建子连接节点或求值节点，形成求值集合；
[0024]4)按照语法分析树连接顺序，完成各集合的连接和前后次序的确定，形成有向无环的对象计算图。
[0025]步骤105，向量计算图：
[0026]将对象计算图转化为向量计算图，包括：
[0027]对象计算图到向量计算图的转换不进行实际的数据计算，每一个对象计算节点都对应一个或多个向量节点，每一个向量节点都由一个或多个向量原语操作，每一个向量原语操作都有一个对应的后台服务函数接口，后台通过调用对应的函数接来实现操作的执行。向量原语操作处理的数据对象是向量，所以除了读数据操作没有输入向量而只有一个输出向量外，每一个向量操作都至少有一个输入向量和一个输出向量。向量原语操作之间通过一定的组织必须具备相对复杂的功能来完成复杂数据的过滤、连接、聚合等计算任务。
[0028]向量原语操作类型说明如下表：
[0029][0030]步骤106，计算结果：
[0031]执行向量操作，最后输出计算结果，包括：
[0032]以上步骤均不发生实际的数据操作和计算，只有转化为向量操作之后，并提交给后台，由后台执行系统执行向量操作后才发生实际的执行，计算才得到处理。在向量执行时候，前后有关联和顺序的向量，需要按照顺利依次执行，无前后关联和顺序的向量可并行执行，向量的执行通过后台系统封装为可并行的指令，可在多核CPU上并行计算。
[0033]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序能够被处理器执行以实现本专利技术的方法的步骤。
[0034]本专利技术的有益效果
[0035]本专利技术通过将海量数据计算请求通过多步转换为一系列向量原语操作，并且让这些向量原语操作在多核CPU上并行计算，可加速海量数据的性能，特别是针对电力调度数据多类型、多尺度的复杂计算，可显著提高调度多元异构海量数据的处理效率。
附图说明
[0036]图1为本专利技术的总体流程图。
[0037]图2为本专利技术的词法分析图。
[0038]图3为本专利技术的语法分析树示意图。
[0039]图4为本专利技术的对象计算图。
[0040]图5为本专利技术的向量计算图。
具体实施方式
[0041]以下结合附图和实施例具体说明本专利技术的技术方案。
[0042]实施例1
[0043]本专利技术计算步骤具体如下：
[0044]步骤101：接收请求
[0045]从客户端请求中获取待计算的对象和要求，请求中包含对象、条件、返回结果3类，请求示例如下：
[0046][0047]步骤102：词法分析表
[0048]对输入的请求进行词法分析，按照对象、字段、条件、计算、结果5种类型对计算请求进行拆分和细化，拆分和细化的结果如图2所示，其中根据对象的ID，查询对象字典表获得每个对象的字段，根据词法分析获得返回结果中的计算条件。
[0049]步骤103：语法分析树
[0050]以抽象语法树(AST)解码器为基础，递归构建一颗自下向上倒长树，根在上，叶在下。基于需要输出的结果[a2,b2,c2,average,sum,max]，自下向上构建语法分析树，获得计算过程的重要步骤和信息构建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现电力调度海量数据并行计算的方法，其特征在于，该方法通过将计算请求进行词法分析，针对计算请求的不同词组和相互依赖关系进行分析，得到词法分析表，将分析后的词法分析表组合为一棵多叉树，形成语法分析树，再将语法分析树转化为对象操作的顺序依赖图，形成对象计算图，最后再通过向量化计算引擎将对象计算图转换为一系列的向量原语操作，形成向量计算图，并且让这些向量原语操作在多核处理器上执行，从而实现提高数据计算的并行效率。2.如权利要求1所述的实现电力调度海量数据并行计算的方法，其特征在于，具体包括以下步骤：步骤101，接收请求：获取待查询和计算的请求，作为输入；步骤102，词法分析表：对输入的请求进行词法分析，分别得到字段、对象、条件、计算、结果；步骤103，语法分析树：基于需要输出的结果，自下向上构建语法分析树，获得计算过程的重要步骤和信息；步骤104，对象计算图：基于词法分析表，将语法分析树转化为粗粒度的对象计算图；步骤105，向量计算图：将对象计算图转化为向量计算图；步骤106，计算结果：执行向量操作，最后输出计算结果。3.如权利要求2所述的实现电力调度海量数据并行计算的方法，其特征在于，步骤101包括：请求中记录了待计算的对象，计算条件，返回结果三类信息，其中计算对象为对象ID，计算条件包括对象关联关系和关联条件，返回结果包括对象属性和计算要求。4.如权利要求2所述的实现电力调度海量数据并行计算的方法，其特征在于，步骤102包括：对输入的请求进行词法分析，按照对象、字段、条件、计算、结果5种类型对计算请求进行拆分和细化。5.如权利要求2所述的实现电力调度海量数据并行计算的方法，其特征在于，步骤103包括：以抽象语法树AST解码器为基础，递归构建一颗自下向上倒长树；其语法结构树的线性次序为：第一，在树的分枝节点上有一组词形成句子的一个部分，称为语法结构成分，树的底部是单个的词；第二，语法成分结构树具有层次结构，组成语法结构成分的词组由树上所出现的层次来表示；第三，语法结构成分具有句法范畴，一个成分包括所有在结构树层次上低于自己的更小的成分，树的分枝处称为节点，与节点相关的句法...

【专利技术属性】
技术研发人员：任莹，
申请(专利权)人：昆明能讯科技有限责任公司，
类型：发明
国别省市：