基于合并树模型的数据流处理方法、装置及存储介质制造方法及图纸

本说明书实施例提供了一种基于合并树模型的数据流处理方法、装置及存储介质，数据流处理方法包括：获取源数据；根据源数据，得到顶点集和边数据集；根据顶点集，得到极值点集和规则点集；根据极值点集、规则点集和边数据集，得到候选鞍点集；根据极值点集和候选鞍点集，得到极值点

【技术实现步骤摘要】
基于合并树模型的数据流处理方法、装置及存储介质


[0001]本文件涉及大规模数据处理
，尤其涉及一种基于合并树模型的数据流处理方法、装置及存储介质。

技术介绍

[0002]数据流模型，即以数据为核心的执行模型，通过提取应用程序内数据的流向来指导其并行化，这对于优化以数据为中心的拓扑分析算法具有重要的意义。
[0003]现有方法是通过拓扑分析算法对计算流体力学模拟数据进行处理，从控制流的角度来发掘应用程序的并行性，并对数据模拟、特征进行提取，并行实现数据分析和可视化分析。
[0004]然而，随着计算能力的不断提高，数据量日渐增加，传统的数据分析模式也难以解决现有技术中分布式节点更新数据时效率低，，同时由于算法面向的问题为非结构化，在数据量庞大或控制流复杂时难以发挥出较好的性能。

技术实现思路

[0005]鉴于上述的分析，本申请旨在提出一种基于合并树模型的数据流处理方法、装置及存储介质，基于合并树数据流模型，通过数据节点和通信策略生成数据流图，从而提高了数据分析中大规模数据的输入、输出和交互速度；以及频繁数据同步时，确保数据的一致性和准确性。
[0006]第一方面，本说明书一个或多个实施例提供了一种基于合并树模型的数据流处理方法，包括：
[0007]获取源数据；
[0008]根据所述源数据，得到顶点集和边数据集；
[0009]根据所述顶点集，得到极值点集和规则点集；
[0010]根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集；r/>[0011]根据所述极值点集和所述候选鞍点集，得到极值点
‑
鞍点对集；
[0012]将所述极值点鞍点对集加入预设合并树；
[0013]所述通信策略包括推送、拉取和发布/订阅。
[0014]进一步地，所述多个数据节点包括：第一数据节点、第二数据节点、第三数据节点；
[0015]根据所述源数据，得到顶点集和边数据集，包括：
[0016]所述第一数据节点根据所述源数据，生成所述顶点集和所述边数据集；将所述顶点集推送给所述第二数据节点，将所述边数据集推送给所述第三数据节点。
[0017]进一步地，所述多个数据节点还包括：第四数据节点和第五数据节点；
[0018]根据所述顶点集，得到极值点集和规则点集，包括：
[0019]所述第二数据节点以所述顶点集各个元素为起点，构造极值点指向链；根据所述极值点指向链生成所述极值点集和所述规则点集；将所述极值点集推送给所述第四数据节
点，将所述规则点集推送给所述第五数据节点。
[0020]进一步地，所述多个数据节点还包括：第六数据节点；
[0021]根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集，包括：
[0022]所述第三数据节点发布所述边数据集；
[0023]所述第四数据节点将所述极值点集，推送到所述第六数据节点；
[0024]所述第五数据节点将所述规则点集，推送到所述第六数据节点；
[0025]所述第六数据节点订阅所述第三数据节点中所述边数据集；
[0026]所述第六数据节点根据所述极值点集、所述规则点集和所述边数据集，生成所述候选鞍点集。
[0027]进一步地，所述多个数据节点包括：第七数据节点；
[0028]根据所述极值点集和所述候选鞍点集，得到极值点
‑
鞍点对集，包括：
[0029]所述第六数据节点将所述候选鞍点集推送到所述第七数据节点；
[0030]所述第七数据节点拉取所述第四数据节点中所述极值点集；所述第七数据节点根据所述极值点集和所述候选鞍点集，生成所述极值点
‑
候选鞍点对集；对所述极值点
‑
候选鞍点对集中的元素进行排序，生成极值点
‑
鞍点对集。
[0031]进一步地，将所述极值点鞍点对集加入预设合并树，包括：
[0032]所述第七数据节点将所述极值点鞍点对集推送到到合并树中。
[0033]进一步地，所述极值点
‑
鞍点对集包括至少一个极值点
‑
鞍点对；各所述极值点
‑
鞍点对包括一个极值点和一个鞍点，包括：
[0034]根据所述极值点
‑
鞍点对集和预设顶点分配规则，得到所述极值点和所述鞍点之间的中间点集，再将所述极值点
‑
鞍点对集和所述中间点集从当前拓扑图中删除。
[0035]第二方面，本说明书一个或多个实施例提供了一种基于合并树模型的数据流处理装置，包括：获取模块、第一生成模块、第二生成模块、第一合成模块、第二合成模块和输出模块；
[0036]所述获取模块用于获取源数据；所述第一生成模块用于根据所述源数据，得到顶点集和边数据集；所述第二生成模块用于根据所述顶点集，得到极值点集和规则点集；所述第一合成模块用于根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集；所述第二合成模块用于根据所述极值点集和所述候选鞍点集，得到极值点
‑
鞍点对集；所述输出模块用于将所述极值点
‑
鞍点对集加入预设合并树；所述通信策略包括推送、拉取和发布/订阅。
[0037]第三方面，本说明书一个或多个实施例提供了一种计算设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，
[0038]所述处理器执行所述计算机指令时实现第一方面中任一项所述数据节点处理方法的步骤。
[0039]第四方面，本说明书一个或多个实施例提供了一种计算机可读存储介质，其存储有计算机指令，所述计算机指令被处理器执行时实现第一方面中任一项所述数据节点处理方法的步骤。
[0040]与现有技术相比，本申请至少能实现以下技术效果：
[0041]1、本申请基于预设的数据节点传递和通信策略传递数据，因此数据节点中的数据
更新时可以将更新的数据传递至相应的节点，或者暂时存储在该数据节点中。而对于现有的分布式节点，当任一节点的数据发生更新时，服务器需要实时在所有节点上更新该数据。由此，在数据发生更新时，相比于现有技术，本申请传递数据对应的运算量较小，占用的内存空间较低。从而降低了存储成本，提高了数据同步效率。
[0042]2、本申请对通信策略进行了规范化定义，采用了推送、拉取和发布/订阅三种传递模式，使研发人员不再需要单独从控制流的角度来设置应用程序的执行顺序，减少了研发人员的工作时间，提高了工作效率，充分的挖掘了数据的并行性。
附图说明
[0043]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于合并树模型的数据流处理方法，其特征在于，基于合并树，预先设置多个数据节点，所述多个数据节点通过预设通信策略执行以下步骤，包括：获取源数据；根据所述源数据，得到顶点集和边数据集；根据所述顶点集，得到极值点集和规则点集；根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集；根据所述极值点集和所述候选鞍点集，得到极值点
‑
鞍点对集；将所述极值点
‑
鞍点对集加入预设合并树；所述通信策略包括推送、拉取和发布/订阅。2.根据权利要求1所述方法，其特征在于，所述多个数据节点包括：第一数据节点、第二数据节点、第三数据节点；根据所述源数据，得到顶点集和边数据集，包括：所述第一数据节点根据所述源数据，生成所述顶点集和所述边数据集；将所述顶点集推送给所述第二数据节点，将所述边数据集推送给所述第三数据节点。3.根据权利要求2所述方法，其特征在于，所述多个数据节点还包括：第四数据节点和第五数据节点；根据所述顶点集，得到极值点集和规则点集，包括：所述第二数据节点以所述顶点集各个元素为起点，构造极值点指向链；根据所述极值点指向链生成所述极值点集和所述规则点集；将所述极值点集推送给所述第四数据节点，将所述规则点集推送给所述第五数据节点。4.根据权利要求3所述方法，其特征在于，所述多个数据节点还包括：第六数据节点；根据所述极值点集、所述规则点集和所述边数据集，得到候选鞍点集，包括：所述第三数据节点发布所述边数据集；所述第四数据节点将所述极值点集，推送到所述第六数据节点；所述第五数据节点将所述规则点集，推送到所述第六数据节点；所述第六数据节点订阅所述第三数据节点中所述边数据集；所述第六数据节点根据所述极值点集、所述规则点集和所述边数据集，生成所述候选鞍点集。5.根据权利要求4所述方法，其特征在于，所述多个数据节点包括：第七数据节点；根据所述极值点集和所述候选鞍点集，得到极值点
‑
鞍点对集，包括：所述第六数据节点将所述候选鞍点集推送到所述第七数据节点；所述第七数据节点拉取所述第四数据节点中所述极值点集；所述第七数据节点根据所述极...

【专利技术属性】
技术研发人员：艾邦成，黄智濒，陈思员，汪鑫，禹旻，黄志林，马乐，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：