一种Gaia系统中基于分布式环境下的消息传输方法技术方案

一种Gaia系统中基于分布式环境下的消息传输方法,属于大数据环境下的数据挖掘、机器学习和应用统计等分布式并行计算领域。技术方案：在分布式环境的所有节点中，经由选举机制得到的选举标记通过消息传输机制传输到同一个节点A，该节点收集选举标记；各个节点与该选举标记进行比较，判断是否进行消息传输；在计算的中间结果之中不断地发生选举，根据结果更新“选举标记”；通过算子完成消息传输之后，汇聚计算结果。有益效果是:本发明专利技术提供了在分布式环境下的一种消息传输策略，用于提高并行计算速度的计算方案，能够使得具有相同算子的节点在计算的过程中避免额外的开销完成并行计算，节省了大量的计算资源，有效地提高了计算的效率。

A message transmission method based on distributed environment in Gaia system

【技术实现步骤摘要】
一种Gaia系统中基于分布式环境下的消息传输方法
本专利技术属于大数据环境下的数据挖掘、机器学习和应用统计等分布式并行计算领域，尤其涉及一种Gaia系统中基于分布式环境下的消息传输方法。
技术介绍
Gaia是一个面向多计算模型混合并存的高时效、可扩展的新一代大数据分析系统。在自适应、可伸缩的大数据存储、批流融合大数据计算、高维大规模机器学习和高时效大数据智能交互向导等大数据分析系统的几个核心层面，解决一系列关键技术问题，构建自主可控的高时效、可伸缩的新一代大数据分析系统，掌握国际领先的大数据分析系统核心技术。该新型大数据计算系统针对批流混合任务具有全周期多尺度优化和统一计算引擎。现有大数据计算系统或依托自身计算引擎模拟另一类框架的行为，或定义一套通用接口屏蔽底层计算引擎的差异，对批流融合支持较弱。同时，其优化大多位于执行的特定时期或特定层级，且针对高复杂性任务的优化能力不足。针对以上问题，创新性地开发了基于统一计算引擎和全周期多尺度优化的高性能批流融合大数据计算技术。该技术为批流融合处理提供统一表达逻辑支持，通过统一表达建模融合批流处理本文档来自技高网...

【技术保护点】
1.一种Gaia系统中基于分布式环境下的消息传输方法，其特征在于，步骤如下：/nS1、用户提交作业后，计算引擎根据用户定义的数据位置将数据读取到分布式环境之中，并且将数据传递到各个节点之上；/nS2、多节点的函数申请自身的计算资源，并且将数据读取到相应的算子之中；/nS2.1、Gaia判断定义的资源是否为第一次初始化，如果是则进入步骤S2.2，如果不是则直接进入步骤S2.3；/nS2.2、初始化资源之后，系统建立用于同一节点之间相互传输消息的机制；/nS2.3、各个节点进行计算之时得到中间结果，并在中间结果之中进行选举，并将所获得的选举结果作为选举标记传输到一个节点之上；/nS2.4、在步骤S...

【技术特征摘要】
1.一种Gaia系统中基于分布式环境下的消息传输方法，其特征在于，步骤如下：
S1、用户提交作业后，计算引擎根据用户定义的数据位置将数据读取到分布式环境之中，并且将数据传递到各个节点之上；
S2、多节点的函数申请自身的计算资源，并且将数据读取到相应的算子之中；
S2.1、Gaia判断定义的资源是否为第一次初始化，如果是则进入步骤S2.2，如果不是则直接进入步骤S2.3；
S2.2、初始化资源之后，系统建立用于同一节点之间相互传输消息的机制；
S2.3、各个节点进行计算之时得到中间结果，并在中间结果之中进行选举，并将所获得的选举结果作为选举标记传输到一个节点之上；
S2.4、在...

【专利技术属性】
技术研发人员：黄山，李宣廷，姜楠，逯波，段晓东，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：辽宁;21