【技术实现步骤摘要】
本专利技术涉及一种基于树状传输架构的初始化构建方法,特别是一种用来实时聚集不同节点的性能数据的树状传输架构的初始化构建方法。
技术介绍
为了满足科学计算大规模和长时间运行的需求,以及有效减少高性能计算领域软硬件不断扩大的差距,传统的静态和事后性能监测和分析技术逐渐被在线的可扩展的监测方法所取代,从而改进并行程序的性能并充分利用现有的计算资源。进而,传统的l-η架构由于其缺乏可扩展性,已经逐渐被树状传输架构所取代。在性能监测领域比较典型的架构为模型,其原型实现MRNet通信库在该领域受到广泛的使用。该架构是基于进程的,其构建过程可以并行执行,根节点通过系统配置文件来生成其各个子节点,子节点进而链接其父亲节点,并获得其子树的配置信息,从而最终并行生成该通信树。而对于性能监测工具来说,若想利用该树状传输架构,则需要使用附加模式,先构建内部通信树,然后监测进程附加到内部通信树的叶子节点,从而初始化整个树状传输结构。然而,其前提条件就是应用进程要事先了解其需附加内部树叶子节点的相关信息,比如ΙΡ,端口等等。虽然MRNet提供了灵活的接口,而信息识别、内部进程放置、辅助进程触发等等仍然需要手工设计和实现,本专利就是用于解决以上问题,适用于典型的集群系统,可用于基于其上的在线性能监测工具的数据汇聚。之前对于传输架构的初始化构建问题的研究主要分为两类1)不以MRNet为基础的进程启动方法,包括LaunchMON,LIBI以及TDP ;2)基于MRNet的性能工具,比如TAU, Extrae, DPCL, Open | SpeedShop,等等。上述LaunchMON,L ...
【技术保护点】
一种集群系统的树状传输架构的初始化构建方法,该树状传输架构在逻辑上包括汇聚节点、通信节点和计算节点,其中,计算节点承担计算任务,监测进程也作用于其上,汇聚节点用于汇聚性能数据;该汇聚节点包括前端进程FE,该前端进程FE负责数据汇聚和存储;树状传输架构的通信节点包括通信进程集合,其负责数据汇聚和过滤;其特征在于该初始化方法包括如下步骤:步骤一:所述前端进程FE轮询监听从而利用TCP/IP协议收集监测进程集合BE的信息,并根据拓扑配置文件生成通信进程集合CP的拓扑,所述监测进程集合BE发送所述信息给所述前端进程FE,根据系统配置文件触发辅助服务进程集合AP协同监测进程集合BE一起将所述信息发送给所述前端进程FE,生成内部树状拓扑,进而所述监测进程集合BE附加于内部树终端进程集合IBE,从而建立起树状传输架构,用以传输性能数据;步骤二:所述监测进程集合BE通过相应的采集监测技术收集并行程序的性能数据,并实时提交给该树状传输架构;步骤三:所述通信进程集合CP接收并转发所述性能数据;步骤四:所述钱端进程FE接收该树状传输架构的所述性能数据,并将其存储于数据存储载体,进行可视化展示,以实现实时和/ ...
【技术特征摘要】
1.一种集群系统的树状传输架构的初始化构建方法,该树状传输架构在逻辑上包括汇聚节点、通信节点和计算节点,其中,计算节点承担计算任务,监测进程也作用于其上,汇聚节点用于汇聚性能数据;该汇聚节点包括前端进程FE,该前端进程FE负责数据汇聚和存储;树状传输架构的通信节点包括通信进程集合,其负责数据汇聚和过滤;其特征在于该初始化方法包括如下步骤 步骤一所述前端进程FE轮询监听从而利用TCP/IP协议收集监测进程集合BE的信息,并根据拓扑配置文件生成通信进程集合CP的拓扑,所述监测进程集合BE发送所述信息给所述前端进程FE,根据系统配置文件触发辅助服务进程集合AP协同监测进程集合BE —起将所述信息发送给所述前端进程FE,生成内部树状拓扑,进而所述监测进程集合BE附加于内部树终端进程集合IBE,从而建立起树状传输架构,用以传输性能数据; 步骤二 所述监测进程集合BE通过相应的采集监测技术收集并行程序的性能数据,并实时提交给该树状传输架构; 步骤三所述通信进程集合CP接收并转发所述性能数据; 步骤四所述钱端进程FE接收该树状传输架构的所述性能数据,并将其存储于数据存储载体,进行可视化展示,以实现实时和/或事后性能分析。步骤五树状传输架构自动销毁,结束在线数据传输收集过程。2.如权利要求1所述的树状传输架构的初始化构建方法,其特征在于,在通信节点和计算节点不区分的情况下,通过内部通信进程的放置策略生成拓扑配置文件进而生成所述通信进程集合CP的拓扑,所述内部通信进程的放置策略,通过尽力而为的平均策略或综合分配策略来实现,而将监测进程集合BE附加于内部树终端进程集合IBE,通过附加策略来实现。3.如权利要求2所述的树状传输架构的初始化构建方法,其中,所述尽力而为的平均策略的目标是保持总进程数nt在各个主机间平均化分配,该策略包括如下步骤 步骤一首先将TS容器清空; 步骤二 使用sum除以m求得商quo和余数rem ; 步骤三将商quo赋值给TS容器中每一个元素TSi (i e [O... m-1]); 步骤四如果rem不等于O,则将TS中的前rem个元素依次加I ; 步骤五比较OS容器和TS容器中相应位置的元素,如果存在OS容器中的元素大于TS容器的情况,将OS容器中的该元素替换TS容器中相应位置的元素,并将其放入RS容器,并且sum减去该元素的值; 步骤六如果RS容器不为空,则循环执行步骤七,直到RS容器的大小不再改变为止;相反,如果RS容器为空,或者RS容器大小经过步骤七不再改变了,则直接执行步骤八;步骤七计算sum除以m与RS容器的元素个数的差,所得到的商quo和余数rem ;遍历TS容器中的每一个元素看其是否包含在RS容器中,如果不在,则相应的元素赋值为商quo ;...
【专利技术属性】
技术研发人员:胡凯,丁毅,赵祯龙,吴恺,
申请(专利权)人:北京航空航天大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。