一种用于改善高性能计算应用的数据收集方法技术

本发明专利技术公开了一种用于改善高性能计算应用的数据收集方法，涉及高性能计算领域，本发明专利技术先通过设置执行环境，通过拓扑感知的执行环境服务，用于在高性能计算中快速和敏捷的应用程序部署，通过生成树状结构，且区分代理节点与从属节点，建立高性能计算的函数性能模型，再通过遍历函数性能真实数据集，进行分段建模，实现了在高性能计算中的全覆盖建模，建立了各函数准确的性能模型，全面且精细地刻画了程序的计算行为，有效提高了模型的准确度，且提高模型准确度也提高了高性能计算的数据收集效率和准确度，配合执行环境，改善了数据收集速度慢以及收集混乱的缺点。集速度慢以及收集混乱的缺点。集速度慢以及收集混乱的缺点。

【技术实现步骤摘要】
一种用于改善高性能计算应用的数据收集方法


[0001]本专利技术涉及一种用于改善高性能计算应用的数据收集方法，属于高性能计算


技术介绍

[0002]高性能计算指通常使用很多处理器或者某一集群中组织的几台计算机的计算系统和环境，有许多类型的HPC系统，其范围从标准计算机的大型集群，到高度专用的硬件。
[0003]高性能计算(HPC)系统拥有越来越多的计算资源。其服务范围逐渐扩大，用户群体日益复杂，用户需求多样化的趋势越来越突出。
[0004]在中国专利申请(公开号为CN111611125A)中公开的一种用于改善高性能计算应用的性能数据收集的方法与设备，该专利中包括：源节点的性能数据比较器，用于以轮询频率从主机结构接口收集源节点的应用的性能数据；接口，用于将写回指令传送至主机结构接口，写回指令用于使得数据被写入源节点的存储器地址位置以触发唤醒模式；和频率选择器，该频率选择器用于：将轮询频率启动为针对睡眠模式的第一轮询频率；并且响应于存储器地址位置中的、标识唤醒模式的数据将轮询频率增加到第二轮询频率。该专利中涉及的高性能计算在进行文件传输的过程中，由于计算节点的不断增多，环境配置较为困难，导致部署速度慢，应用程序的启动速度慢，启动延迟较高，而且在数据收集的过程中，数据收集的效率和准确度较低。

技术实现思路

[0005]本专利技术要解决的技术问题是：提供一种用于改善高性能计算应用的数据收集方法，解决由于计算节点的不断增多，环境配置较为困难，导致部署速度慢，应用程序的启动速度慢，启动延迟较高，而且在数据收集的过程中，数据收集的效率和准确度较低的问题。
[0006]本专利技术采取的技术方案为：一种用于改善高性能计算应用的数据收集方法，该方法包括以下步骤：
[0007]S1：设置执行环境；
[0008]用一个分层的文件系统和进程隔离来为用户创建一个私有的执行环境，在用户登录时为其启动执行环境，当用户运行应用程序时将自动部署执行环境，执行环境包括登录节点、计算节点、共享存储器、文件系统以及拓扑感知P2P；
[0009]S2：部署计算节点；
[0010]执行环境设置上层和下层文件系统，上层为程序所需的文件，下层为其他文件，首先，传输当前应用程序所需的文件，然后启动应用程序，最后，传输剩余的文件，并根据文件所使用的计算节点的数量设置阈值，当文件所使用的计算节点的数量小于阈值时，通过共享存储器将应用程序及其执行环境直接部署到计算节点上；当文件所使用的计算节点的数量大于阈值时，将针对特定拓扑感知P2P传输进行优化；
[0011]其中，通过设置上层和下层的文件系统，实现了一个比容器更轻量级的执行环境，
仅使用了两个覆盖的文件系统层来避免容器映像的空间开销，这种轻量级的设计还减少了与环境部署相关的网络传输压力；而且，通过据文件所使用的计算节点的数量设置阈值，当文件所使用的计算节点的数量小于阈值时，通过共享存储器将应用程序及其执行环境直接部署到计算节点上；当文件所使用的计算节点的数量大于阈值时，将使用拓扑感知P2P传输将执行环境部署到计算节点，合理地结合了不同尺度下不同文件传输模式的优势，提高了网络传输的效率；
[0012]S3：部署执行环境；
[0013]为每个用户创建一个孤立的进程树，当用户退出时，只需要杀死进程树的根进程，使用了一个只有两个层的覆盖文件系统，节点目录用作覆盖文件系统的下层，一个空目录作为每个用户的上层叠加，在实现执行环境的自动部署时，将用户的上层同步到相应的计算节点；
[0014]其中，通过为每个用户创建一个孤立的进程树，并能够自动部署，少了用户在计算节点上手动配置执行环境的负担，同时实现了用户的隐私保护；
[0015]当计算节点数增加时，应用程序使用的容量很小，使用共享存储有明显的优势；但是，当计算节点的数量较大时，即使传输的文件较小，也很容易导致流量拥塞，因此，共享存储具有明显的优势；
[0016]S3.1：点对点；
[0017]设置一个代理节点的列表和每个代理节点的一个从属节点的列表，当用户运行应用程序时，将分析用户应用程序使用的节点列表，以生成P2P传输的树状结构，用户登录节点为树的根节点；
[0018]其中，计算节点分为代理节点与从属节点。
[0019]S3.2、节点；
[0020]代理节点位于树的顶部，若应用程序使用的代理节点位于某个从属节点的节点列表中，则此从属节点为此代理节点的子节点，若代理节点不在应用程序节点列表，节点处于空闲状态，此时计算从属节点的利用率，并设置利用率阈值，阈值为50％，若利用率大于50％，将此空闲的代理节点添加到P2P树中，并将所述代理节点临时设置为已分配的状态，其节点列表中的从属节点也被添加为树中此代理节点的子节点，若代理节点不是空闲的，将这些从节点调为孤立节点，最后在树的最后一层孤立节点；
[0021]S3.3：传递：
[0022]在登录节点上创建了树结构之后，在传输文件的同时将树结构传递给下一层代理节点，然后，每个代理节点根据树状结构找到其子节点继续传输，并等待传输完成的信号；当所述代理节点接收到所有子节点的传输完成信号后，所述代理节点生成传输完成信号，并将其返回给其父节点；最后，在登录代理节点接收到来自第一层代理节点的确认信号后，即整个传输过程已经完成，将临时占用的代理节点设置为空闲状态；
[0023]S4：快速响应；
[0024]S4.1、提前启动；
[0025]若应用程序的依赖的文件出现在上层，则将这些文件添加到紧急部分；用户的上层文件系统其余的文件的为滞后部分；当紧急部分传输完成后，直接在相应的计算节点上启动执行环境来启动应用程序；
[0026]S4.2：滞后传输：
[0027]传输滞后部分的文件，建立高性能计算的函数性能模型；
[0028]其中，通过拓扑感知的执行环境服务，用于在高性能计算中快速和敏捷的应用程序部署，通过生成树状结构，且区分代理节点与从属节点，并且为高性能计算系统中的每个用户提供了一个私有的执行环境，并实现了应用程序的快速自动部署及其执行过程；而且设计了一种基于拓扑感知的P2P方法，以减少部署时间，在本方法中，还有一个分步传输和提前启动的机制，以减少应用程序的启动延迟，与传统的基于容器的应用程序部署相比，速度更快，并能有效地降低网络负载；
[0029]S5：自动性能建模；
[0030]S5.1：分段建模；
[0031]通过遍历函数性能真实数据集C＝[C1,C2,...,C
i
,...,C
n
]，其中C
i
＝[X
i
，Y
i
]，n为数据点对的数量，以C
i
作为分段点，使用信赖域反射最小二乘法分别对[C1,C2,...,C
i
]以及[C
i
,...,C
n
]进行拟合建模，通过计算分段后的均方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于改善高性能计算应用的数据收集方法，其特征在于：该方法包括以下步骤：S1：设置执行环境；用一个分层的文件系统和进程隔离来为用户创建一个私有的执行环境，在用户登录时为其启动执行环境，当用户运行应用程序时将自动部署执行环境，执行环境包括登录节点、计算节点、共享存储器、文件系统以及拓扑感知P2P；S2：部署计算节点；执行环境设置上层和下层文件系统，上层为程序所需的文件，下层为其他文件，首先，传输当前应用程序所需的文件，然后启动应用程序，最后，传输剩余的文件，并根据文件所使用的计算节点的数量设置阈值，当文件所使用的计算节点的数量小于阈值时，通过共享存储器将应用程序及其执行环境直接部署到计算节点上；当文件所使用的计算节点的数量大于阈值时，将使用拓扑感知P2P传输将执行环境部署到计算节点；S3：部署执行环境；为每个用户创建一个孤立的进程树，当用户退出时，只需要杀死进程树的根进程，使用一个只有两个层的覆盖文件系统，节点目录用作覆盖文件系统的下层，一个空目录作为每个用户的上层叠加，在实现执行环境的自动部署时，将用户的上层同步到相应的计算节点；S3.1：点对点；设置一个代理节点的列表和每个代理节点的一个从属节点的列表，当用户运行应用程序时，将分析用户应用程序使用的节点列表，以生成拓扑感知P2P传输的树状结构，用户登录节点为树的根节点；S3.2、节点；代理节点位于树的顶部，若应用程序使用的代理节点位于某个从属节点的节点列表中，则此从属节点为此代理节点的子节点，若代理节点不在应用程序节点列表，节点处于空闲状态，此时计算从属节点的利用率，并设置利用率阈值，阈值为50%，若利用率大于50%，将此空闲的代理节点添加到P2P树中，并将所述代理节点临时设置为已分配的状态，其节点列表中的从属节点也被添加为树中此代理节点的子节点，若代理节点不是空闲的，将这些从节点调为孤立节点，最后在树的最后一层孤立节点；S3.3：传递：在登录节点上创建树结构之后，在传输文件的同时将树结构传递给下一层代理节点，然后，每个代理节点根据树状结构找到其子节点继续传输，并等待传输完成的信号；当所述代理节点接收到所有子节点的传输完成信号后，所述代理节点生成传输完成信号，并将其返回给其父节点；最后，在登录节点接收到来自第一层代理节点的确认信号后，即整个传输过程已经完成，将临时占用的代理节点设置为空闲状态；S4：快速响应；S4.1、提前启动；若应用程序的依赖的文件出现在上层，则将这些文件添加到用户的上层文件系统的紧急部分；用户的上层文件系统其余的文件的为滞后部分；当紧急部分传输完成后，直接在相应的计算节点上启动执行环境来启动应用程序；S4.2：滞后传输：传输滞后部分的文件，建立高性能计算的函数性能模型；
S5：自动性能建模；S5.1：分段建模；通过遍历函数性能真实数据集C=[C1,C2,...,C
i
,...,C

【专利技术属性】
技术研发人员：甘润东，龙玉江，王策，李洵，卫薇，卢仁猛，钟掖，龙娜，陈卿，陈利民，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：