【技术实现步骤摘要】
本专利技术属于高性能计算集群性能测试方法，尤其涉及一种基于云平台的高性能计算集群性能的hpl自动化测试方法及装置。
技术介绍
1、高性能计算集群(hpc)将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题，在科研机构、石油勘探、金融市场、气象预报、生物制药、基因测序、图像处理等行业均有广泛的应用。
2、针对云平台的hpc(即云超算)在具备传统超算全部优势的同时能够体现云的优势，比如资源弹性伸缩、配置动态灵活，基于云超算配置灵活的优势，可以快速构建出各种配置的超算集群，对于现有的集群也可以根据应用需要对计算节点进行缩容或扩容，使用结束后也可以随时释放。
3、计算集群系统浮点性能的基准(hpl)是测试高性能计算集群系统浮点性能的基准，是目前高性能计算集群最为常用的测试标准。
4、目前，基于hpl的性能测试方法及装置的缺点是：只能针对一个集群进行hpl自动化性能测试，且需要手动算出hpl测试的相关参数，然而，通常一个云超算平台上会同时存在很多超算集群，与此同时，云超算平台还可以非常方便快捷地构建新的超算集群，且这些超算集群的配置可以灵活地进行弹性伸缩，针对云超算平台的上述特点，现有的hpl自动化性能测试方式显然无法适用，业界迫切需要一种适用于云超算的能够对各种不同配置的超算集群进行一体化hpl自动化性能测试的方法。
技术实现思路
1、为了克服现有hpl自动化性能测试方法不能适用于云超算平台(不适应云超算平台资源灵活弹性伸缩的特点)的缺陷，
2、本方法根据云平台特点，针对新创建的hpc集群或者现有的集群，获取每个集群计算节点的规格信息：如cpu核数、内存、缓存行等信息，自动算出problems sizes(n)、nbs、process grids(p x q)，并自动产出各种组合的hpl.dat，在每个集群中自动安装hpl应用，自动产生测试hpl算力文件，自动获取集群的调度工具并自动产生作业文件调用hpl算力文件，以此对当前集群进行性能测试，并自动生成测试报告。本方法和装置适用于任意厂商、任意架构、任意规格的云超算平台hpc集群性能验证。
3、具体地，本专利技术提供了一种基于云平台的高性能计算集群性能的hpl自动化测试方法，本方法包括：
4、s1.自动化遍历云平台获取高性能计算集群的规格参数，根据获取到的集群规格参数动态生成hpl.dat文件组；
5、s2.自动化为每个高性能计算集群安装hpl应用，并获取集群的调度工具创建作业文件，调用hpl算力文件进行集群性能测试；
6、s3.自动化获取测试的配置参数并自动产出测试结果，自动对比测试结果产出每个集群测试的最佳结果以及该最佳结果对应的测试参数。
7、进一步地，本专利技术基于云平台的高性能计算集群性能的hpl自动化测试方法步骤s1中所述的高性能计算集群的规格参数包括：cpu核数、缓存行、内存。
8、进一步地，本专利技术基于云平台的高性能计算集群性能的hpl自动化测试方法步骤s1中包括：
9、s11.向云超算所在平台发送针对每个高性能计算集群计算节点的cpu查询，获取cpu核数，并利用二元交换法产出p和q的所有组合(process grids)；
10、s12.向云超算所在平台发送针对每个高性能计算集群计算节点的缓存行查询，获取缓存行数，并根据nb算法获取nb的所有组合(nbs)；
11、s13.向云超算所在平台发送针对每个高性能计算集群计算节点的内存查询，获取集群计算节点的内存，并根据公式n*n*8＝总内存*80％产出n应该设置的数据(problemssizes)；
12、s14.根据上述参数的所有组合产出云超算平台上所有高性能计算集群的所有hpl.dat的算力文件群。
13、上述方法，可以使用云厂商提供的open api文件调用接口，性能测试在不依赖云集群后台管理权限的情况下，在任意厂商、架构、规格的云平台原生虚拟机上自动搭建。
14、进一步地，本专利技术基于云平台的高性能计算集群性能的hpl自动化测试方法步骤s12中所述的nb算法遵循缓存行的倍数小于384的原则。
15、进一步地，本专利技术基于云平台的高性能计算集群性能的hpl自动化测试方法步骤s2中包括：
16、s21.向云超算所在平台发送针对每个高性能计算集群的调度工具的查询；
17、s22.获取调度工具后，抓取对应集群中相应的hpl算力文件群(不同参数组合产出的算力文件群)；
18、s23.自动创建并执行集群性能测试作业。
19、进一步地，本专利技术基于云平台的高性能计算集群性能的hpl自动化测试方法步骤s3中包括：
20、s31.逐一获取每个高性能计算集群的测试结果，以及每次测试所使用的集群的参数；
21、s32.自动化生成测试报告，测试报告中包含云超算平台上每个高性能计算集群的测试参数和测试结果；
22、s33.自动对比测试结果产出每个集群测试的最佳结果以及该最佳结果对应的测试参数。
23、进一步地，本专利技术基于云平台的高性能计算集群性能的hpl自动化测试方法步骤s3中包括：通过allure获取每个高性能计算集群的hpl作业测试结果，并对比云平台现存的集群的结果，按照gflops数值从大到小的顺序来获取性能从高到底的hpl排序结果，最终获得整个云平台现有集群的性能测试结果。
24、通过上述方法，可以使云超算平台中的超算集群，快速全自动化地进行集群性能测试，且集群中的资源如果进行了弹性伸缩也能快速进行超算性能测试，可以为用户选择平台上的集群以及判断现有集群的资源是否需要弹性伸缩提供实时的数据分析服务。
25、另外，本专利技术还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现上述的基于云平台的高性能计算集群性能的hpl自动化测试方法的步骤。
26、另一方面，本专利技术还提供了一种基于云平台的高性能计算集群性能的hpl自动化测试装置，本装置包括：
27、参数查询模块：自动化遍历云平台获取高性能计算集群的配置信息；
28、hpl算力文件生成模块：根据获取到的集群配置信息动态生成hpl.dat文件组和hpl算力文件；
29、应用安装模块：自动化为每个高性能计算集群安装hpl应用；
30、调度工具管理模块：获取集群的调度工具并创建作业文件，执行作业文件调用hpl算力文件；
31、性能测试模块：进行集群性能测试；
32、结果获取及输出模块：自动化获取测试的配置参数并自动产出测试结果，自动对比测试结果产出每个集群测试的最佳结果以及该最佳结果对应的测试参数。
33、以上各模块按照前述的基于云平台的高性能计算集群性能的hpl本文档来自技高网...
【技术保护点】
1.一种基于云平台的高性能计算集群性能的HPL自动化测试方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于云平台的高性能计算集群性能的HPL自动化测试方法，其特征在于，步骤S1中所述的高性能计算集群的规格参数包括：CPU核数、缓存行、内存。
3.根据权利要求2所述的基于云平台的高性能计算集群性能的HPL自动化测试方法，其特征在于，步骤S1中包括：
4.根据权利要求3所述的基于云平台的高性能计算集群性能的HPL自动化测试方法，其特征在于，步骤S12中所述的NB算法遵循缓存行的倍数小于384的原则。
5.根据权利要求3所述的基于云平台的高性能计算集群性能的HPL自动化测试方法，其特征在于，步骤S2中包括：
6.根据权利要求5所述的基于云平台的高性能计算集群性能的HPL自动化测试方法，其特征在于，步骤S3中包括：
7.根据权利要求6所述的基于云平台的高性能计算集群性能的HPL自动化测试方法，其特征在于，步骤S3中包括：通过allure获取每个高性能计算集群的HPL作业测试结果，并对比云平台现存的集群的结
8.一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1-7任一项所述的基于云平台的高性能计算集群性能的HPL自动化测试方法的步骤。
9.一种基于云平台的高性能计算集群性能的HPL自动化测试装置，其特征在于，所述装置包括：
...【技术特征摘要】
1.一种基于云平台的高性能计算集群性能的hpl自动化测试方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于云平台的高性能计算集群性能的hpl自动化测试方法，其特征在于，步骤s1中所述的高性能计算集群的规格参数包括：cpu核数、缓存行、内存。
3.根据权利要求2所述的基于云平台的高性能计算集群性能的hpl自动化测试方法，其特征在于，步骤s1中包括：
4.根据权利要求3所述的基于云平台的高性能计算集群性能的hpl自动化测试方法，其特征在于，步骤s12中所述的nb算法遵循缓存行的倍数小于384的原则。
5.根据权利要求3所述的基于云平台的高性能计算集群性能的hpl自动化测试方法，其特征在于，步骤s2中包括：
6.根据权利要求5...
【专利技术属性】
技术研发人员：王平平，齐明亮，刘夕蕊，张莉，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。