一种基于聚类集成的高性能应用的I/O特征分析方法技术

本发明专利技术公开了一种基于聚类集成的高性能应用的I/O特征分析方法，包括：收集应用程序的I/O访问信息并提取I/O特征；对I/O特征数据进行清洗和标准化预处理；调用特征选择函数mutual_info_regression进行特征选择，得到最具有代表性的特征子集；采用K‑means++算法来进行单聚类，并采用投票机制来对多个聚类结果进行集成；将得到的聚类结果用Silhouette Coefficient和Calinski‑Harabasz作为评估聚类算法效果的指标，本发明专利技术通过特征选择提取出关键的性能特征，并采用多次单聚类算法K‑means++进行多次聚类，并执采用投票机制进行聚类集成，提高了聚类效果，在HPC I/O调优上缩短了搜索时间，提高了执行效率。

【技术实现步骤摘要】

本专利技术属于计算机，涉及高性能计算机存储系统性能评估方法，具体涉及一种基于聚类集成的高性能应用的i/o特征分析方法。

技术介绍

1、由于高性能计算(hpc)系统的规模和不断发展的复杂性，我们对hpc应用程序运行时行为(特别是计算、通信和存储行为)的理解仍存在严重差距(如对这些系统中i/o利用率的理解)。hpc并行i/o系统是复杂的：每个子系统都有多个配置参数，性能可能对其设置敏感，系统配置会影响应用程序的性能和资源利用率。配置这些参数以获得最佳的i/o性能取决于各种因素，如i/o应用程序、存储硬件、问题大小和处理器数量。通常使用默认的i/o参数设置，这可能会导致性能不佳和可用i/o带宽的使用效率低下。而使用构建i/o性能模型的方法可以减少良好i/o配置的搜索空间，从而提高性能。

2、基于不同参数设置的i/o性能预测可以产生显著的效益，如何从较多的参数中选出对i/o性能影响最大的参数是最为重要的，通过研究总结高性能应用程序的i/o行为，在i/o性能优化上的经验，将具有相似特征的hpc应用聚集在一起，提供用于i/o参数优化的方法和工具，不仅有利于本文档来自技高网...

【技术保护点】

1.一种基于聚类集成的高性能应用的I/O特征分析方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于聚类集成的高性能应用的I/O特征分析方法，其特征在于，所述的I/O特征包括I/O行为模式特征和I/O堆栈参数特征值。

3.如权利要求2所述的基于聚类集成的高性能应用的I/O特征分析方法，其特征在于，所述的I/O行为模式特征包括访问操作数、访问的字节数、访问的数据量范围和访问总字节数。

4.如权利要求2所述的基于聚类集成的高性能应用的I/O特征分析方法，其特征在于，所述的I/O堆栈参数特征值包括MPI节点数量、每个MPI节点上进程数量、条带大小、条...

【技术特征摘要】

1.一种基于聚类集成的高性能应用的i/o特征分析方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于聚类集成的高性能应用的i/o特征分析方法，其特征在于，所述的i/o特征包括i/o行为模式特征和i/o堆栈参数特征值。

3.如权利要求2所述的基于聚类集成的高性能应用的i/o特征分析方法，其特征在于，所述的i/o行为模式特征包括访问操作数、访问的字节数、访问的数据量范围和访问总字节数。

4.如权利要求2所述的基于聚类集成的高性能应用的i/o特征分析方法，其特征在于，所述的i/o堆栈参数特征值包括mpi节点数量、每个mpi节点上进程数量、条带大小、条带计数、单个进程的数据块大小和i/o操作。

5.如权利要求1所述的基于聚类集成的高性能应用的i/o特征分...

【专利技术属性】
技术研发人员：汤战勇，路亚梦，高杰，任佳伟，
申请(专利权)人：西北大学，
类型：发明
国别省市：