基于分布式系统的I/O栈构建方法、装置、设备及介质制造方法及图纸

技术编号：41192269 阅读：3 留言：0更新日期：2024-05-07 22:22

本公开实施例涉及一种基于分布式系统的I/O栈构建方法、装置、设备及介质，其中该方法包括：获取待运行作业的作业描述信息，根据所述作业描述信息，确定所述待运行作业的I/O类型数据；其中，所述作业描述信息包括：作业名称信息、作业路径信息、作业提交信息中的至少一个，所述作业名称信息包括：软件名称信息、软件版本信息、作业算例信息中的至少一个；根据所述I/O类型数据确定对所述待运行作业进行处理的目标I/O栈。本公开实施例，I/O栈与作业的适配性较高，并且实现了系统级自动化构建I/O栈，减少了人力资源的消耗，合理利用I/O资源，提升了作业的I/O性能。

全部详细技术资料下载

【技术实现步骤摘要】

本公开涉及数据存储，尤其涉及一种基于分布式系统的i/o栈构建方法、装置、设备及介质。

技术介绍

1、随着计算机技术的发展，超级计算机的算力快速提升，然而超级计算机的i/o（input/output，输入输出）能力的提升较为缓慢，较低的i/o能力难以匹配较高的算力。

2、相关技术中，用户可以根据超级计算机执行的作业设置相应的i/o栈，但是该i/o栈的设置受限于用户自身的知识水平，最终确定的i/o栈与当前执行的作业的适配性可能较低，并且需要人工依次确定每个作业的i/o栈，消耗了较多的人力资源，i/o资源利用不合理，作业的i/o性能较低。

技术实现思路

1、为了解决上述技术问题，本公开提供了一种基于分布式系统的i/o栈构建方法、装置、设备及介质。

2、本公开实施例提供了一种基于分布式系统的i/o栈构建方法，包括：

3、获取待运行作业的作业描述信息，根据所述作业描述信息，确定所述待运行作业的i/o类型数据；其中，所述作业描述信息包括：作业名称信息、作业路径信息、作业提交信息中的至少一个，所述作业名称信息包括：软件名称信息、软件版本信息、作业算例信息中的至少一个；

4、根据所述i/o类型数据确定对所述待运行作业进行处理的目标i/o栈。

5、本公开实施例还提供了一种基于分布式系统的i/o栈构建装置，包括：

6、预测模块，用于获取待运行作业的作业描述信息，根据所述作业描述信息，确定所述待运行作业的i/o类型数据；其中，所述作

7、确定模块，用于根据所述i/o类型数据确定对所述待运行作业进行处理的目标i/o栈。

8、本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的基于分布式系统的i/o栈构建方法。

9、本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的基于分布式系统的i/o栈构建方法。

10、本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的基于分布式系统的i/o栈构建方法，获取待运行作业的作业描述信息，根据作业描述信息，确定待运行作业的i/o类型数据；其中，作业描述信息包括：作业名称信息、作业路径信息、作业提交信息中的至少一个，作业名称信息包括：软件名称信息、软件版本信息、作业算例信息中的至少一个；根据i/o类型数据确定对待运行作业进行处理的目标i/o栈。采用上述技术方案，从用户的命名习惯、用户的存储路径习惯、作业的提交情况等一个或多个维度确定了作业的特征，提高了属性的全面性以及准确程度，并且根据作业描述信息确定了与该作业的特征对应的i/o类型，进而根据该i/o类型确定对作业运行过程进行处理的i/o栈，该i/o栈与作业的适配性较高，并且实现了系统级自动化的构建i/o栈，减少了人力资源的消耗，合理利用i/o资源，提升了作业的i/o性能。

本文档来自技高网...

【技术保护点】

1.一种基于分布式系统的I/O栈构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述作业描述信息，确定所述待运行作业的I/O类型数据，包括：

3.根据权利要求1所述的方法，其特征在于，若所述I/O类型数据包括读写类型数据和占用资源类型数据，所述根据所述I/O类型数据确定对所述待运行作业进行处理的目标I/O栈，包括：

4.根据权利要求1所述的方法，其特征在于，若所述I/O类型数据包括元数据类型数据，所述根据所述I/O类型数据确定对所述待运行作业进行处理的目标I/O栈，包括：

5.根据权利要求1所述的方法，其特征在于，所述I/O类型数据包括文件类型数据，所述根据所述I/O类型数据确定对所述待运行作业进行处理的目标I/O栈，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种基于分布式系统的I/O栈构建装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：</p>

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述方法的步骤。

...

【技术特征摘要】

1.一种基于分布式系统的i/o栈构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述作业描述信息，确定所述待运行作业的i/o类型数据，包括：

3.根据权利要求1所述的方法，其特征在于，若所述i/o类型数据包括读写类型数据和占用资源类型数据，所述根据所述i/o类型数据确定对所述待运行作业进行处理的目标i/o栈，包括：

4.根据权利要求1所述的方法，其特征在于，若所述i/o类型数据包括元数据类型数据，所述根据所述i/o类型数据确定对所述待运行作业进行处理的目标i/o栈，包括：

5.根据权利要求1...

【专利技术属性】
技术研发人员：李宇奇，张健，徐斌，贺成，冯景华，
申请(专利权)人：国家超级计算天津中心，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人