分布式计算机系统中的电子数据文件访问管理技术方案

本申请涉及一种分布式计算机系统中的电子数据文件访问管理。电子数据文件管理系统可以包括存储节点，该存储节点包含通过网络耦接到计算节点的存储器设备，计算节点被配置为请求对存储节点上的文件的组访问，该请求由在计算节点上运行的至少两个进程发出。计算节点中的至少一个被配置为确定包括该文件的存储器设备的类型，使得多个计算节点以第一访问模式集体访问该文件，如果存储器设备是第一类型，则对计算节点中不同的每一个应用写入锁定机制并禁用集体缓冲机制，以及以第二访问模式访问该文件，如果存储器设备是第二类型，则对计算节点中不同的每一个应用写入锁定机制并启用集体缓冲机制。

【技术实现步骤摘要】

技术介绍

1、利用多节点并行处理的计算系统需要通信协议以便进行操作。例如，计算系统可以采用诸如消息传递接口(mpi)的协议以便管理在计算节点上执行的并行进程的操作以及在并行进程之间传输信息。这些计算系统中的许多计算系统还包括连接到被配置用于使用分布式文件存储系统进行存储的计算节点的存储节点。为了管理计算节点对存储节点上的文件的访问，计算节点需要额外的通信协议，这些协议增强了计算节点中使用的操作系统中的文件管理系统。例如，mpi已更新为包括输入/输出消息传递协议，并被称为消息传递接口-输入/输出(mpi-io)。mpi-io包括两个元素或函数，用于增强操作系统中的标准文件系统控制，以便更有效地执行读写访问。

2、大多数存储节点利用传统的大容量存储存储器设备，诸如磁盘硬盘驱动器和光盘驱动器。最近的技术进步提供了新的大容量存储存储器设备，诸如固态驱动器或持久性存储器，它们可以比传统的大容量存储存储器设备更快地访问存储器内的数据。此外，由于高速接口协议的开发，诸如非易失性快速存储器(nvme)，对这些新的大容量存储存储器设备上的存储器的外部访问更快。本文档来自技高网...

【技术保护点】

1.一种系统，包括：

2.根据权利要求1所述的系统，其中，确定存储器设备的所述类型还包括从存储器设备的类型的列表中选择存储器设备的所述类型。

3.根据权利要求1所述的系统，其中，确定存储器设备的所述类型还包括确定所述存储器设备的性能特性。

4.根据权利要求3所述的系统，其中，所述性能特性是访问速度。

5.根据权利要求1所述的系统，其中，存储器设备的所述类型包括固态存储器设备和硬盘驱动器中的至少一个。

6.根据权利要求1所述的系统，其中，启用所述集体缓冲机制还包括选择所述至少两个进程的子集，所述子集包括至少一个进程作为聚合器，所述...

【技术特征摘要】

1.一种系统，包括：

2.根据权利要求1所述的系统，其中，确定存储器设备的所述类型还包括从存储器设备的类型的列表中选择存储器设备的所述类型。

3.根据权利要求1所述的系统，其中，确定存储器设备的所述类型还包括确定所述存储器设备的性能特性。

4.根据权利要求3所述的系统，其中，所述性能特性是访问速度。

5.根据权利要求1所述的系统，其中，存储器设备的所述类型包括固态存储器设备和硬盘驱动器中的至少一个。

6.根据权利要求1所述的系统，其中，启用所述集体缓冲机制还包括选择所述至少两个进程的子集，所述子集包括至少一个进程作为聚合器，所述聚合器从至少两个进程中的至少一个其他进程收集数据，并将所述数据写入所述文件，并且其中，禁用所述集体缓冲机制还包括每个进程将其自己的数据写入所述文件。

7.根据权利要求1所述的系统，其中，禁用所述集体缓冲包括使得所述文件系统像查看聚合器一样查看每个进程，除了所述进程不从任何其他进程收集数据。

8.根据权利要求1所述的系统，其中，所述至少两个进程是在所述多个计算节点上运行以执行任务的软件应用的一部分。

9.根据权利要求1所述的系统，其中，所述第一访问模式和所述第二访问模式被包括在变色龙(mpich)软件上的消息传递接口中。

10.根据权利要求1所述的系统，其中，确定存储器设备的所述类型的所述至少一个计算节点包括所述多个计算节点中的、确定存储器设备的所述类型并基于所确定的存储器设备的类型指示所述多个计算结点中的所述其他计算节点使用所述第一访问模式和所述第二访问模式中的哪一个的一个计算结点。

11.根据权利要求1所述的系统，其中，确定存储器设备的所述类型的所述至少一个计算节点包括所述多个计算节...

【专利技术属性】
技术研发人员：M·T·摩尔，A·雷古南达南，P·麦卡锡，
申请(专利权)人：慧与发展有限责任合伙企业，
类型：发明
国别省市：