一种串接流式计算节点的文件处理方法及装置制造方法及图纸

本发明专利技术涉及计算机操作系统领域，尤其涉及一种串接流式计算节点的文件处理方法及装置。该方法包括：当获取到数据写入请求时，将待写入数据写入空闲内存池中；如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾；当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据；将所述队首存储地址从所述预取池中删除，且将读取的数据删除。该方法能够有效兼顾数据的完整性和数据读写操作速度。

【技术实现步骤摘要】
一种串接流式计算节点的文件处理方法及装置
本专利技术涉及计算机操作系统领域，尤其涉及一种串接流式计算节点的文件处理方法及装置。
技术介绍
随着大规模并行计算领域的快速发展，在并行计算过程中由于前后串接的服务器的计算能力不完全匹配以及局部系统条件变动而引起的抖动现象受到广泛关注。常见的局部存储方案多基于以硬盘作为存储介质的文件系统，即前级节点的数据并不直接传给后级节点，而是先写入后级节点的文件系统中，后级节点从文件系统中取出数据处理，再继续传输到其后节点的局部存储中。这种局部存储方法，数据完整性有保障，然而，由于网络传输的瓶颈和硬盘的读写速度限制，文件系统和硬盘的整体吞吐率往往低于流式计算数据平面的处理路径的平均速度，从而成为路径中的阻塞点。为解决速度问题，提出了基于内存的局部存储文件系统。这种方案以内存为存储介质，也以文件系统的形式提供。其特点和基于硬盘的文件系统相反，数据完整性没有保证，掉电后数据会丢失；但由于没有对相对慢速硬盘的操作，速度很快。上述两种方案的优缺点都很明显，并不能满足流式处理系统所需要的局部存储需要。
技术实现思路
本专利技术实施例提供一种串接流式计算节点的文件处理方法及装置，以兼顾数据的完整性和数据读写操作速度。本专利技术实施例提供了一种串接流式计算节点的文件处理方法，所述方法包括：当获取到数据写入请求时，将待写入数据写入空闲内存池中；如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾；当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据；将所述队首存储地址从所述预取池中删除，且将读取的数据删除。对应地，本专利技术实施例还提供了一种串接流式计算节点的文件处理装置，所述装置包括：写入数据单元，用于当获取到数据写入请求时，将待写入数据写入空闲内存池中；写入存储地址单元，用于如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾；读取单元，用于当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据；删除单元，用于将所述队首存储地址从所述预取池中删除，且将读取的数据删除。本专利技术提出了一种串接流式计算节点的文件处理方法和装置，在数据写入时，根据预取池中的空间情况将数据写入空闲内存池或硬盘，进而在数据读取或删除过程中，通过预取池中存储地址以高效率处理数据，从而保证了数据的完整性和数据读写操作的速度。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，并不构成对本专利技术的限定。在附图中：图1是本专利技术第一实施例中提供的一种串接流式计算节点的文件处理方法的实现流程图。图2是本专利技术第二实施例中提供的一种串接流式计算节点的文件处理方法的实现流程图。图3是本专利技术第三实施例中提供的一种串接流式计算节点的文件处理装置的结构示意图。具体实施方式下面结合附图及具体实施例对本专利技术进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。图1是本专利技术第一实施例中提供的一种串接流式计算节点的文件处理方法的实现流程图。本专利技术实施例提供的方法可以由本专利技术实施例提供的文件处理装置来执行，该装置可以由软件和/或硬件来实现。如图1所示，本专利技术实施例提供的方法包括：步骤101、当获取到数据写入请求时，将待写入数据写入空闲内存池中。在获取数据写入请求之前，还包括预置的分配一定数量的内存空间存放到空闲内存池中。例如，从100G的内存空间中分配10G空间以创建空闲内存池。服务器接收到数据写入请求时，在空闲内存池中的空闲空间存储待写入数据。在获取数据写入请求之前，还包括：创建预取池，按照数据在硬盘中的存储顺序，从所述硬盘中获取先存储的数据的存储地址，顺序写入所述预取池中。在内存空间中创建预取池时，首先根据数据在硬盘中存储的时间顺序，采用基于时间的先用先出算法，将硬盘中数据的存储地址，依据写入的时间顺序依次写入到预取池中。同时将预取池中的存储地址对应的数据存储于空闲内存池中。初始化阶段，硬盘中的数据是由于断电或其它异常情况，为了保证数据的完整性而存储于硬盘中的。在内存空间中创建用于存储数据的存储地址的预取池，从而能够有效的通过预取池快速的管理空闲内存池和硬盘中的数据，从而保证数据的完整性和提高数据的处理效率。步骤102、如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾。当预取池中有空闲空间时，待写入数据保持在空闲内存池中。获取待写入数据在空闲内存池中的存储地址，从而将待写入数据在空闲内存池中的存储地址插入到预取池的队尾。存储地址在预取池中遵循基于时间的先入先出原则。步骤103、当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据。当服务器接收到数据读取请求时，首先，遵旨基于时间的先入写出原则，在预取池的队首获取待读取数据的存储地址；进而根据待读取数据的存储地址在空闲内存池或硬盘中读取对应的数据。根据队首的存储地址读取对应的数据包括：判断所述队首的存储地址是否为空闲内存池的地址，若是，则从所述空闲内存池中读取数据，若否，则根据所述队首的存储地址从硬盘中将数据读出至空闲内存池，再输出。从预取池中获取待读取数据的存储地址后，还需要判断所述待读取数据的存储地址是空闲内存池中的地址还是硬盘中的地址，如果是空闲内存池中的地址，则在空闲内存池中读取数据；如果是硬盘中的地址，则根据待读取数据的存储地址，将硬盘中的待读取数据读出并且存储于空闲内存池中，随后输出数据。由于预取池中存储有待读取数据在空闲内存池或在硬盘中的存储地址，因此，不论数据存储于空闲内存池还是存储于硬盘均能够通过预取池读出数据。步骤104、将所述队首存储地址从所述预取池中删除，且将读取的数据删除。完成读取请求之后，将数据的存储地址从预取池中删除，并且将空闲内存池中存储的数据删除。若硬盘中存储有数据时，在硬盘中将数据删除。本实施例提供的串接流式计算节点的文件处理方法，通过位于内存池中的预取池中空闲空间状态选择数据存储于空闲内存池还是存储于硬盘，从而在读取或删除数据时，能够通过预取池高效率的处理数据。图2是本专利技术第二实施例中提供的一种串接流式计算节点的文件处理方法的实现流程图。本专利技术实施例和本专利技术第一实施例处于统一构思，在本专利技术实施例中未详述的内容，请参考本专利技术第一实施例。如图2所示，本专利技术实施例提供的方法包括：步骤201、创建预取池，按照数据在硬盘中的存储顺序，从所述硬盘中获取先存储的数据的存储地址，顺序写入所述预取池中。服务器在内存空间中创建预取池，采用基于时间的先入先出算法，将硬盘中数据的存储地址，顺序写入预取池中。步骤202、当获取到数据写入请求时，将待写入数据写入空闲内存池中。当需要写入数据时，将待写入数据写入到空闲内存池中的空闲空间里。步骤203、如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾。如果预取池中有空闲空间，将待写入数据在空闲内存池中的存储地址写入到预取池的队尾。步骤204、本文档来自技高网...

【技术保护点】
一种串接流式计算节点的文件处理方法，其特征在于，包括：当获取到数据写入请求时，将待写入数据写入空闲内存池中；如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾；当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据；将所述队首存储地址从所述预取池中删除，且将读取的数据删除。

【技术特征摘要】
1.一种串接流式计算节点的文件处理方法，其特征在于，包括：创建预取池，按照数据在硬盘中的存储顺序，从所述硬盘中获取先存储的数据的存储地址，顺序写入所述预取池中；当获取到数据写入请求时，将待写入数据写入空闲内存池中；如果内存中设置的预取池中有空闲空间，则将待写入数据在空闲内存池中的存储地址插入预取池的队尾；当获取到数据读取请求时，从所述预取池的队首获取存储地址，根据队首的存储地址读取对应的数据；将所述队首存储地址从所述预取池中删除，且将读取的数据删除；其中，所述根据队首的存储地址读取对应的数据包括：判断所述队首的存储地址是否为空闲内存池的地址，若是，则从所述空闲内存池中读取数据，若否，则根据所述队首的存储地址从硬盘中将数据读出至空闲内存池，再输出。2.根据权利要求1所述的方法，其特征在于，还包括：如果内存中设置的预取池中没有空闲空间，则将待写入数据从空闲内存池中删除，且将待写入数据写入硬盘中。3.根据权利要求2所述的方法，其特征在于，还包括：监测所述预取池的空闲空间是否达到预设水位限值，若是，则按照数据在硬盘中的存储顺序，从所述硬盘中获取未插入所述预取池的数据的存储地址，插入所述预取池的队尾。4.根据权利要求2所述的方法，其特征在于，还包括：当获取到数据删除请求时，判断数据删除地址是否与预取池中的存储地址匹配；若是，则从所述预取池中删除匹配的存储地址，且删除对应存储的数据；若否，则从硬盘中查找所述数据删除地址，且删除对应存储的数据。5.根据权利要求2所述的方法，其特征在于，还包括：监测所述预取...

【专利技术属性】
技术研发人员：任军，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：