一种聚合文件对象头管理方法、系统、终端及存储介质技术方案

本发明专利技术提供一种聚合文件对象头管理方法、系统、终端及存储介质，包括：根据小文件在聚合文件的聚合顺序生成文件序号；根据所述文件序号生成所述小文件的索引号序号；获取删除的目标小文件的索引号序号，并根据获取的索引号序号获取所述目标小文件的索引号在聚合文件对象头的位置；根据所述位置删除所述目标小文件的索引号，并更新所述聚合文件的小文件的文件序号。本发明专利技术在删除对象头ino的时候不需要每次遍历，降低CPU运算耗时；改写时对象头的ino采用异步模式下刷，不需要同步下刷，提高工作效率；聚合文件创建与聚合文件碎片整理时支持ino的修改，并同步到序号记录文件中，保证多客户端业务时数据的一致性与安全性，提高文件系统的稳定性。

【技术实现步骤摘要】
一种聚合文件对象头管理方法、系统、终端及存储介质
本专利技术涉及分布式文件系统
，具体涉及一种聚合文件对象头管理方法、系统、终端及存储介质。
技术介绍
文件系统中，对象的尺寸大小一般为4M，尺寸小于4M的文件也占据4M对象，浪费了对象空间，后续出现聚合文件的方法，将小文件聚合到一个对象中，减少对象数的消耗，提高的系统的存储性能。聚合文件会将聚合的小文件的inode号存到聚合文件的对象头中，每个小文件的inode号占据8B，对象头总计8KB。当小文件从聚合文件中删除时，需要将对象头中的对应的inode号删除，删除的方式是获取对象头偏移量，之后遍历读取ino，找到对应的ino之后将其删除。每次删除聚合文件中的小文件，都要进行遍历读取删除，而且删除过程属于同步删除，此过程浪费cpu计算资源，增加系统程序运算耗时，同时同步模式删除会出现CPU资源等待等现象，降低CPU运行效率。
技术实现思路
针对现有技术的上述不足，本专利技术提供一种聚合文件对象头管理方法、系统、终端及存储介质，以解决上述技术问题。第一方面，本专利技术提供一种聚合文件对象头管理方法，包括：根据小文件在聚合文件的聚合顺序生成文件序号；根据所述文件序号生成所述小文件的索引号序号；获取删除的目标小文件的索引号序号，并根据获取的索引号序号获取所述目标小文件的索引号在聚合文件对象头的位置；根据所述位置删除所述目标小文件的索引号，并更新所述聚合文件的小文件的文件序号。进一步的，所述根据小文件在聚合文件的聚合顺序生成文件序号，包括：对聚合文件中的小文件按聚合的先后顺序从1开始依次分配文件序号；将所述聚合文件的所有小文件的文件序号保存至文件序号列表。进一步的，所述根据获取的索引号序号获取所述目标小文件的索引号在聚合文件对象头的位置，包括：预先存储单位索引号的偏移量；根据获取的索引号序号和所述单位索引号的偏移量计算所述目标小文件的对象偏移量。进一步的，所述更新聚合文件的小文件的文件序号，包括：将所述目标小文件的文件序号更新为0；跳过文件序号为0的小文件，重新生成所述文件序号列表中的各小文件的文件序号。第二方面，本专利技术提供一种聚合文件对象头管理系统，包括：文件排序单元，配置用于根据小文件在聚合文件的聚合顺序生成文件序号；索引排序单元，配置用于根据所述文件序号生成所述小文件的索引号序号；索引定位单元，配置用于获取删除的目标小文件的索引号序号，并根据获取的索引号序号获取所述目标小文件的索引号在聚合文件对象头的位置；序号更新单元，配置用于根据所述位置删除所述目标小文件的索引号，并更新所述聚合文件的小文件的文件序号。进一步的，所述文件排序单元包括：文件排序模块，配置用于对聚合文件中的小文件按聚合的先后顺序从1开始依次分配文件序号；排序存储模块，配置用于将所述聚合文件的所有小文件的文件序号保存至文件序号列表。进一步的，所述索引定位单元包括：单位存储模块，配置用于预先存储单位索引号的偏移量；偏移计算模块，配置用于根据获取的索引号序号和所述单位索引号的偏移量计算所述目标小文件的对象偏移量。进一步的，所述序号更新单元包括：序号归零模块，配置用于将所述目标小文件的文件序号更新为0；重新排序模块，配置用于跳过文件序号为0的小文件，重新生成所述文件序号列表中的各小文件的文件序号。第三方面，提供一种终端，包括：处理器、存储器，其中，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。本专利技术的有益效果在于，本专利技术提供的聚合文件对象头管理方法、系统、终端及存储介质，通过设置对象头ino的序号，并根据设置的ino序号无需每次遍历就可以直接定位到ino所在的偏移量，直接对偏移量进行删除置零，同时支持异步删除ino，提高CPU工作效率，较少CPU遍历耗时，降低计算资源。本专利技术在删除对象头ino的时候不需要每次遍历，降低CPU运算耗时；支持小文件删除、小文件修改写时对象头的ino异步模式下刷，不需要同步下刷，提高工作效率；聚合文件创建与聚合文件碎片整理时支持ino的修改，并同步到序号记录文件中，保证多客户端业务时数据的一致性与安全性，提高文件系统的稳定性。此外，本专利技术设计原理可靠，结构简单，具有非常广泛的应用前景。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例的方法的示意性流程图。图2是本专利技术一个实施例的方法的另一示意性流程图。图3是本专利技术一个实施例的系统的示意性框图。图4为本专利技术实施例提供的一种终端的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。下面对本专利技术中出现的关键术语进行解释。分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为一台计算机)相连。聚合文件多个小文件聚合到一个对象中，多个对象组成一个大聚合文件。图1是本专利技术一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种聚合文件对象头管理系统。如图1所示，该方法包括：步骤110，根据小文件在聚合文件的聚合顺序生成文件序号；步骤120，根据所述文件序号生成所述小文件的索引号序号；步骤130，获取删除的目标小文件的索引号序号，并根据获取的索引号序号获取所述目标小文件的索引号在聚合文件对象头的位置；步骤140，根据所述位置删除所述目标小文件的索引号，并更新所述聚合文件的小文件的文件序号。为了便于对本专利技术的理解，下面以本专利技术聚合文件对象头管理方法的原理，结合实施例中对聚合文件对象头进行管理的过程，对本专利技术提供的聚合文件对象头管理方法做进一步的描述。具体的，请参考图2，所述聚合文件对象头管理方法包括：步骤110、根据小文件在聚合文件的聚合顺序生成文件序号。小文件聚合成大文件时根据小文件的聚合顺序记录小文件inode号的排序序号，序号从1开始计数累加。将小文件的文件序号保存至序号列表中本文档来自技高网...

【技术保护点】
1.一种聚合文件对象头管理方法，其特征在于，包括：/n根据小文件在聚合文件的聚合顺序生成文件序号；/n根据所述文件序号生成所述小文件的索引号序号；/n获取删除的目标小文件的索引号序号，并根据获取的索引号序号获取所述目标小文件的索引号在聚合文件对象头的位置；/n根据所述位置删除所述目标小文件的索引号，并更新所述聚合文件的小文件的文件序号。/n

【技术特征摘要】
1.一种聚合文件对象头管理方法，其特征在于，包括：
根据小文件在聚合文件的聚合顺序生成文件序号；
根据所述文件序号生成所述小文件的索引号序号；
获取删除的目标小文件的索引号序号，并根据获取的索引号序号获取所述目标小文件的索引号在聚合文件对象头的位置；
根据所述位置删除所述目标小文件的索引号，并更新所述聚合文件的小文件的文件序号。


2.根据权利要求1所述的方法，其特征在于，所述根据小文件在聚合文件的聚合顺序生成文件序号，包括：
对聚合文件中的小文件按聚合的先后顺序从1开始依次分配文件序号；
将所述聚合文件的所有小文件的文件序号保存至文件序号列表。


3.根据权利要求1所述的方法，其特征在于，所述根据获取的索引号序号获取所述目标小文件的索引号在聚合文件对象头的位置，包括：
预先存储单位索引号的偏移量；
根据获取的索引号序号和所述单位索引号的偏移量计算所述目标小文件的对象偏移量。


4.根据权利要求2所述的方法，其特征在于，所述更新聚合文件的小文件的文件序号，包括：
将所述目标小文件的文件序号更新为0；
跳过文件序号为0的小文件，重新生成所述文件序号列表中的各小文件的文件序号。


5.一种聚合文件对象头管理系统，其特征在于，包括：
文件排序单元，配置用于根据小文件在聚合文件的聚合顺序生成文件序号；
索引排序单元，配置用于根据所述文件序号生成所述小文件的索引号序号；
...

【专利技术属性】
技术研发人员：张亚东，王帅阳，张端，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32