一种提高文件系统性能的聚合模式技术方案

本发明专利技术公开了一种提高文件系统性能的聚合模式，聚合模式不是通过生成一个临时的大文件，而且通过拼接文件头信息，依次读取各个小文件，当成一个大文件上传，从而避免一次的写文件到磁盘的操作和后续的一次读取文件的操作，聚合文件的头部保存该聚合文件中所有文件的数据库信息，当归档系统的元数据库损坏，根据聚合文件的文件头部信息来恢复数据库信息，需要把备份文件恢复的时候，不是读取整个聚合文件，恢复所有聚合文件，而是单独恢复聚合文件中的某一个小文件，避免系统资源浪费和需要长时间进行恢复，把所有文件对应的元数据库信息记录到文件的头部，避免在恢复数据库的时候，去读取整个聚合文件，只需要读取文件头部。

【技术实现步骤摘要】
一种提高文件系统性能的聚合模式
本专利技术涉及大数据存储领域，具体是一种提高文件系统性能的聚合模式。
技术介绍
蓝光设备通过把数据刻录到蓝光光盘上，从而实现保存数据10年以上，而不需要人工干涉。而且由于蓝光光盘的存储量大，可以实现数据的大量和长时间保存。云平台是通过对外提供对象存储的使用方式提供存储服务。数据文件是保存到磁盘上面。归档系统在后台自动运行，根据用户配置的规则，在符合条件的情况下，把文件自动备份到蓝光设备上面。归档系统就是运转在云平台后端的一个慢速备份软件。它实现了把磁盘上面的文件备份到蓝光设备，并且在需要该文件的时候可以进行恢复。用户上传的文件的大小范围基本没有限制，可能只有几个字节，也可能上百G，几十T的大小。蓝光设备有2个物理要求：蓝光设备要求上传的文件在256MB到5GB之间，蓝光设备刻录的次数物理特性要求7000次以内。而且数据文件在大约4GB的范围上传到蓝光设备的速率是最高的。基于以上这些蓝光设备的要求，归档系统必须使用聚合模式：把大量的小文件聚合成大约4G的大文件，然后再通过网络接口备份到蓝光设备上面。有益的地方有3个：1.提高文件在网络上面传输的速率；2.减少蓝光设备上面刻录的次数，延迟设备寿命；3.减少蓝光设备上面一个卷下面文件的数量，提高蓝光设备效率。
技术实现思路
本专利技术的目的在于提供一种提高文件系统性能的聚合模式，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种提高文件系统性能的聚合模式，其具体步骤如下：(1)聚合模式系统内依次设置有数据库、压缩单元、聚合存储单元、蓝光设备系统、读取单元和数据库更新单元，且读取单元内读取的系统数据反馈到聚合存储单元；(2)归档系统内设置有归档任务库和恢复任务库。作为本专利技术进一步的方案：所述步骤(1)中的数据库内存储有需要聚合的文件，通过扫描数据库，获得需要进行归档的文件集合。作为本专利技术进一步的方案：所述步骤(1)中的压缩单元对需要进行压缩的文件进行压缩操作。作为本专利技术进一步的方案：所述步骤(1)中的聚合存储单元内文件的聚合模式不是通过生成一个临时的大文件，而且通过拼接文件头信息，依次读取各个小文件，当成一个大文件上传，从而避免一次的写文件到磁盘的操作和后续的一次读取文件的操作，聚合文件的头部保存该聚合文件中所有文件的数据库信息。这个技术的实质相当于把所有的文件信息，所有的文件内容依次读取一个大块的内存中，然后把这块内存当成一个大的临时的聚合文件上传到蓝光设备。作为本专利技术进一步的方案：所述步骤(2)中的恢复任务库当文件需要恢复时，根据对象的信息查找归档任务库的元数据库，得到保存到蓝光设备系统上面文件的信息：蓝光设备系统的IP，卷，文件名称，在聚合文件中的偏移量，文件大小，以及该文件在聚合文件中是否压缩过，根据蓝光设备上面的信息，以及在聚合文件中的偏移，单独读取该段子文件，根据是否压缩过，进行解压操作，恢复成原来文件。作为本专利技术再进一步的方案：所述步骤(1)中的读取单元把文件的元数据库信息，各个文件依次读取出来，装入一个固定大小的缓存如512KB，然后当成单独一个文件，上传到蓝光设备系统。作为本专利技术再进一步的方案：所述步骤(1)中的数据库更新单元将数据库存储数据进行更新，进行下一轮聚合存储，归档任务完全。作为本专利技术再进一步的方案：所述归档任务库的元数据库损坏，能够根据聚合文件的文件头部信息来恢复数据库信息。把所有文件对应的元数据库信息记录到文件的头部，避免在恢复数据库的时候，去读取整个聚合文件，只需要读取文件头部，且把关键的元数据库信息放在一起，可以提高光盘的读取效率。在需要把备份文件恢复的时候，不是读取整个聚合文件，恢复所有聚合文件，而是单独恢复聚合文件中的某一个小文件，避免系统资源浪费和需要长时间进行恢复。与现有技术相比，本专利技术的有益效果是：聚合模式不是通过生成一个临时的大文件，而且通过拼接文件头信息，依次读取各个小文件，当成一个大文件上传，从而避免一次的写文件到磁盘的操作和后续的一次读取文件的操作。聚合文件的头部保存该聚合文件中所有文件的数据库信息，当归档系统的元数据库损坏，可以根据聚合文件的文件头部信息来恢复数据库信，把所有文件对应的元数据库信息记录到文件的头部，避免在恢复数据库的时候，去读取整个聚合文件，只需要读取文件头部，而且把关键的元数据库信息放在一起，可以提高光盘的读取效率。在需要把备份文件恢复的时候，不是读取整个聚合文件，恢复所有聚合文件，而是单独恢复聚合文件中的某一个小文件，避免系统资源浪费和需要长时间进行恢复。附图说明图1为一种提高文件系统性能的聚合模式中的流程图的结构示意图。图2为一种提高文件系统性能的聚合模式中的具体实施图的结构示意图。图3为一种提高文件系统性能的聚合模式中的聚合文件的结构示意图。具体实施方式下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例中，一种提高文件系统性能的聚合模式，其具体管理步骤如下：(1)聚合模式系统内依次设置有数据库、压缩单元、聚合存储单元、蓝光设备系统、读取单元和数据库更新单元，且读取单元内读取的系统数据反馈到聚合存储单元，数据库内存储有需要聚合的文件，通过扫描数据库，获得需要进行归档的文件集合，压缩单元对需要进行压缩的文件进行压缩操作，聚合存储单元内文件的聚合模式不是通过生成一个保存到磁盘的大文件，而且通过拼接文件头信息，依次读取各个小文件，当成一个大文件上传(相当于生成一个在内存中的聚合文件)，从而避免一次的写文件到磁盘的操作和后续的一次读取文件的操作，聚合文件的头部保存该聚合文件中所有文件的数据库信息，读取单元把文件的元数据库信息，各个文件依次读取出来，装入一个固定大小的缓存如512KB(网络传输时，使用固定大小的大块数据模式，上传速率最高)，然后当成单独一个文件，上传到蓝光设备系统，数据库更新单元将数据库存储数据进行更新，进行下一轮聚合存储，归档任务完全。(2)归档系统内设置有归档任务库和恢复任务库，恢复任务库当文件需要恢复时，根据对象的信息查找归档任务库的元数据库，得到保存到蓝光设备系统上面文件的信息：蓝光设备系统的IP，卷，文件名称，在聚合文件中的偏移量，文件大小，以及该文件在聚合文件中是否压缩过，根据蓝光设备上面的信息，以及在聚合文件中的偏移，单独读取该段子文件，根据是否压缩过，进行解压操作，恢复成原来文件，归档任务库的元数据库损坏，能够根据聚合文件的文件头部信息来恢复数据库信息。把所有文件对应的元数据库信息记录到文件的头部，避免在恢复数据库的时候，去读取整个聚合文件，只需要读取文件头部，且把关键的元数据库信息放在一起，可以提高光盘的读取效率。在需要把备份文件恢复的时候，不是读取整个聚合文件，恢复所有聚合文件，而是单独恢复聚合文件中的某一个小文件，避免系统资源浪费和需要长时间进行恢复。实施例：对于本领域技术人员而言，显然本专利技术不限于上述示范性实施例的细节，而且在不背离本专利技术的精神或基本特征的情况下，能够以其他的具体形式实本文档来自技高网...

【技术保护点】
1.一种提高文件系统性能的聚合模式，其特征在于，其具体管理步骤如下：(1)聚合模式系统内依次设置有数据库、压缩单元、聚合存储单元、蓝光设备系统、读取单元和数据库更新单元，且读取单元内读取的系统数据反馈到聚合存储单元；(2)归档系统内设置有归档任务库和恢复任务库。

【技术特征摘要】
1.一种提高文件系统性能的聚合模式，其特征在于，其具体管理步骤如下：(1)聚合模式系统内依次设置有数据库、压缩单元、聚合存储单元、蓝光设备系统、读取单元和数据库更新单元，且读取单元内读取的系统数据反馈到聚合存储单元；(2)归档系统内设置有归档任务库和恢复任务库。2.根据权利要求1所述的一种提高文件系统性能的聚合模式，其特征在于，所述步骤(1)中的数据库内存储有需要聚合的文件，通过扫描数据库，获得需要进行归档的文件集合。3.根据权利要求1所述的一种提高文件系统性能的聚合模式，其特征在于，所述步骤(1)中的压缩单元对需要进行压缩的文件进行压缩操作。对于不需要进行压缩的文件则忽略过去。4.根据权利要求1所述的一种提高文件系统性能的聚合模式，其特征在于，所述步骤(1)中的聚合存储单元内文件的聚合模式不是通过生成一个临时的大文件，而且通过拼接文件头信息，依次读取各个小文件，当成一个大文件上传，从而避免一次的写文件到磁盘的操作和后续的一次读取文件的操作，聚合文件的头部保存该聚合文件中所有文件的数据库信息。5.根据权利要求1所述的一种提高文件系统性能的聚合模式，其特征在于，所述步骤(2)中的恢复任务库当文件需要恢复时，根据对象的信息查找归档任务库的元数据库，得到保存到蓝光设备系统上面文件的信息：蓝光设备系统的IP地址，卷，文件名称，在聚合文件中的偏移量，文件大小，以及该文件在聚合文件中是否压...

【专利技术属性】
技术研发人员：吴火城，
申请(专利权)人：赛凡信息科技厦门有限公司，
类型：发明
国别省市：福建,35