一种小文件的存储、查询及删除方法和系统技术方案

本发明专利技术公开了一种小文件的存储、查询及删除方法和系统，首先创建一个大文件，然后将小文件合并入大文件的小文件存储区域。在进行小文件的查询时，首先根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；之后再根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。通过本发明专利技术所述的方法和系统，可以根据小文件的元数据信息快速定位小文件，有效提高了大文件中小文件的检索和处理效率。

【技术实现步骤摘要】

本专利技术涉及文件处理领域，具体涉及一种小文件的存储、查询及删除方法和系统。
技术介绍
随着信息化的发展，文件越来越多，尤其是对于金融等行业，小文件（小文件一般指文件大小较小的文件，如几百KB，几十KB）数量增长很快，由于金融需要这些小文件不能删除，但小文件管理和备份的难度越来越大。目前对于小文件管理与备份一般的解决方案是合并为一个大文件（大文件一般指文件大小较大的文件，如几GB，几十GB），将多个小文件合并为一个大文件存放，可以有效缓解这个压力，但这种简单的合并对于文件的查询检索很不方便。在将多个小文件合并为一个大文件时，建立一个文件索引表，在这个表中包含对于每个小文件多个维度的描述信息，在查找小文件时，先查询文件索引表再定位文件，这样既可以解决小文件的管理和备份问题，也可以解决合并为一个大文件之后的检索问题。但是在将多个小文件合并为一个大文件之后，对于小文件的检索效率很低，如果想查看小文件的一些属性和内容需要将小文件从大文件中取出来，甚至有的方式会将大文件再分离为多个小文件。
技术实现思路
针对现有技术中存在的缺陷，本专利技术的目的在于提供一种小文件的存储、查询及删除方法和系统，提高小文件的检索效率。为实现上述目的，本专利技术采用的技术方案如下：一种小文件的存储方法，包括以下步骤：（1）创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息存储区域的起始位置在整个大文件中的相对偏移量；（2）将小文件合并入大文件的小文件存储区域。进一步，如上所述的一种小文件的存储方法，步骤（1）中，小文件索引信息包括小文件的文件名称、文件大小、文件元数据信息和小文件在整个大文件中的相对偏移量。进一步，如上所述的一种小文件的存储方法，所述的文件元数据信息是指小文件中所存储的业务类型的信息。进一步，如上所述的一种小文件的存储方法，步骤（2）中，将小文件合并入大文件的小文件存储区域的具体方式包括：a.获取小文件的大小；b.将小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；c.将小文件存储在小文件存储区域；d.在小文件索引信息存储区域中添加小文件的索引信息。一种小文件的查询方法，包括以下步骤：（1）根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；（2）根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。进一步，如上所述的一种小文件的查询方法，步骤（1）中，通过正则表达式的方式查询小文件的索引信息。一种小文件的删除方法，包括以下步骤：（1）根据小文件的文件元数据信息查询小文件的索引信息；（2）根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小查询存储在大文件中的小文件；（3）删除小文件和小文件的索引信息。一种小文件的存储系统，包括：大文件创建模块，用于创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息的起始位置在整个大文件中的相对偏移量；小文件存储模块，用于将小文件合并入大文件的小文件存储区域。进一步，如上所述的一种小文件存储系统，所述的小文件存储模块包括：文件大小获取单元，用于获取小文件的大小；索引区域移动单元，用于小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；小文件存储单元，用于将小文件存储在小文件存储区域；索引信息添加单元，用于在小文件索引信息存储区域中添加小文件的索引信息。一种小文件的查询系统，包括：索引信息获取模块，用于根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；小文件获取模块，用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。一种小文件的删除系统，包括：索引信息获取模块，用于根据小文件的文件元数据信息查询小文件的索引信息；小文件获取模块，用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件；小文件删除模块，用于删除小文件和小文件的索引信息。本专利技术的有益效果在于：本专利技术所述的方法及系统，可以依据元数据信息快速定位大文件中的小文件，有效提高了小文件的检索效率。附图说明图1为具体实施方式中一种小文件的存储系统的结构框图；图2为具体实施方式中一种小文件的查询系统的结构框图；图3为具体实施方式中一种小文件的存储方法的流程图；图4为具体实施方式中一种小文件的查询方法的流程图；图5为具体实施方式中的大文件的文件格式示意图；图6为在图3中所示大文件中添加小文件后的示意图。具体实施方式下面结合说明书附图与具体实施方式对本专利技术做进一步的详细说明。图1示出了本专利技术具体实施方式中一种小文件的存储系统的结构框图，该存储系统主要包括大文件创建模块11和小文件存储模块12，其中：大文件创建模块11用于创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息的起始位置在整个大文件中的相对偏移量；小文件索引信息包括小文件的文件名称、文件大小、文件元数据信息和小文件在大文件中的相对偏移量等信息。小文件存储模块12用于将小文件合并入大文件的小文件存储区域；该模块包括以下单元：文件大小获取单元，用于获取小文件的大小；索引区域移动单元，用于小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；小文件存储单元，用于将小文件存储在小文件存储区域；索引信息添加单元，用于在小文件索引信息存储区域中添加小文件的索引信息。本具体实施方式中所述的大文件指的是文件大小较大的文件，如几GB或者几十GB，具体的大文件的大小可以根据需要进行自行设定。小文件指的是文件大小较小的文件，小文件大小的具体设置范围也可以由用户自行设定。通过上述小文件存储系统完成多个大文件向小文件存储时，当大文件存储了合适数量的小文件后，如存储的小文件的大小大于大文件的存储阈值，可再建立新的大文件存储其它的小文件。图2示出了本专利技术具体实施方式中基于图1中小文件的存储系统的一种小文件的查询系统的结构框图，该系统出来应当包括图1中的大文件创建模块11和小文件存本文档来自技高网...

【技术保护点】
一种小文件的存储方法，包括以下步骤：（1）创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息存储区域的起始位置在整个大文件中的相对偏移量；（2）将小文件合并入大文件的小文件存储区域。

【技术特征摘要】
1.一种小文件的存储方法，包括以下步骤：
（1）创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文
件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息
存储区域的起始位置在整个大文件中的相对偏移量；
（2）将小文件合并入大文件的小文件存储区域。
2.如权利要求1所述的一种小文件的存储方法，其特征在于，步骤（1）
中，小文件索引信息包括小文件的文件名称、文件大小、文件元数据信息和
小文件在整个大文件中的相对偏移量。
3.如权利要求2所述的一种小文件的存储方法，其特征在于，所述的文
件元数据信息是指小文件中所存储的业务类型的信息。
4.如权利要求1至3之一所述的一种小文件的存储方法，其特征在于，
步骤（2）中，将小文件合并入大文件的小文件存储区域的具体方式包括：
a.获取小文件的大小；
b.将小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移
量；
c.将小文件存储在小文件存储区域；
d.在小文件索引信息存储区域中添加小文件的索引信息。
5.基于权利要求3中所述小文件的存储方法的一种小文件的查询方法，
包括以下步骤：
（1）根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信
息；
（2）根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大
小获取存储在大文件中的小文件。
6.如权利要求5所述的一种小文件的查询方法，其特征在于，步骤（1）
中，通过正则表达式的方式查询小文件的索引信息。
7.基于权利要求3中所述小文件的存储方法的一种小文件的删除方法，

\t包括以下步骤：
（1）根据小文件的文件元数据信息查询小文件的索引信息；
...

【专利技术属性】
技术研发人员：白冰，
申请(专利权)人：方正国际软件北京有限公司，方正国际软件有限公司，
类型：发明
国别省市：北京;11