【技术实现步骤摘要】
小文件处理方法与装置
本专利技术属于计算机领域，尤其涉及一种能够应用在云存储中的有效处理小文件索引缓存的方法与装置。
技术介绍
云存储是一种新兴网络存储技术，通过集群应用、网络技术以及分布式文件系统等功能，将互联网海量数据分布式存储并提供高可靠性、高可用性的服务。关于小文件的存储，在文件系统中针对每一个文件会建立相应的索引，如果小文件的数量过多，将导致文件系统性能变差，以及难以维护，小文件的查找与读取速度极度降低，因此，为了解决这类问题在云存储中引入了一种小文件合并的技术，及将数量庞大的小文件合并为一个大文件(文件大小通常在几十兆，甚至几个G不等)，通过应用层来控制小文件的快速查找、读取、整理，以提高小文件的处理速度、强化小文件的管理。
技术实现思路
本专利技术针对当前小文件存取效率低，占用空间大的问题，提出了通过改变小文件数据存储结构来实现的小文件写入和读取的方法。本专利技术的一方面提出了一种小文件的写入方法，其包括：基于小文件的内容来确定所述小文件的哈希信息；如果数据库中并未包括所述小文件的哈希信息，则将所述小文件存储到所述数据库中指定的文件组中，并确定所述小文件...
【技术保护点】
1.一种小文件的写入方法，其特征在于，所述方法包括：基于小文件的内容来确定所述小文件的哈希信息；如果数据库中并未包括所述小文件的哈希信息，则将所述小文件存储到所述数据库中指定的文件组中，并确定所述小文件与所述文件组之间的映射信息；以及将所述哈希信息和所述映射信息存储到所述数据库中。
【技术特征摘要】
1.一种小文件的写入方法，其特征在于，所述方法包括：基于小文件的内容来确定所述小文件的哈希信息；如果数据库中并未包括所述小文件的哈希信息，则将所述小文件存储到所述数据库中指定的文件组中，并确定所述小文件与所述文件组之间的映射信息；以及将所述哈希信息和所述映射信息存储到所述数据库中。2.如权利要求1所述的方法，其特征在于，所述小文件的哈希信息和所述映射信息以成对的形式被存储到所述数据库中。3.如权利要求4所述的方法，其特征在于，所述小文件的哈希信息在前缀树中对应于所述映射信息，其中，所述前缀树中的每一个节点所对应的哈希信息包括至少一个字符。4.如权利要求1所述的方法，其特征在于，所述文件组被配置为包括多个大小相同或不同的小文件。5.如权利要求1所述的方法，其特征在于，所述映射信息包括以下项中的至少一个：用来存储所述小文件的所述文件组的名称；所述小文件在所述文件组中的位置；以及所述小文件的大小。6.一种小文件的读取方法，其特征在于，包括：基于小文件的哈希信息，在缓存中确定是否已经存在所述小文件；如果所述小文件已经存在于所述缓存中，则根据所述哈希信息来确定所述小文件的映射信息，如果所述小文件并未存在于所述缓存中，则基于所述哈希信息在数据库中确定所述小文件的映射信息，基于所述映射信息来读取所述小文件。7.如权利要求...
【专利技术属性】
技术研发人员：范洪月，宋文鹏，
申请(专利权)人：众安信息技术服务有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。