一种文件重删追加上传方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种文件重删追加上传方法、系统、设备及存储介质，所述方法包括：当服务器接收到已多次追加文件的上传请求时，获取已有追加文件的元数据，进行参数校验；根据上传请求读取数据，根据数据创建条带；所创建条带不与已有对象最后的条带补齐；计算创建条带的指纹信息，生成追加数据的文件组织记录文件；当追加失败时，根据追加数据的文件组织记录文件进行垃圾数据清理。所述系统包括请求接收单元、条带创建单元、指纹校验单元和垃圾清理单元。本发明专利技术在追加数据时，条带不合并对齐，新的追加数据不会对已有数据产生干扰，能够提高存储集群的处理性能。

【技术实现步骤摘要】
一种文件重删追加上传方法、系统、设备及存储介质
本专利技术涉及对象存储领域，具体涉及一种文件重删追加上传方法、系统、设备及存储介质。
技术介绍
随着信息化的发展，越来越多的个人用户选择将原来保存在自己的数码设备上的数据转移到云端存储上，实现家庭成员之间相互分享；而工业4.0、智能制造、企业上云、大数据、电子政务、NASA卫星中心、大型的射电望远镜等技术的发展，使越来越多的企业和政府单位选择将数据放在存储集群集中管理。分布式对象存储系统，指的是面向非结构化数据的分布式存储。现阶段，越来越多的业务场景需要使用分布式对象存储系统，例如，在视频监控、视频直播等领域，视频数据在实时地不断产生，大型系统日志不断地生成，存储集群中数据量规模越来越大，文件的读写请求等操作带来了大量的磁盘输入/输出(IO，Input/Output)的消耗，而集群的IO吞吐量是有限的，为此，现有技术使用数据重删方式提高集群空间的有效使用率，降低企业或者数据中心的运营成本。由于采用数据重删技术，使存储集群上条带化后的对象与不同文件产生了关联，当追加失败时，需要对产生本文档来自技高网...

【技术保护点】
1.一种文件重删追加上传方法，其特征在于，包括：/n当服务器接收到已多次追加文件的上传请求时，获取已有追加文件的元数据，进行参数校验；/n根据上传请求读取数据，根据数据创建条带；所创建条带不与已有对象最后的条带补齐；/n计算创建条带的指纹信息，生成追加数据的文件组织记录文件；/n当追加失败时，根据追加数据的文件组织记录文件进行垃圾数据清理。/n

【技术特征摘要】
1.一种文件重删追加上传方法，其特征在于，包括：
当服务器接收到已多次追加文件的上传请求时，获取已有追加文件的元数据，进行参数校验；
根据上传请求读取数据，根据数据创建条带；所创建条带不与已有对象最后的条带补齐；
计算创建条带的指纹信息，生成追加数据的文件组织记录文件；
当追加失败时，根据追加数据的文件组织记录文件进行垃圾数据清理。


2.根据权利要求1所述的文件重删追加上传方法，其特征在于，所述获取已有追加文件的元数据时，对已有追加文件进行加锁，使文件不能被多个上传请求同时追加。


3.根据权利要求1所述的文件重删追加上传方法，其特征在于，所述计算创建条带的指纹信息，生成追加数据的文件组织记录文件，包括：
根据所创建条带的内容计算指纹信息；
根据指纹信息查询对应条带的引用计数；
若引用计数存在，则引用计数累积加1；若引用计数不存在，则使用该指纹信息落盘，对应引用计数设置为1；
将指纹信息和对应条带大小添加到追加数据的文件组织记录文件中。


4.根据权利要求3所述的文件重删追加上传方法，其特征在于，所述当追加失败时，根据追加数据的文件组织记录文件进行垃圾数据清理，包括：
当追加失败时，根据追加数据的文件组织记录文件获取条带；
若条带引用计数大于1，则条带引用计数减1；若条带引用计数为1，则将条带加入垃圾回收队列，异步删除垃圾数据。


5.根据权利要求1所述的文件重删追加上传方法，其特征在于，还包括：
当数据上传完成时，根据已有文件的文件组织记录文件和追加数据的文件组织记录文件，生成新文件的文件组织记录文件；
根据已有文件的etag和追加数据条带的指纹信息，计算生成新文件的指纹...

【专利技术属性】
技术研发人员：李治鹏，陶桐桐，胡永刚，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32