【技术实现步骤摘要】
一种文件重删处理方法、系统、终端及存储介质
本专利技术涉及分布式对象存储系统
，具体涉及一种文件重删处理方法、系统、终端及存储介质。
技术介绍
分布式对象存储系统，指的是面向非结构化数据的分布式存储。现阶段，越来越多的业务场景需要使用分布式对象存储系统；随着信息化的发展，越来愈多的用户，选择将原来保存到自己的数码设备上转移到云端存储上，家庭成员之间相互分享等；科技以人为本信息化的发展，工业4.0、智能制造、企业上云、大数据、电子政务、NASA卫星中心，大型的射电望远镜等，越来越多企业和政府单位将数据放在存储集群集中管理。伴随着存储集群中数据量规模愈来愈大，文件的读写请求等操作带来了大量的磁盘IO的消耗，集群的IO吞吐量是有限的，如何提高集群的空间有效的使用，降低企业或者数据中心运营成本，数据重删成为一种有效的方式。随着数据的集中，不同的信息，机密程度不同，为了保护用户的敏感数据信息，不同用户选择的不同的加密算法与等级。由于不同用户针对相同数据采用了不同加密算法，在开启重删的情况下，由于原始的文件指纹信息相同，但...
【技术保护点】
1.一种文件重删处理方法，其特征在于，所述方法包括：/n获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象；/n判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密；/n获取加密文件条带的加密前指纹信息和加密后指纹信息；/n根据所述加密后指纹信息，从文件存储系统的所有文件对象的下级清单列表中查找标记有所述加密后指纹信息的匹配数据块；/n若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。/n
【技术特征摘要】
1.一种文件重删处理方法，其特征在于，所述方法包括：
获取上传文件的原始指纹信息和加密类型，并从文件存储系统查找与标记有所述原始指纹信息和加密类型的匹配对象；
判断是否查找到所述匹配对象：若否，则按条带划分方式读取上传文件，并将读取的文件条带按所述加密类型加密；
获取加密文件条带的加密前指纹信息和加密后指纹信息；
根据所述加密后指纹信息，从文件存储系统的所有文件对象的下级清单列表中查找标记有所述加密后指纹信息的匹配数据块；
若未查找到所述匹配数据块，则利用所述加密前指纹信息和加密后指纹信息标记所述加密文件条带，将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若查找到所述匹配对象，则采集所述匹配对象的清单列表，并从所述清单列表中查找所述匹配对象的所有数据块；
将所述匹配对象的所有数据块的引用计数均累加1次；
采集所述匹配对象的标记信息，所述标记信息包括所述匹配对象的加密类型、加密前指纹信息和加密后指纹信息；
将所述匹配对象的标记信息作为所述匹配对象的文件名。
3.根据权利要求1所述的方法，其特征在于，所述按条带划分方式读取上传文件，包括：
预先设置条带大小；
从所述上传文件中顺序读取数据，并判断当前读取的数据量是否满足所述条带大小：若是，停止数据读取并截取当前读取的数据作为文件条带；
循环执行对所述上传文件的读取和截取操作，直至读完所述上传文件的所有数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若查找到所述匹配数据块，则将所述匹配数据块的引用计数累加1次；
将所述加密文件条带的匹配数据块存储信息保存至所述上传文件的清单列表；
将所述加密文件条带的加密类型、加密前指纹信息、加密后指纹信息和所述加密文件条带在所述上传文件的位置信息写入所述上传文件的清单列表。
5.根据权利要求1所述的方法，其特征在于，在所述将标记后的加密文件条带保存至为所述上传文件创建的下级清单列表中之后，所述方法还包括：
创建所述上传文件的清单列表；
将所述加密文件条带的加密类型、加密...
【专利技术属性】
技术研发人员：李治鹏，胡永刚，梁珂铭，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。