一种分布式网络数据的销毁方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种分布式网络数据的销毁方法、系统、装置及存储介质，包括以下步骤：对待删除数据使用数据块变长算法分块；使用哈希算法对每个数据块计算指纹，对预设数量的连续数据块依次进行合并生成一定长度的较大的块，称为超块；将超块对应的指纹按固定的采样率进行采样，并保存指纹采样信息；将指纹采样信息以及删除指令发送给各个节点服务器；各个节点服务器根据指纹采样信息使用布隆过滤器计算在当前节点服务器上查找重复的指纹，以便找出重复的目标数据；删除各个节点服务器重复的目标数据。本发明专利技术提出了一种结合指纹抽样和超块的方式，缩短了查询时间，提高吞吐率。解决了现有分布式数据删除方式速度较慢的问题。有分布式数据删除方式速度较慢的问题。有分布式数据删除方式速度较慢的问题。

【技术实现步骤摘要】
一种分布式网络数据的销毁方法、系统、装置及存储介质


[0001]本专利技术属于分布式数据存储
，具体涉及分布式网络数据的销毁方法、系统、装置及存储介质。

技术介绍

[0002]分布式数据存储技术中，相对于磁盘、分区这些物理卷，可以将物理卷的空间加以管理之后，虚拟出逻辑卷(LogicalVolume)，逻辑卷将存储虚拟化，存储不再受限于物理磁盘的大小。使用逻辑卷，文件系统可以扩展到多个磁盘上，聚合多个磁盘或磁盘分区成一个逻辑卷，创建出来的逻辑卷在用户没有写入数据的时候，可以不用真实分配物理存储空间，而是到了写入的时候，动态分配物理存储空间，从而达到节省物理存储空间，延迟成本投入等目的。
[0003]卷删除功能是块存储的基本功能，在传统分布式块存储系统中，卷删除操作包括了卷的元数据删除与数据对象删除操作，卷删除需要等待两部分数据全部删除完成后才算完成。
[0004]在数据备份时，需要对其不需要的重复数据进行销毁删除；或者直接将云端数据进行销毁删除时，现有分布式数据删除方式速度较慢的问题，而且也存在删除数据不彻底的问题。
...

【技术保护点】

【技术特征摘要】
1.一种分布式网络数据的销毁方法，其特征在于，包括以下步骤：对待删除数据使用数据块变长算法分块，得到多个数据块；使用哈希算法对每个数据块计算指纹，对预设数量的连续数据块依次进行合并生成一定长度的块，称为超块；将超块对应的指纹按固定的采样率进行采样，并保存指纹采样信息；将指纹采样信息以及删除指令发送给各个节点服务器；各个节点服务器根据指纹采样信息使用布隆过滤器计算在当前节点服务器上查找重复的指纹，以便找出重复的目标数据；删除各个节点服务器重复的目标数据。2.根据权利要求1所述的分布式网络数据的销毁方法，其特征在于，将指纹以及删除指令发送给各个节点服务器的方法包括：从分布式网络数据库中获取目标数据的存储路径；根据所述存储路径确定目标数据所在的各个节点服务器；向各个节点服务器发送指纹和目标数据删除指令。3.根据权利要求1所述的分布式网络数据的销毁方法，其特征在于，如果某个指纹没在各个节点服务器指纹表里找到，则把该指纹对应的数据会进行存放；如果找到一致指纹，则删除该指纹和数据。4.根据权利要求3所述的分布式网络数据的销毁方法，其特征在于，当遇到一个重复数据块时，将指向其副本的指针添加到缓冲区；当遇到一个新数据块时，将其写入容器缓冲区，当容器缓冲区满时一次性写入容器存储；最后将数据块的指纹及其元数据以键值对的形式插入指纹索引。5.根据权利要求1所述的分布式网络数据的销毁方法，其特征在于，各个节点服务器收到指纹采样信息；使用布隆过滤器计算在当前节点服务器上查找重复指纹时还进行统计重复指纹的数量，并计算当前节点服务器上的指纹重复率和数据节点服务器的存储空间利用率的比值，将该比值作为权重值发送给客户端；收到所有节点服务器发送来的权重值并对结果进行排序，选择最高的Z个权重值对应的节点服务器发送超块的全部指纹信息；Z个权重值最高节点服务器接收到客户端发送的所有数据块指纹之后，查找数据块对应的数据碎片，并将数据碎片量返回给客户端；接收到Z个节点服务器对应的数据碎片量之后，选择碎片量最少的一个节点服务器，作为路由的节点服务器；将超快以及超快对应的全部指纹信息传输到该节点服务器。6.根据权利要求1所述的分布式网络数据的销毁方法，其特征在于，将超块对应的指纹按固定的采样率进行采样的方法包括：采用等距抽样的方法对超块对应的指纹序列进行抽样，生成抽样指纹序列；所述等距抽样方法包括：首先将超块中各个数据块按数据流的先后顺序进行排列，根据需要抽取的指纹个数n确定抽样的间隔，选取一个随机的起点指纹之后，间隔固定的长度对指纹序列进行指纹的抽样；等距抽样时，先将超块里对应...

【专利技术属性】
技术研发人员：赵龙，高莉红，
申请(专利权)人：北京和升达信息安全技术有限公司，
类型：发明
国别省市：