基于请求合并的云数据去重方法、装置和云服务器制造方法及图纸

本发明专利技术公开了一种基于请求合并的云数据去重方法、装置和云服务器，该方法包括：接收用户发送的去重查询请求，其中，去重查询请求包括目标文件的索引值；将索引值划分成多个索引块，多个索引块包括公共块、敏感块和附加块；根据公共块确定对应的目标文件；当预设时间内指向同一目标文件的去重查询请求的数量到达预设阈值时，确定指向同一目标文件的多个目标索引值；确定每个目标索引值对应的附加块的数量，并将包含相同附加块数量的所有目标索引值生成一个索引值集合；将包含相同附加块的索引值集合中的目标索引值生成一个相同附加块去重索引值集合；以及根据相同附加块去重索引值集合中目标索引值的附加块，公共块和敏感块的异或值生成去重响应。异或值生成去重响应。异或值生成去重响应。

【技术实现步骤摘要】
基于请求合并的云数据去重方法、装置和云服务器


[0001]本专利技术涉及云服务
，特别涉及一种基于请求合并的云数据去重方法、基于请求合并的云数据去重装置、云服务器、电子设备和非临时性计算机可读存储介质。

技术介绍

[0002]在大数据的时代背景下，越来越多的企业和用户选择云服务商来存储和管理海量数据，使得云存储服务器中的数据呈现爆炸式增长，这不可避免的产生了大量的冗余数据，造成云存储空间的严重消耗。为了解决这一问题，跨用户云数据去重技术得到广泛的研究和应用，使云服务器只需保留用户数据的一个副本。
[0003]根据去重数据粒度的不同，可将去重技术分为文件级(File-level)去重和块级(chunk-level)去重，由于块级去重技术在节约存储开销和计算开销上更具优势，因此块级云数据去重技术更受研究者的青睐。在块级跨用户云数据去重中，在对数据进行外包前用户先将目标文件分为规定大小的数据块，并上传对应数据块的标签信息，由云端通过标签在本地查找是否存在相同的副本。若发现相同的副本，则云端发出阻断响应，用户不再上传该数据块，只需用户上传本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于请求合并的云数据去重方法，其特征在于，包括以下步骤：接收用户发送的去重查询请求，其中，所述去重查询请求包括目标文件的索引值；将所述索引值划分成多个索引块，其中，所述多个索引块包括公共块、敏感块和附加块；根据所述公共块确定对应的目标文件；当预设时间内指向同一目标文件的去重查询请求的数量到达预设阈值时，确定所述指向同一目标文件的多个目标索引值；确定每个所述目标索引值对应的附加块的数量，并将包含相同附加块数量的所有目标索引值生成一个索引值集合，以生成与所述目标索引值对应的至少一个索引值集合；将包含相同附加块的所述索引值集合中的目标索引值生成一个相同附加块去重索引值集合，以生成与所述索引值集合中的目标索引值对应的至少一个相同附加块去重索引值集合；根据预设的第一敏感块位置判断策略，确定所述相同附加块去重索引值集合中每个目标索引值对应的敏感块位置；以及根据所述敏感块位置提取所述相同附加块去重索引值集合中目标索引值的敏感块，并根据所述相同附加块去重索引值集合中目标索引值的附加块，公共块和敏感块的异或值生成去重响应。2.根据权利要求1所述的基于请求合并的云数据去重方法，其特征在于，还包括：将包含不同附加块的所述索引值集合中的目标索引值生成一个不同附加块去重索引值集合；根据预设的第二敏感块位置判断策略，确定所述不同附加块去重索引值集合中每个目标索引值对应的敏感块位置；根据所述敏感块位置获取所述不同附加块去重索引值集合中目标索引值的敏感块，并根据所述不同附加块去重索引值集合中目标索引值的附加块，公共块和敏感块的异或值生成去重响应。3.根据权利要求1所述的基于请求合并的云数据去重方法，其特征在于，所述根据所述公共块确定对应的目标文件，具体包括：获取目标文件与目标文件索引值之间的对应关系表，其中，所述目标文件索引值划分为多个目标文件索引块；根据所述公共块查询所述目标文件与目标文件索引值之间的对应关系表，以确定与所述公共块对应的目标文件。4.根据权利要求3所述的基于请求合并的云数据去重方法，其特征在于，所述确定每个所述目标索引值对应的附加块的数量，具体包括：确定所述目标索引值的多个索引块与所述目标文件索引值的多个目标文件索引块之间的重复块；计算所述目标索引值的重复块的异或值，并获取所述目标文件索引值的多个目标文件索引块的全局异或值；将所述异或值与所述全局异或值进行对比，如果所述异或值等于所述全局异或值，则所述目标索引值对应的附加块的数量为所述目标索引值的多个索引块中去除重复块剩余
索引...

【专利技术属性】
技术研发人员：唐鑫，周琳娜，胡冰蔚，狄宏，
申请(专利权)人：国际关系学院，
类型：发明
国别省市：