一种加密数据去重方法、系统及相关装置制造方法及图纸

本申请所提供的一种加密数据去重方法，包括：基于第一标签生成函数计算目标文件对应的第一标签，并将第一标签上传至云服务器进行文件级重复性检测，得到文件级重复性检测结果；若文件级重复性检测结果为云服务器上存在第一标签，则执行文件级数据去重操作；若文件级重复性检测结果为云服务器上不存在第一标签，则执行块级数据去重操作。该方法根据文件级重复性检测结果的不同，分别执行对应的文件级数据去重操作和块级数据去重操作，也即该方法结合了文件级数据去重和块级数据去重，对文件和数据块均可以进行去重，故能够提高云服务器上加密数据的去重效率。本申请还提供一种加密数据去重系统、设备及计算机可读存储介质，均具有上述有益效果。

An Encrypted Data Reduplication Method, System and Related Devices

【技术实现步骤摘要】
一种加密数据去重方法、系统及相关装置
本申请涉及加密数据去重领域，特别涉及一种加密数据去重方法、系统、设备及计算机可读存储介质。
技术介绍
用户将数据上传到云服务器上保存以节省本地存储空间，后期可随时获取存放在云服务器上的数据，云服务器用于存储用户的加密数据。数据去重使得数据副本在云服务器中只存储一份，云服务器为该数据的所有合法用户创建访问链接，使其可获取数据。数据去重在实际应用中可节省大量的网络带宽和存储空间。目前，相关技术中的加密数据去重方法是：用户上传数据到云服务器，首先借助可信第三方进行流行度查询，反馈查询结果。对于非流行数据，云服务器保存，对于流行数据，云服务进行文件级数据去重。但是，文件级数据去重只能对文件进行去重，去重效率较低。因此，如何提高云服务器上加密数据的去重效率是本领域技术人员亟需解决的技术问题。
技术实现思路
本申请的目的是提供一种加密数据去重方法、系统、设备及计算机可读存储介质，能够提高云服务器上加密数据的去重效率。为解决上述技术问题，本申请提供一种加密数据去重方法，应用于客户端，包括：基于第一标签生成函数计算目标文件对应的第一标签，并将所述第一标签上传至云服务器进行文件级重复性检测，得到文件级重复性检测结果；若所述文件级重复性检测结果为所述云服务器上存在所述第一标签，则执行文件级数据去重操作；若所述文件级重复性检测结果为所述云服务器上不存在所述第一标签，则执行块级数据去重操作。优选地，所述若所述文件级重复性检测结果为所述云服务器上存在所述第一标签，则执行文件级数据去重操作，包括：若所述文件级重复性检测结果为所述云服务器上存在所述第一标签，则执行文件级别的所有权证明协议以验证所有权；若所述所有权验证通过，则接收并存储所述云服务器发送的所述第一标签对应的数据指针；基于第二标签生成函数计算所述目标文件对应的第二标签，并将所述第二标签上传至密钥管理服务器以确定所述目标文件的合法用户数量；将所述合法用户数量与预设流行度阈值进行比较，确定所述目标文件的数据类型；根据所述数据类型执行对应的文件级数据去重操作。优选地，所述接收并存储所述云服务器发送的所述第一标签对应的数据指针之后，还包括：根据所述数据指针，从所述云服务器下载所述目标文件对应的文件密文；获取所述文件密文的文件加密密钥，并利用所述文件加密密钥对所述文件密文进行解密，得到所述目标文件。优选地，所述若所述文件级重复性检测结果为所述云服务器上不存在所述第一标签，则执行块级数据去重操作，包括：若所述文件级重复性检测结果为所述云服务器上不存在所述第一标签，将所述目标文件划分为预设数量的数据块，并基于所述第一标签生成函数计算各个所述数据块对应的第三标签；将所述第三标签上传至所述云服务器进行块级重复性检测，得到块级重复性检测结果；若所述块级重复性检测结果为所述云服务器上存在所述第三标签，则执行所述块级数据去重操作。本申请还提供一种加密数据去重系统，应用于客户端，包括：文件级重复性检测结果获取模块，用于基于第一标签生成函数计算目标文件对应的第一标签，并将所述第一标签上传至云服务器进行文件级重复性检测，得到文件级重复性检测结果；文件级数据去重操作执行模块，用于若所述文件级重复性检测结果为所述云服务器上存在所述第一标签，则执行文件级数据去重操作；块级数据去重操作执行模块，用于若所述文件级重复性检测结果为所述云服务器上不存在所述第一标签，则执行块级数据去重操作。优选地，所述文件级数据去重操作执行模块，包括：文件级别的所有权证明协议执行单元，用于若所述文件级重复性检测结果为所述云服务器上存在所述第一标签，则执行文件级别的所有权证明协议以验证所有权；数据指针存储单元，用于若所述所有权验证通过，则接收并存储所述云服务器发送的所述第一标签对应的数据指针；合法用户数量确定单元，用于基于第二标签生成函数计算所述目标文件对应的第二标签，并将所述第二标签上传至密钥管理服务器以确定所述目标文件的合法用户数量；数据类型确定单元，用于将所述合法用户数量与预设流行度阈值进行比较，确定所述目标文件的数据类型；文件级数据去重操作执行单元，用于根据所述数据类型执行对应的文件级数据去重操作。优选地，该加密数据去重系统还包括：文件密文下载模块，用于根据所述数据指针，从所述云服务器下载所述目标文件对应的文件密文；文件密文解密模块，用于获取所述文件密文的文件加密密钥，并利用所述文件加密密钥对所述文件密文进行解密，得到所述目标文件。优选地，所述块级数据去重操作执行模块，包括：标签计算单元，用于若所述文件级重复性检测结果为所述云服务器上不存在所述第一标签，将所述目标文件划分为预设数量的数据块，并基于所述第一标签生成函数计算各个所述数据块对应的第三标签；块级重复性检测结果获取单元，用于将所述第三标签上传至所述云服务器进行块级重复性检测，得到块级重复性检测结果；块级数据去重操作执行单元，用于若所述块级重复性检测结果为所述云服务器上存在所述第三标签，则执行所述块级数据去重操作。本申请还提供一种设备，包括：存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现上述所述的加密数据去重方法的步骤。本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的加密数据去重方法的步骤。本申请所提供的一种加密数据去重方法，应用于客户端，包括：基于第一标签生成函数计算目标文件对应的第一标签，并将所述第一标签上传至云服务器进行文件级重复性检测，得到文件级重复性检测结果；若所述文件级重复性检测结果为所述云服务器上存在所述第一标签，则执行文件级数据去重操作；若所述文件级重复性检测结果为所述云服务器上不存在所述第一标签，则执行块级数据去重操作。该方法根据文件级重复性检测结果的不同，分别执行对应的文件级数据去重操作和块级数据去重操作，也即该方法结合了文件级数据去重和块级数据去重，对文件和数据块均可以进行去重，故能够提高云服务器上加密数据的去重效率。本申请还提供一种加密数据去重系统、设备及计算机可读存储介质，均具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例所提供的一种加密数据去重方法的流程图；图2为本申请实施例所提供的一种加密数据去重系统的结构框图。具体实施方式本申请的核心是提供一种加密数据去重方法，能够提高云服务器上加密数据的去重效率。本申请的另一核心是提供一种加密数据去重系统、设备及计算机可读存储介质。为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。目前，相关技术中的加密数据去重方法是：用户上传数据到云服本文档来自技高网...

【技术保护点】
1.一种加密数据去重方法，其特征在于，应用于客户端，包括：基于第一标签生成函数计算目标文件对应的第一标签，并将所述第一标签上传至云服务器进行文件级重复性检测，得到文件级重复性检测结果；若所述文件级重复性检测结果为所述云服务器上存在所述第一标签，则执行文件级数据去重操作；若所述文件级重复性检测结果为所述云服务器上不存在所述第一标签，则执行块级数据去重操作。

【技术特征摘要】
1.一种加密数据去重方法，其特征在于，应用于客户端，包括：基于第一标签生成函数计算目标文件对应的第一标签，并将所述第一标签上传至云服务器进行文件级重复性检测，得到文件级重复性检测结果；若所述文件级重复性检测结果为所述云服务器上存在所述第一标签，则执行文件级数据去重操作；若所述文件级重复性检测结果为所述云服务器上不存在所述第一标签，则执行块级数据去重操作。2.根据权利要求1所述的加密数据去重方法，其特征在于，所述若所述文件级重复性检测结果为所述云服务器上存在所述第一标签，则执行文件级数据去重操作，包括：若所述文件级重复性检测结果为所述云服务器上存在所述第一标签，则执行文件级别的所有权证明协议以验证所有权；若所述所有权验证通过，则接收并存储所述云服务器发送的所述第一标签对应的数据指针；基于第二标签生成函数计算所述目标文件对应的第二标签，并将所述第二标签上传至密钥管理服务器以确定所述目标文件的合法用户数量；将所述合法用户数量与预设流行度阈值进行比较，确定所述目标文件的数据类型；根据所述数据类型执行对应的文件级数据去重操作。3.根据权利要求2所述的加密数据去重方法，其特征在于，所述接收并存储所述云服务器发送的所述第一标签对应的数据指针之后，还包括：根据所述数据指针，从所述云服务器下载所述目标文件对应的文件密文；获取所述文件密文的文件加密密钥，并利用所述文件加密密钥对所述文件密文进行解密，得到所述目标文件。4.根据权利要求1所述的加密数据去重方法，其特征在于，所述若所述文件级重复性检测结果为所述云服务器上不存在所述第一标签，则执行块级数据去重操作，包括：若所述文件级重复性检测结果为所述云服务器上不存在所述第一标签，将所述目标文件划分为预设数量的数据块，并基于所述第一标签生成函数计算各个所述数据块对应的第三标签；将所述第三标签上传至所述云服务器进行块级重复性检测，得到块级重复性检测结果；若所述块级重复性检测结果为所述云服务器上存在所述第三标签，则执行所述块级数据去重操作。5.一种加密数据去重系统，其特征在于，应用于客户端，包括：文件级重复性检测结果获取模块，用于基于第一标签生成函数计算目标文件对应的第一标签，并将所述第一标签上传至云服务器进行文件级重复性检测，得到文件级重复性检测结果；文件级数据去重操作执行模块，用于若所述文...

【专利技术属性】
技术研发人员：咸鹤群，高文静，
申请(专利权)人：青岛大学，
类型：发明
国别省市：山东,37