数据处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例适用于计算机技术领域，提供了一种数据处理方法、装置、电子设备及存储介质，其中，数据处理方法包括：在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质
本专利技术属于计算机
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
数据去重是一种应用在存储系统中用于消除冗余数据的技术，数据去重方法把数据流或文件划分为固定大小的数据块，通过比较数据块的指纹来消除重复的数据块。目前，相关技术在进行数据去重时，相同指纹的数据块只存储一份，以此节省存储资源。但是，当数据块丢失或者损坏时，由于无法找回数据块，导致文件不可用。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据处理方法、装置、电子设备及存储介质，以至少解决相关在进行数据去重后，当数据块丢失或者损坏时无法找回的问题。本专利技术实施例的技术方案是这样实现的：第一方面，本专利技术实施例提供了一种数据处理方法，该方法包括：在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。上述方案中，所述添加关于对应的第二数据块的备份，包括：在第二数据库中添加关于对应的第二数据块的备份。上述方案中，在第二数据块的去重次数大于第二设定值的情况下，所述方法还包括：将对应的第二数据块的去重次数清零。上述方案中，所述方法还包括：在第二数据块从所述第一数据库中删除的情况下，在所述第二数据库中删除关于对应的第二数据块的备份。上述方案中，所述方法还包括：确定所述待存储数据的重要级别；基于所述待存储数据的重要级别，确定以下至少一项：所述第一设定值；所述第二设定值。上述方案中，所述对对应的第一数据块进行去重时，所述方法还包括：确定所述第一数据块的元数据；所述元数据至少包括对应的第二数据块在所述第一数据库中的存储地址；将所述第一数据块的元数据存入所述第一数据库。上述方案中，所述方法还包括：在所述第一数据库中未存储有相同的第二数据块的情况下，将对应的第一数据块存入所述第一数据库。第二方面，本专利技术实施例提供了一种数据处理装置，该装置包括：确定模块，用于在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；去重模块，用于在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；添加模块，用于在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。第三方面，本专利技术实施例提供了一种电子设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行本专利技术实施例第一方面提供的数据处理方法的步骤。第四方面，本专利技术实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序。所述计算机程序被处理器执行时实现如本专利技术实施例第一方面提供的数据处理方法的步骤。本专利技术实施例在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；在第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。本专利技术实施例通过添加去重次数较多的第二数据块的备份，可以防止第二数据块丢失时出现待存储数据的大量数据块无法恢复的情况发生，能够在数据块发生丢失时，及时使用第二数据块的备份恢复第二数据块，从而快速重构待存储数据。附图说明图1是本专利技术实施例提供的一种数据处理方法的实现流程示意图；图2是本专利技术实施例提供的另一种数据处理方法的实现流程示意图；图3是本专利技术实施例提供的另一种数据处理方法的实现流程示意图；图4是本专利技术实施例提供的另一种数据处理方法的实现流程示意图；图5是本专利技术应用实施例提供的一种数据处理流程的示意图；图6是本专利技术实施例提供的一种数据处理装置的结构框图；图7是本专利技术实施例提供的电子设备的硬件结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。需要说明的是，本专利技术实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。另外，在本专利技术实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。参考图1，图1是本专利技术实施例提供的一种数据去重的示例图。待处理数据包括A、B、C和D共四种数据块，每种数据块在待处理数据中的数量均为一个以上。在对待处理数据进行数据去重之后，数据块A、B、C和D均只保留一个，不会重复存储。通过数据去重，可以节省磁盘的存储空间，提升磁盘的写入性能，减少网络上的数据传输量，从而节省网络带宽。作为数据去重的一种实现方案，将待处理数据划分成多个相同长度的数据块，通过指纹比对和/或字节比对，找出其中重复的数据块并删除，最终相同的数据块只存储一份。其中，指纹比对是指比对每个数据块的指纹，数据块的指纹可以是数据块对应的安全哈希算法(SHA-1，SecureHashAlgorithm1)值或信息摘要算法(MD5，MessageDigestAlgorithmMD5)值。字节比对是指将两个数据块的字节进行逐字节比较，如果比较结果表征比较的字节不相同，则认为两个数据块不相同。由于在数据去重后，相同的数据块只存储一份，这样当数据块出现丢失或损坏时，数据块无法进行恢复，从而无法使用该数据块。针对上述相关技术在进行数据去重后，当数据块丢失或者损坏时无法恢复的缺点，本专利技术实施例提供了一种数据处理方法，能够在数据去重之后，数据块丢失或者损坏的情况下恢复数据块。为了更好地阐述本专利技术所述的技术方案，下面通过具体实施例来进行说明。图2是本专利技术实施例提供的一种数据处理方法的实现流程示意图，该方法执行主体可以为手机、平本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；/n在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；/n在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；
在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；
在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。


2.根据权利要求1所述的方法，其特征在于，所述添加关于对应的第二数据块的备份，包括：
在第二数据库中添加关于对应的第二数据块的备份。


3.根据权利要求2所述的方法，其特征在于，在第二数据块的去重次数大于第二设定值的情况下，所述方法还包括：
将对应的第二数据块的去重次数清零。


4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在第二数据块从所述第一数据库中删除的情况下，在所述第二数据库中删除关于对应的第二数据块的备份。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述待存储数据的重要级别；
基于所述待存储数据的重要级别，确定以下至少一项：
所述第一设定值；
所述第二设定值。


6.根据权利要求1所述的方法，其特征在于，所述对对应的第一数据块进行去重时，所述方...

【专利技术属性】
技术研发人员：葛绪意，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东;44