数据处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例适用于计算机技术领域，提供了一种数据处理方法、装置、电子设备及存储介质，其中，数据处理方法包括：在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质
本专利技术属于计算机
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
数据去重是一种应用在存储系统中用于消除冗余数据的技术，数据去重方法把数据流或文件划分为固定大小的数据块，通过比较数据块的指纹来消除重复的数据块。目前，相关技术在进行数据去重时，相同指纹的数据块只存储一份，以此节省存储资源。但是，当数据块丢失或者损坏时，由于无法找回数据块，导致文件不可用。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据处理方法、装置、电子设备及存储介质，以至少解决相关在进行数据去重后，当数据块丢失或者损坏时无法找回的问题。本专利技术实施例的技术方案是这样实现的：第一方面，本专利技术实施例提供了一种数据处理方法，该方法包括：在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；/n在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；/n在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
在将待存储数据存入第一数据库时，对组成所述待存储数据的所有第一数据块中的每个第一数据块，确定第一数据库中是否存储有与第一数据块相同的第二数据块；
在所述第一数据库中存储有与第一数据块相同的第二数据块的情况下，对对应的第一数据块进行去重，并将对应的第二数据块的去重次数增加第一设定值；
在第二数据块的去重次数大于第二设定值的情况下，添加关于对应的第二数据块的备份。


2.根据权利要求1所述的方法，其特征在于，所述添加关于对应的第二数据块的备份，包括：
在第二数据库中添加关于对应的第二数据块的备份。


3.根据权利要求2所述的方法，其特征在于，在第二数据块的去重次数大于第二设定值的情况下，所述方法还包括：
将对应的第二数据块的去重次数清零。


4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在第二数据块从所述第一数据库中删除的情况下，在所述第二数据库中删除关于对应的第二数据块的备份。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述待存储数据的重要级别；
基于所述待存储数据的重要级别，确定以下至少一项：
所述第一设定值；
所述第二设定值。


6.根据权利要求1所述的方法，其特征在于，所述对对应的第一数据块进行去重时，所述方...

【专利技术属性】
技术研发人员：葛绪意，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东;44