【技术实现步骤摘要】
本专利技术涉及数据存储，特别是涉及一种数据的缩减处理方法、装置、设备及介质。
技术介绍
1、在数据存储空间内，对应存储的数据量成爆炸式增长，存储成本相应提高。为了应对这种情况，数据缩减技术成为存储阵列的关键技术，以此减少数据存储空间。数据缩减技术中较为经典的处理方式是重删技术，基于多份重复的数据只保存其中的一份数据，其他数据无需存储。
2、当前重删技术需要将存储数据进行分块，并对每个分块计算得到指纹值，待新的数据到来时，基于上述操作确定新的数据的指纹值后，在指纹库内查询是否已存储该指纹对应的数据，如果存在，则说明新的数据是重复数据。由于存储阵列容量较大，相应的指纹库的指纹值也较多，导致每次查询相同指纹的效率较低。另外，对于存储阵列内的数据大多只有引用1次的情况，即，只有一次的数据，在指纹库内也会存储该数据的相应指纹值，但不会起到重删的作用，导致指纹库内存储的大部分指纹无价值或者低价值，未能起到指纹库的真正存在的意义。
3、因此，如何在存储阵列内提高重删价值以及提高查询指纹的效率是本领域技术人员亟需要解决的技术问题。
技术实现思路
1、本专利技术的目的是提供一种数据的缩减处理方法、装置、设备及介质，以解决当前的重删指纹库内存储的指纹价值较低且数据量较大的情况下，查询指纹的效率降低的问题。
2、为解决上述技术问题，本专利技术提供一种数据的缩减处理方法，包括：
3、获取重删指纹库内不存在的写入数据块，其中，所述写入数据块的数量为多个；>
4、根据合并规则对所述写入数据块进行拼凑处理得到第一数据块；将所述第一数据块进行特征提取处理确定对应的相似指纹值组以加入相似指纹库内；
5、在所述相似指纹库内根据所述第一数据块与其他数据块对应的相似指纹值组进行相似度处理确定所述第一数据块与所述其他数据块内相同的目标数据块；
6、将所述目标数据块的指纹值加入所述重删指纹库以完成所述写入数据块的缩减处理。
7、一方面，所述写入数据块的确定过程，包括：
8、获取当前写入数据；
9、根据预设粒度对所述当前写入数据进行分割为多个数据块；
10、将多个所述数据块分别进行加密处理得到对应的指纹值；
11、调用所述重删指纹库，查找所述重删指纹库内是否存在与多个所述数据块对应的指纹值相同的指纹值；
12、若至少一个不存在，则将不存在相同指纹值对应的所述数据块确定为所述重删指纹库内不存在的所述写入数据块。
13、另一方面，所述合并规则由预设拼凑个数和所述写入数据块的生成时间确定，所述根据合并规则对所述写入数据块进行拼凑处理得到第一数据块，包括：
14、获取所述预设拼凑个数、所述写入数据块的所述生成时间和写入数量；
15、根据所述生成时间的先后顺序排序得到排序后的所述写入数据块；
16、判断所述写入数量是否为所述预设拼凑个数的整倍数；
17、若是，则根据所述预设拼凑个数对排序后的所述写入数据块进行拼凑得到所述第一数据块；
18、若否，则确定所述写入数量和所述预设拼凑个数进行相除处理之后的余数；
19、根据所述余数确定排序后的所述写入数据块对应的末尾写入数据块；
20、将所述末尾写入数据块进行保存以便于和下一次获取的所述写入数据块拼凑处理；
21、根据所述预设拼凑个数对排序后的所述写入数据块除所述末尾写入数据块之外的其他写入数据块进行拼凑处理得到所述第一数据块。
22、另一方面，所述合并规则由写入地址、写入优先级和写入紧急优先级确定，所述根据合并规则对所述写入数据块进行拼凑处理得到第一数据块，包括：
23、获取所述写入数据块对应的所述写入地址和所述写入优先级，其中，所述写入优先级由所述写入数据块对应的数据的写入数据量确定；
24、获取预先设置的数据写入地址列表；
25、根据所述数据写入地址列表和所述写入地址对所述写入数据块进行写入地址分类得到各写入地址类型内的分类后的所述写入数据块；
26、确定各写入地址类型内的分类后的所述写入数据块的写入数量；
27、判断所述写入数量是否小于预设拼凑个数；
28、若不小于，则根据所述写入优先级和所述预设拼凑个数对分类后的所述写入数据块进行拼凑合并得到相同的写入地址内对应的所述第一数据块；
29、若小于，则获取所述写入数据块的所述写入紧急优先级，其中，所述写入紧急优先级由所述写入数据块对应的数据的请求任务级别确定；
30、判断所述写入数据块的所述写入紧急优先级是否为第一优先级；
31、若是第一优先级，则降低所述预设拼凑个数得到新的预设拼凑个数；
32、根据所述新的预设拼凑个数对分类后的所述写入数据块进行拼凑处理得到所述第一数据块；
33、若不是第一优先级，则将分类后的所述写入数据块进行保存以便于和下一次获取的所述写入数据块拼凑处理。
34、另一方面，所述将所述第一数据块进行特征提取处理确定对应的相似指纹值组，包括：
35、获取特征提取方式对应的各特征参数；
36、根据各所述特征参数对所述第一数据块进行特征提取处理得到对应的特征值；
37、将所述特征值组合得到所述第一数据块的所述相似指纹值组。
38、另一方面，所述在所述相似指纹库内根据所述第一数据块与其他数据块对应的相似指纹值组进行相似度处理确定所述第一数据块与所述其他数据块内相同的目标数据块，包括：
39、获取与所述第一数据块进行两两相似度处理的所述其他数据块内对应的第二数据块；
40、将所述第一数据块的所述相似指纹值组与所述第二数据块的所述相似指纹值组分别进行交集处理和并集处理对应得到第一交集组和第一并集组；
41、将所述第一交集组和所述第一并集组进行除法处理确定所述第一数据块与所述第二数据块的相似度；
42、在所述第一数据块与所述第二数据块的所述相似度大于预设的相似度阈值的情况下，确定所述第一数据块与所述第二数据块相似；
43、分别对所述第一数据块和所述第二数据块进行分割处理得到各第一子数据块和各第二子数据块；
44、分别将各所述第一子数据块和各所述第二子数据块进行加密处理得到对应的指纹值；
45、判断各所述第一子数据块和各所述第二子数据块对应的指纹值是否存在相同；
46、若存在相同，则将相同的所述指纹值对应的所述第一子数据块和所述第二子数据块确定为所述目标数据块。
47、另一方面，所述在所述相似指纹库内根据所述第一数据块与其他数据块对应的相似指纹值组进行相似度处理确定所述第一数据块与所述其他数据块内相同的目标数据块，包括：
48、获取与所述第一数据块进行两两相似度处理的所述其他数据块内对应的第二数据块本文档来自技高网...
【技术保护点】
1.一种数据的缩减处理方法，其特征在于，包括：
2.根据权利要求1所述的数据的缩减处理方法，其特征在于，所述写入数据块的确定过程，包括：
3.根据权利要求2所述的数据的缩减处理方法，其特征在于，所述合并规则由预设拼凑个数和所述写入数据块的生成时间确定，所述根据合并规则对所述写入数据块进行拼凑处理得到第一数据块，包括：
4.根据权利要求2所述的数据的缩减处理方法，其特征在于，所述合并规则由写入地址、写入优先级和写入紧急优先级确定，所述根据合并规则对所述写入数据块进行拼凑处理得到第一数据块，包括：
5.根据权利要求3或4所述的数据的缩减处理方法，其特征在于，所述将所述第一数据块进行特征提取处理确定对应的相似指纹值组，包括：
6.根据权利要求5所述的数据的缩减处理方法，其特征在于，所述在所述相似指纹库内根据所述第一数据块与其他数据块对应的相似指纹值组进行相似度处理确定所述第一数据块与所述其他数据块内相同的目标数据块，包括：
7.根据权利要求5所述的数据的缩减处理方法，其特征在于，所述在所述相似指纹库内根据所述第一数
8.根据权利要求7所述的数据的缩减处理方法，其特征在于，所述将所述目标数据块的指纹值加入所述重删指纹库，包括：
9.根据权利要求8所述的数据的缩减处理方法，其特征在于，在所述将所述目标数据块的指纹值加入所述重删指纹库之后，还包括：
10.根据权利要求2所述的数据的缩减处理方法，其特征在于，在所述重删指纹库内存在与多个所述数据块对应的指纹值相同的指纹值时，还包括：
11.根据权利要求2所述的数据的缩减处理方法，其特征在于，在所述获取重删指纹库内不存在的写入数据块之后，在所述根据合并规则对所述写入数据块进行拼凑处理得到第一数据块之前，还包括：
12.根据权利要求11所述的数据的缩减处理方法，其特征在于，在将所述第一数据块的所述相似指纹值组加入所述相似指纹库内之后，在所述相似指纹库内根据所述第一数据块与其他数据块对应的相似指纹值组进行相似度处理确定所述第一数据块与所述其他数据块内相同的目标数据块之前，还包括：
13.根据权利要求8所述的数据的缩减处理方法，其特征在于，在所述将所述另一个子数据块的指纹值和所述映射关系加入至所述重删指纹库之后，还包括：
14.一种数据的缩减处理装置，其特征在于，包括：
15.一种数据的缩减处理设备，其特征在于，包括：
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至13任一项所述的数据的缩减处理方法的步骤。
...【技术特征摘要】
1.一种数据的缩减处理方法，其特征在于，包括：
2.根据权利要求1所述的数据的缩减处理方法，其特征在于，所述写入数据块的确定过程，包括：
3.根据权利要求2所述的数据的缩减处理方法，其特征在于，所述合并规则由预设拼凑个数和所述写入数据块的生成时间确定，所述根据合并规则对所述写入数据块进行拼凑处理得到第一数据块，包括：
4.根据权利要求2所述的数据的缩减处理方法，其特征在于，所述合并规则由写入地址、写入优先级和写入紧急优先级确定，所述根据合并规则对所述写入数据块进行拼凑处理得到第一数据块，包括：
5.根据权利要求3或4所述的数据的缩减处理方法，其特征在于，所述将所述第一数据块进行特征提取处理确定对应的相似指纹值组，包括：
6.根据权利要求5所述的数据的缩减处理方法，其特征在于，所述在所述相似指纹库内根据所述第一数据块与其他数据块对应的相似指纹值组进行相似度处理确定所述第一数据块与所述其他数据块内相同的目标数据块，包括：
7.根据权利要求5所述的数据的缩减处理方法，其特征在于，所述在所述相似指纹库内根据所述第一数据块与其他数据块对应的相似指纹值组进行相似度处理确定所述第一数据块与所述其他数据块内相同的目标数据块，包括：
8.根据权利要求7所述的数据的缩减处理方法，其特征在于，所述将所述目标数据块的指纹值加入所述重删指纹库，包...
【专利技术属性】
技术研发人员：刘晓瑞，刘志勇，孙斌，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。