基于双哈希模糊布隆滤波器云存储数据融合方法技术

本发明专利技术公开了基于双哈希模糊布隆滤波器云存储数据融合方法，具体步骤如下：1)设置布隆滤波器；2)定义问题描述的数学模型；3)模糊交叉操作；4)模糊交叉布隆滤波器中的数据插入；5)模糊交叉布隆滤波器中的数据查询；6)实验分析。本发明专利技术的方法使用模糊交叉操作合并压缩两个布隆滤波器，实现散列数据在两个布隆滤波器的共享容纳，减少海量数据存储需求；2、利用双哈希计算多个哈希函数降低计算成本，对工业物联网网络失效数据的影响很小，数据衰减缓慢，并允许流数据在内存中驻留相当长的时间；3、在不损失精度的情况下高效优化利用存储空间。间。

【技术实现步骤摘要】
基于双哈希模糊布隆滤波器云存储数据融合方法


[0001]本专利技术涉及数据融合领域，具体为一种基于双哈希模糊布隆滤波器云存储数据融合方法。

技术介绍

[0002]当前已有许多针对IIoT(工业物联网)数据的处理方法，例如:基于Bloom滤波器的密钥值存储方法；动态Bloom(布隆)滤波器数组云存储系统成员身份的有效表示法；可调节Bloom过滤器批量数据的插入法和基于SDN的大数据管理方法。这些方法中普遍存在的缺点是查询复杂度随着输入数据量增加而增加，严重影响存储器的空间利用率。

技术实现思路

[0003]针对上述存在的技术不足，本专利技术的目的是提供一种基于双哈希模糊布隆滤波器云存储数据融合方法，其在确保失效数据鲁棒性条件下，使用了双哈希技术将两个布隆滤波器压缩成一个滤波器，两个哈希函数生成k个哈希函数，大大减少了哈希运算的时间，更为有效利用存储容量，提高跨多个区域大数据存储效率。
[0004]为解决上述技术问题，本专利技术采用如下技术方案：
[0005]基于双哈希模糊布隆滤波器云存储数据融合方法，其特征在于，具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双哈希模糊布隆滤波器云存储数据融合方法，其特征在于，具体步骤如下：1)设置布隆滤波器：布隆滤波器由一个“m”位数组组成，初始设置全部为0，并由一组k个散列函数组成；2)定义问题描述的数学模型：给定具有n个元素的数据流(D
s
)，即D
s
＝{x1,x2,
…
,x
n
}，数学模型为：3)模糊交叉操作：合并a
x
∈BF
i
[]和b
y
∈BF
j
[]的元素，其中x＝y；这两个元素在两部分中具有相同的索引，彼此重叠并在上半部分存储为单个模糊值；在此过程中，索引位用于数据压缩；融合的两个布隆滤波器，BF
i
[]和BF
j
[]，被称为第一交叉或第一压缩形式；它由符号CR
i,j
表示，并且需要块位和指纹位来表示使用模糊符号存储在其中的元素；模糊交叉操作表示为如下模型：其中，NFO表示不执行模糊操作；4)模糊交叉布隆滤波器中的数据插入：模糊交叉布隆滤波器利用BF[]表示，其由m个元素组成，其中一个指纹位与用于压缩操作的每个块位相关联，来自集合S的输入数据使用双哈希方法添加到布隆滤波器中，显著减少计算时间，在所提布隆滤波器变量中，使用双哈希函数来生成k个哈希函数(即)，哈希函数的数学公式如下：g
i
(x)＝{h1(x)+i
×
h2(x)}mod m
p
其中，m
p
是相对于BF(m)大小的最大限制范围(1:m)和最接近素数之间的散列函数的值，m
p
的选择采取生成最佳散列值方式进行选取，插入首先将m大小的数组划分为两个相同大小的布隆滤波器：元素被添加到第i个布隆滤波器中，当BF
i
[]的填充容量超过阈值填充比(F
thres
)时，插入从BF
i+1
[]开始，在...

【专利技术属性】
技术研发人员：洪文圳，李冬睿，许国恩，周劲桦，陈玉琴，
申请(专利权)人：洪文圳，
类型：发明
国别省市：