基于动态附加布隆过滤器的RFID数据冗余处理方法技术

本发明专利技术涉及一种基于动态附加布隆滤波器的冗余数据处理方法，该方法可用于过滤RFID动态数据流中的冗余数据。在进行RFID冗余数据判断时，首先利用标签号、时间和阅读器因素的影响设计了基础布隆过滤器(TRBF)，然后根据定时间区间内数据量变化动态决定是否附加额外的TRBF或者调节已有的附加TRBF，通过附加TRBF扩充位数组将误判率控制在阈值内，最后结合两个过滤器对数据进行综合判断并更新相应的布隆过滤器单元，丢弃冗余数据，保存非冗余数据。实验结果表明该算法能够长时间过滤RFID动态数据流中的冗余数据，提高数据质量。它的先进性主要体现能够在数据量持续上升时保持平稳的低误判率。

【技术实现步骤摘要】
基于动态附加布隆过滤器的RFID数据冗余处理方法
本专利技术属于数据预处理
，尤其是一种基于RFID采集的实时数据的冗余过滤方法。
技术介绍
随着物联网技术与制造业的深度结合，基于物联网的实时数据采集技术正在改变着智能装备、智能车间等各制造企业的生产模式。RFID技术作为下一代制造系统中关键的先进制造技术，被认为是提高可视性和提高效率最有前景的技术创新之一，它作为一种非接触式采集处理信息的自动识别技术，能够有效感知制造车间动态信息，如监测车间生产加工状态、优化物流仓储控制以及智能定位跟踪货物等。同时RFID信息采集技术具有实时性和快速性，满足车间可视化监控、实时调度、产品历史信息追溯等需求。随着物联网技术的发展，在离散制造过程中应用RFID技术成为制造业发展的必然趋势。传感器和RFID采集的数据通常是关于车间生产环境监控、产品加工数据、运行设备状态、车间产品物流监测等相关的信息，这些数据通常有严格的实时性要求。为了保证采集的准确，传感器和RFID的采集频率非常高，且为了防止标签移动太快造成数据丢失，会在同一区域部署多个阅读器，这就导致的采集数据量规模巨大且质量低下。同时，由于RFID的工作方式，同一个标签长时间停留在某一固定读写器的范围内,会被多次读取，所以产生了大量的重复、无效的数据。这些数据被采集后需要进行实时传输、存储并送到上层应用进行计算分析，如此，大量的冗余数据会造成存储空间的浪费，影响上层程序的分析和判断，给企业的决策造成无法预计的后果，如何对这些冗余的数据进行过滤成为了一个迫切需要研究的问题。面对这样的挑战，布隆过滤器提供了很好的解决方法，利用布隆过滤器可以快速判别数据是否曾经被采集过。然而由于传统布隆过滤器在数据量过大时误判率很高，如何改进布隆过滤器使其能够无法长时间处理RFID数据流，在数据量上升时仍保持较低的误判率是目前迫切需要解决的问题。
技术实现思路
专利技术目的：针对RFID在读取数据时产生大量的冗余重复数据和现有的处理技术随着数据量的上升误判率也会上升的问题，提出一种设计合理、快速准确且效率高的基于动态附加布隆过滤器的RFID数据冗余处理方法。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于动态附加布隆过滤器的RFID数据冗余处理方法，如图2所示，包括如下步骤：步骤一：接收新数据x；步骤二：判断是否存在附加TRBF，若存在则转步骤三，若不存在则转步骤五；步骤三：将x的标签编号x.tagid经过哈希函数分别映射到附加TRBF的l个数组单元；步骤四：附加TRBF判断x是否冗余，若是则转步骤八，若不是则转步骤五；步骤五：将x.tagid经过哈希函数分别映射到TRBF的k个数组单元；步骤六：TRBF判断x是否冗余，若是则转入步骤八，若不是则将x递交上层应用并转入步骤七；步骤七：将x.tagid、x的读取时间x.time和x的阅读器编号x.readerid分别更新到TRBF的k个单元和附加TRBF的l个单元；步骤八：丢弃x；步骤九：判断是否达到设定的时间阈值，若未达到则转步骤一，若达到则转步骤十；步骤十：判断本轮时间区间内的数据量是否达到阈值，若未达到则撤销已有的附加TRBF，若达到则计算附加TRBF位数组的大小，启动附加TRBF；步骤十一：判断是否所有数据均已接收，若否则转第一步。进一步，步骤四中附加TRBF判断x是否冗余的方法为：若映射的附加TRBF的l个数组单元中存在一个数据y使得TRBFb[hi(x.tagid)].tagid＝x.tagid、x.time-TRBFb[hi(x.tagid)].time≤τ(x.time＞TRBFb[hi(x.tagid)].time)以及x.readerid与TRBFb[hi(x.tagid)].readerid属于同一个划分区域同时成立，则x为冗余数据；其中，l为附加TRBF的哈希函数个数；TRBFb为附加TRBF三维数组，表示为TRBFb[tagid][time][readerid]，hi(·)表示第i个哈希函数，τ表示设定的时间阈值，TRBFb[hi(x.tagid)].tagid、TRBFb[hi(x.tagid)].time和TRBFb[hi(x.tagid)].readerid分别表示x.tagid经过hi(·)映射到TRBFb数组的相应位置的标签编号、时间和阅读器编号。进一步，步骤六中TRBF判断数据x是否冗余的方法为：若映射的TRBF的k个位置中存在一个数据y使得TRBFa[hi(x.tagid)].tagid＝x.tagid、x.time-TRBFa[hi(x.tagid)].time≤τ(x.time＞TRBFa[hi(x.tagid)].time)以及x.readerid与TRBFa[hi(x.tagid)].readerid属于同一个划分区域同时成立，则x为冗余数据；其中，k为TRBF的哈希函数个数；TRBFa为TRBF的三维数组，表示为TRBFa[tagid][time][readerid]；hi(·)表示第i个哈希函数，τ表示设定的时间阈值，TRBFa[hi(x.tagid)].tagid，TRBFa[hi(x.tagid)].time和TRBFa[hi(x.tagid)].readerid分别表示x.tagid经过hi(·)映射到TRBFa数组的相应位置的标签编号、时间和阅读器编号。进一步，步骤十中计算附加TRBF位数组的大小的方法为：其中，madd为附加TRBF位数组大小，m0为最大误判率情况下的位空间大小，n′0为最大误判率容许的最大非冗余数据大小，n′1为相比上轮时间区间数据增长后的非冗余数据数量。进一步地，步骤十中计算附加TRBF位数组的大小的方法为：其中，madd为附加TRBF位数组大小，m0为系统保证最大误判率的位空间大小，n′0为系统最大误判率容许的最大非冗余数据大小，也就是非冗余数据阈值，n′1为比上轮时间区间数据增长后的非冗余数据数量。有益效果：本专利技术在数据预处理领域中的应用体现了其高效准确性。在数据量持续不断到达的情况下，根据数据的唯一标签号、读取到的时间和阅读器编号对数据的影响进行冗余过滤，提高数据质量。整个数据预处理的过程利用少量的空间来处理大量的数据，无需保存所有的数据就可以进行冗余判别，使判断结果更加快速。通过监测时间阈值内的数据量动态调整布隆过滤器的位数组大小，能够将误判率控制在较低的范围内，保证冗余判断的准确性。对RFID数据的冗余过滤减小了实时传输的压力，避免存储空间的浪费，提高上层应用分析的准确性。附图说明图1为本专利技术DATRBF算法数据结构设计图；图2为本专利技术DATRBF算法总体流程图。具体实施方式下面结合附图对本专利技术做更进一步的解释。本专利技术环境为VisioStudio2017。首先，根据图1的结构设置基础本文档来自技高网...

【技术保护点】
1.一种基于动态附加布隆过滤器的RFID数据冗余处理方法，其特征在于，包括如下步骤：/n步骤一：接收新数据x；/n步骤二：判断是否存在附加TRBF，若存在则转步骤三，若不存在则转步骤五；/n步骤三：将x的标签编号x.tagid经过哈希函数分别映射到附加TRBF的l个数组单元；/n步骤四：附加TRBF判断x是否冗余，若是则转步骤八，若不是则转步骤五；/n步骤五：将x.tagid经过哈希函数分别映射到TRBF的k个数组单元；/n步骤六：TRBF判断x是否冗余，若是则转入步骤八，若不是则转入步骤七；/n步骤七：将x.tagid、x的读取时间x.time和x的阅读器编号x.readerid分别更新到TRBF的k个单元和附加TRBF的l个单元；/n步骤八：丢弃x；/n步骤九：判断是否达到设定的时间阈值，若未达到则转步骤一，若达到则转步骤十；/n步骤十：判断本轮时间区间内的数据量是否达到阈值，若未达到则撤销已有的附加TRBF，若达到则计算附加TRBF位数组的大小，启动附加TRBF；/n步骤十一：判断是否所有数据均已接收，若否则转第一步。/n

【技术特征摘要】
1.一种基于动态附加布隆过滤器的RFID数据冗余处理方法，其特征在于，包括如下步骤：
步骤一：接收新数据x；
步骤二：判断是否存在附加TRBF，若存在则转步骤三，若不存在则转步骤五；
步骤三：将x的标签编号x.tagid经过哈希函数分别映射到附加TRBF的l个数组单元；
步骤四：附加TRBF判断x是否冗余，若是则转步骤八，若不是则转步骤五；
步骤五：将x.tagid经过哈希函数分别映射到TRBF的k个数组单元；
步骤六：TRBF判断x是否冗余，若是则转入步骤八，若不是则转入步骤七；
步骤七：将x.tagid、x的读取时间x.time和x的阅读器编号x.readerid分别更新到TRBF的k个单元和附加TRBF的l个单元；
步骤八：丢弃x；
步骤九：判断是否达到设定的时间阈值，若未达到则转步骤一，若达到则转步骤十；
步骤十：判断本轮时间区间内的数据量是否达到阈值，若未达到则撤销已有的附加TRBF，若达到则计算附加TRBF位数组的大小，启动附加TRBF；
步骤十一：判断是否所有数据均已接收，若否则转第一步。


2.根据权利要求1所述的一种基于动态附加布隆过滤器的RFID数据冗余处理方法，其特征在于，步骤四中附加TRBF判断x是否冗余的方法为：
若映射的附加TRBF的l个数组单元中存在一个数据y使得TRBFb[hi(x.tagid)].tagid＝x.tagid、x.time-TRBFb[hi(x.tagid)].time≤τ(x.time＞TRBFb[hi(x.tagid)].time)以及x.readerid与TRBFb[hi(x.tagid)].readerid属于同一个划分区域同时成立，则x为冗余数据；
其中，l为附加TRBF的哈希函数个数；TRBFb为附加TRBF三维数组，表示为TRBFb[tagid][time][re...

【专利技术属性】
技术研发人员：段雯，周良，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32