本发明专利技术提供一种采用分布式LSM树的RFID系统设计方法，RFID（RadioFrequencyIdentification）射频识别技术在近期呈现数据量明显增高的趋势，逐渐形成海量数据，具备大数据的特征。针对基于分布式LSM树的RFID系统实现，本发明专利技术的基本思想是：在分布式数据平台Hadoop上进行海量RFID数据冗余存储，并代替传统常用的B+树索引结构，使用一种新型的数据索引结构－LSM树，充分利用其基于内存的处理数据优势，进行海量RFID数据的实时校验存储。
【技术实现步骤摘要】
一种采用分布式LSM树的RFID系统设计方法
本专利技术涉及计算机大数据
，具体地说是一种采用分布式LSM树的RFID系统设计方法。
技术介绍
RFID (Rad1 Frequency Identificat1n)射频识别技术，是一种快速的、非接触式的识别技术，基于低成本，易使用，技术成熟等特点，RFID技术已经被广泛应用到各个领域中。基于RFID技术的应用系统会实时产生大量数据，这些原始数据经由RFID阅读器交给数据处理系统，一方面此系统要对大量数据进行存储；另一方面还要对错误信息进行实时校验。这两方面都是目前亟待解决的问题。 现有的海量数据管理技术部分是基于B+树的磁盘索引技术，B+树是一种高效的基于磁盘保存的数据结构，B+树虽然提供了快速的数据查找、快速的数据遍历，但B+树在读取期间会造成大量的磁盘随机1/0，在存取海量数据时，不能发挥其优势。所以，磁盘索引对于高实时性大吞吐量的RFID数据处理系统来说不能满足其高速存取要求。而在读取有复杂结构的RFID标签时，数据处理系统将面临很大的负载，往往不能达到实时性的要求。 LSM树就是将对数据的修改增量保持在内存中，达到指定的大小限制后将这些修改操作批量写入磁盘，读取时需要合并磁盘中的历史数据和内存中最近的修改操作。LSM树的优势在于有效地规避了磁盘随机写入问题。
技术实现思路
本专利技术的目的是提供一种采用分布式LSM树的RFID系统设计方法。 本专利技术的目的是按以下方式实现的，在分布式数据平台Hadoop上进行海量RFID数据冗余存储，并代替传统常用的B+树索引结构，使用LSM树数据索引结构，充分利用其基于内存的处理数据优势，进行海量RFID数据的实时校验存储，具体步骤如下:(1)搭建集群需要搭建集群，包括分布式数据平台和分布式数据库集群，首先根据集群机器的负载能力设置好数据块大小，配置好分布式数据平台主节点和从节点，当产生文件读写操作时，读写操作发起者Client和主节点、从节点进行RPC通信，三者共同使读写过程维持一致性，通过心跳机制检测着集群的运行状态，然后，将分布式数据库同样配置为主从结构，配置好Reg1n大小，Hmaster和Reg1nserver相互通信,维持着分布式数据库系统的健壮性；(2)设计分布式存储表结构由于存储的是海量RFID数据，在数据库设计上首先考虑扩展性原则和实时存取原贝U，Hbase表结构是以按照列族为存储单位的，构建好集群后，首先简历表，再分别建立client, funct1n, time, other四个列族，client列族对应着发起RFID操作的用户，funct1n代表着RFID这一操作要完成的具体事件，time表示发起RFID这一操作的时间，other表示其他,将原始的数据加入到表中，对应可在相应列族下扩展列，client要增加一个age选项,可直接在相应列族下添加列age ；当需要检验海量RFID数据时，将LSM树直接读入内存，这样避免了 B+树中大量的磁盘读取，以提高读取速度，当需要添加其他信息时，在other列族中进行添加扩展即可。 本专利技术的目的有益效果是=Hadoop分布式平台的冗余备份机制可以解决大量RFID数据存储的问题，默认为3份备份。并为数据块提供冗余校验机制，当数据块产生损坏时，可及时回复正确数据。利用自身的Namenode和Datanode主从结构进行数据的管理。基于Hbase的分布式数据库特点，利用LSM树的优势，将需要读写的RFID数据逐步加入到Hbase表中，这样大部分的读写操作将会在内存中进行，实时性和性能上将会满足要求。 【附图说明】 图1是Hbase表结构图；图2是系统结构不意图。 【具体实施方式】 参照说明书附图对本专利技术的采用分布式LSM树的RFID系统设计方法作以下详细地说明。 在分布式数据平台Hadoop上进行海量RFID数据冗余存储，并代替传统常用的B+树索引结构，使用LSM树数据索引结构，充分利用其基于内存的处理数据优势，进行海量RFID数据的实时校验存储，具体步骤如下:(1)搭建集群需要搭建集群，常用的是分布式数据平台和分布式数据库集群。首先根据集群机器的负载能力设置好数据块大小，配置好分布式数据平台主节点和从节点。以Hadoop为例，当产生文件读写操作时，读写操作发起者Cl ient和主节点、从节点进行RPC通信，三者共同使读写过程维持一致性，通过心跳机制检测着集群的运行状态。然后，将分布式数据库同样配置为主从结构，以Hbase为例，配置好Reg1n大小,Hmaster和Reg1nserver相互通信,维持着分布式数据库系统的健壮性；(2)设计分布式存储表结构由于存储的是海量RFID数据，在数据库设计上首先考虑扩展性原则和实时存取原贝U。Hbase表结构是以按照列族为存储单位的，构建好集群后，首先简历表，再分别建立client, funct1n, time, other四个列族，client列族对应着发起RFID操作的用户(可以是贴有RFID标签的指定设备，物体等)，funct1n代表着RFID这一操作要完成的具体事件(如进门，发送信号等)，time表示发起RFID这一操作的时间,other表示其他。将原始的数据加入到表中。对应可在相应列族下扩展列，比如client要增加一个age选项,可直接在相应列族下添加列age，而此操作对于传统的基于B+树的关系型数据库是很难进行扩展的，并且列中值为NULL的数据不在磁盘中存储，所以，该分布式数据库在扩展性上是能满足要求的。 当需要检验海量RFID数据时，将LSM树直接读入内存，这样避免了 B+树中大量的磁盘读取，可以提高读取速度。当需要添加其他信息时，可以在other列族中进行添加扩展。 除说明书所述的技术特征外，均为本专业技术人员的已知技术。本文档来自技高网...
【技术保护点】
一种采用分布式LSM树的RFID系统设计方法, 其特征在于, 在分布式数据平台Hadoop上进行海量RFID数据冗余存储，并代替传统常用的B+树索引结构，使用LSM树数据索引结构，充分利用其基于内存的处理数据优势，进行海量RFID数据的实时校验存储,具体步骤如下：（1）搭建集群需要搭建集群，包括分布式数据平台和分布式数据库集群，首先根据集群机器的负载能力设置好数据块大小，配置好分布式数据平台主节点和从节点，当产生文件读写操作时，读写操作发起者Client和主节点、从节点进行RPC通信，三者共同使读写过程维持一致性，通过心跳机制检测着集群的运行状态，然后，将分布式数据库同样配置为主从结构，配置好Region大小，Hmaster和Regionserver相互通信，维持着分布式数据库系统的健壮性；（2）设计分布式存储表结构由于存储的是海量RFID数据，在数据库设计上首先考虑扩展性原则和实时存取原则，Hbase表结构是以按照列族为存储单位的，构建好集群后，首先简历表，再分别建立client，function，time，other四个列族，client列族对应着发起RFID操作的用户，function代表着RFID这一操作要完成的具体事件，time表示发起RFID这一操作的时间，other表示其他，将原始的数据加入到表中，对应可在相应列族下扩展列，client要增加一个age选项，可直接在相应列族下添加列age；当需要检验海量RFID数据时，将LSM树直接读入内存，这样避免了B+树中大量的磁盘读取，以提高读取速度，当需要添加其他信息时，在other列族中进行添加扩展即可。...
【技术特征摘要】
1.一种采用分布式LSM树的RFID系统设计方法，其特征在于，在分布式数据平台Hadoop上进行海量RFID数据冗余存储，并代替传统常用的B+树索引结构，使用LSM树数据索引结构，充分利用其基于内存的处理数据优势，进行海量RFID数据的实时校验存储，具体步骤如下: (1)搭建集群 需要搭建集群，包括分布式数据平台和分布式数据库集群，首先根据集群机器的负载能力设置好数据块大小，配置好分布式数据平台主节点和从节点，当产生文件读写操作时，读写操作发起者Client和主节点、从节点进行RPC通信，三者共同使读写过程维持一致性，通过心跳机制检测着集群的运行状态，然后，将分布式数据库同样配置为主从结构，配置好Reg1n大小，Hmaster和Reg1nserver相互通信,维持着分布式数据库系统的健壮性；...
【专利技术属性】
技术研发人员：王闯，李克学，戴鸿君，于治楼，
申请(专利权)人：浪潮集团有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。