数据查询方法和装置制造方法及图纸

技术编号:6109351 阅读:194 留言:0更新日期:2012-04-11 18:40
本发明专利技术提供一种数据查询方法和装置。其中该方法包括:在向存储模块的主存中的写入缓存区写数据的过程中,获取所述写入缓存区写满数据时的时间;将所述写入缓存区中的数据以页为单位存储到所述存储模块的NAND闪存中;接收所述NAND闪存返回的存储所述数据的页地址,建立包括所述时间和所述页地址对应关系的时间日志并存储在所述存储模块,供以时间为索引进行数据查询,通过本发明专利技术提供的数据查询方法和装置,实现了对具有时序特性的数据,以时间为索引进行查询对应的数据,大大提高了数据查询的速度。

【技术实现步骤摘要】

本专利技术属于数据处理技术,尤其涉及一种数据查询方法和装置
技术介绍
随着无线传感器网络的发展,传感数据量也急剧增长,把传感数据在传感器本地 存储,实现以数据为中心的传感器网络已成为传感器网络的一个研究热点。现有的传感 器节点的存储能力有限,如低端的MicaZ节点只有512kByte,高端的Imote2节点也仅有 32MByte存储,且能量有限,主要是电池供电。因此NAND闪存以其容量大,体积小,成本低, 能耗低的特点,是现在嵌入式系统大容量存储扩展的首选,然而NAND闪存的读写擦除及寿 命又有其独特的特点以页为单位读写;以块为单位擦除,且每次写一个用过的页之前必 须擦除其所在的块;NAND闪存的总的擦除次数有限为10000 100000次,因此传统的数据 索引系统无法在NAND闪存上有效的工作,这为传感器存储扩展提出了挑战,现有针对NAND 闪存在嵌入式系统中的应用的研究工作主要集中在(1)能耗优化能耗几乎所有的闪存传感器索引或文件系统都要考虑的问题,现有技术中由微软 研究院提出的高效节能的传感器数据索引系统Flash Logger,它为存储和运算能力有限的 传感器节点设计了一个新颖的数据结构有效地组织和压缩了存储在闪存中的数据,并且能 够有效的对压缩的数据进行索引和查询。(2)主存空间优化传感器节点的内存也是一个非常有限的资源,在现有的方法中,只有麻省大学的 Capsule系统和微软研究院的Flash Logger系统在设计中考虑了节点内存空间的使用优 化问题。Capsule采用了硬件抽象层,隐藏了从应用程序到闪存之间的数据操作,并使用日 志索引结构设计以及写入缓存来提高主存使用效率。Flash Logger的主存优化后的代码 使用大约500行nesC语言构成,共占用Moteiv公司的Tmote Sky节点大约14KB ROM和 1. 5KB RAM 空间。(3)时序数据优化针对无线传感网络时序数据本身的特点,目前仅有Flash Logger提供了简单的特 定的时间范围内检索压缩过的时序数据的功能,但是,其实验的结果表明随着时间窗口的 增量查询成本明显增加,所以可以说并没有针对时序数据进行针对性的优化。然而,在无线传感器节点利用有限的主存空间支持大容量的NAND闪存方面的研 究中,针对海量数据进行查询时对速度,能耗的要求越来越高,目前应用NAND闪存的传感 器网络没有根据传感器数据的时序特性来进行数据查询,也没有根据NAND闪存的读写擦 除和寿命特征对数据的查询系统做进一步地优化。
技术实现思路
针对现有技术的上述缺陷,本专利技术实施例提供一种数据查询方法和装置。本专利技术实施例提供一种数据查询方法,包括在向存储模块的主存中的写入缓存区写数据的过程中,获取所述写入缓存区写满 数据时的时间;将所述写入缓存区中的数据以页为单位存储到所述存储模块的NAND闪存中;接收所述NAND闪存返回的存储所述数据的页地址,建立包括所述时间和所述页 地址对应关系的时间日志并存储在所述存储模块,供以时间为索引进行数据查询。本专利技术实施例提供一种数据查询装置,包括存储模块、获取模块和处理模块,其 中,所述存储模块包括主存和NAND闪存,所述主存中包括写入缓存区和读取缓存区,其中,所述获取模块,用于在向所述写入缓存区写数据的过程中,获取所述写入缓存区 写满数据时的时间;处理模块,用于将所述写入缓存区中的数据以页为单位存储到所述NAND闪存中, 并接收所述NAND闪存返回的存储所述数据的页地址,建立包括所述时间和所述页地址对 应关系的时间日志,并存储在所述存储模块中;查询模块,用于以时间为索引进行数据查询。本专利技术实施例提供的数据查询方法和装置,通过根据数据的时序性特点,建立包 括写入缓存区写满数据的时间和将写满的数据存储到NAND闪存中的页地址对应关系的时 间日志,实现了对具有时序特性的数据,以时间为索引进行查询对应的数据,大大提高了数 据查询的速度。附图说明图1为本专利技术数据查询方法实施例流程图;图2为本专利技术数据查询方法实施例中以时间为索引进行数据查询的流程图;图3为本专利技术数据查询方法实施例中数据查询过程中时间比较次数和扇出系数 的关系示意图;图4为本专利技术数据查询方法实施例中级联树索引结构示意图;图5为本专利技术数据查询装置实施例结构示意图;图6为本专利技术数据查询装置另一实施例结构示意图。具体实施例方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例 中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是 本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。本专利技术针对现有技术中应用NAND闪存的传感器网络并没有根据传感器数据的时 序特性来进行数据查询,也没有根据NAND闪存的读写擦除和寿命特征对数据的查询系统 做进一步地优化等缺陷,提出了一种解决方案即通过根据数据的时序性特点,建立包括写 入缓存区写满数据的时间和将写入缓存区中写满的数据存储到NAND闪存中的页地址对应 关系的时间日志,实现了对具有时序特性的数据,以时间为索引进行查询对应的数据,大大 提高了数据查询的速度。图1为本专利技术数据查询方法实施例流程图,如图1所示,该方法包括步骤100,在向存储模块的主存中的写入缓存区写数据的过程中,获取所述写入缓 存区写满数据时的时间;在向存储模块的主存中的写入缓存区写数据的过程中,每当数据装满一个写入缓 存区,就把写入缓存区中最后写入数据的时间提取出来用做整个写入缓存区所写入的数据 的标记。步骤101,将所述写入缓存区中的数据以页为单位存储到所述存储模块的NAND闪 存中;把写满的写入缓存区中的数据以页为单位存储到存储模块的NAND闪存中。步骤102,接收所述NAND闪存返回的存储所述数据的页地址,建立包括所述时间 和所述页地址对应关系的时间日志并存储在所述存储模块,供以时间为索引进行数据查 询。NAND闪存返回存储写入缓存区中数据的页地址后,建立包括用于标记写入缓存区 写满数据时的时间和存储写入缓存区中数据的页地址对应关系的时间日志,并将时间日志 存储在存储模块中,供以时间为索引进行数据查询,可有效的支持无论是对时间点还是对 时间区间内写入的数据进行查询,具体地,当时间日志存储在存储模块的主存空间里,以时 间为索引进行数据查询时,查询速度非常快,但是占用的主存空间比较大;当时间日志存储 在存储模块的NAND闪存中,以时间为索引进行数据查询时,每次都要访问NAND闪存,查询 速度较慢,但是节约了有限的主存空间。本实施例提供的数据查询方法,通过根据数据的时序性特点,建立包括写入缓存 区写满数据的时间和将写入缓存区中写满的数据存储到NAND闪存中的页地址对应关系的 时间日志,实现了对具有时序特性的数据,以时间为索引进行查询对应的数据,大大提高了 数据查询的速度。进一步地,根据NAND闪存以页为单位的特殊读写特性,根据具体应用的NAND闪 存,将写入缓存区的容量设置为NAND闪存的页容量,在写入缓存区写满数据时,以页为单 位存储到存储模块的NAND闪存芯片中,在NAND闪存中刚好存储了一页,提本文档来自技高网
...

【技术保护点】
1.一种数据查询方法,其特征在于,包括:在向存储模块的主存中的写入缓存区写数据的过程中,获取所述写入缓存区写满数据时的时间;将所述写入缓存区中的数据以页为单位存储到所述存储模块的NAND闪存中;接收所述NAND闪存返回的存储所述数据的页地址,建立包括所述时间和所述页地址对应关系的时间日志并存储在所述存储模块,供以时间为索引进行数据查询。

【技术特征摘要】

【专利技术属性】
技术研发人员:李欢梁栋
申请(专利权)人:北京航空航天大学
类型:发明
国别省市:11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1