一种大数据量信息存储与访问方法技术

本发明专利技术提供了一种大数据量信息存储与访问方法，包括S1，数据存储：对路测数据进行解码并进行分类组织并存储到索引文件和数据文件；S2，数据访问：查找数据块缓存列表，若查找到所需数据位置，则确定待访问的数据块；若不能查找到所述数据块位置，则通过查找所述索引块对应的数据块确定所述数据块位置，若不能成功查找到所述索引块对应的所述数据块，则结束访问；若成功查找到所述索引块对应的所述数据块位置，则加载所述索引块对应的所述数据块，并将所述数据块添加到数据块缓存列表，确定待访问的数据块。本发明专利技术的方法通过自定义组织数据块与索引块，能够很快地通过索引块对应数据块的长度、精确进行统计，统计出某类信息所有数据块的大小。

【技术实现步骤摘要】

本专利技术涉及数据存储与访问
，尤其涉及一种用于路测数据解码后及统计分析结果后的存储与访问方法。
技术介绍
现有技术中，为实现B/S架构的应用平台对路测数据解码存储与统计分析，需要在服务器端实现解码后数据存储成二进制文件，并要对某些条件下的解码后数据，如一个省份的路测数据、一年时长的路测数据，进行统计分析，把统计分析结果存储成临时文件，客户端请求呈现所需的条件段时，从统计分析结果文件中读取相关数据并传回至客户端。但是现有技术统计数据所需的时间较长，统计的数据结果不够精确。
技术实现思路
本专利技术的目的在于设计一种新型的大数据量信息存储与访问方法，解决上述问题。为了实现上述目的，本专利技术采用的技术方案如下，包括，SI，数据存储对路测数据进行解码，将解码所述路测数据得到的信息进行分类组织并存储到索引文件和数据文件；所述索引文件由不同存储类型的索引块组成，所述索引块包括所述数据文件中的偏移位置、数据块长度、起始索引序号和结束索引序号；所述数据文件由数据块组成，一个所述数据块记录的条数为所述索引块的结束索引序号-起始索引序号+1条；所述索引文件和所述数据文件一一对应；S2，数据访问查找数据块缓存列表，若查找到所需数据位置，则确定待访问的数据块；若不能查找到所述数据块位置，则通过查找所述索引块对应的数据块确定所述数据块位置，若不能成功查找到所述索引块对应的所述数据块，则结束访问；若成功查找到所述索引块对应的所述数据块位置，则加载所述索引块对应的所述数据块，并将所述数据块添加到数据块缓存列表，确定待访问的数据块；从确定的待访问的数据块中读出要访问的数据。优选的，所述索引文件和所述数据文件均为二进制文件。优选的，所述路测数据的存储格式版本能够向前兼容访问，具体包括三种兼容访问模式a、在程序中针对修改过的数据块兼容访问；b、通过数据块中版本信息区分兼容访问；C、通过新建存储类型区分，包括新添加数据块与索引块，通过索引文件中存在的存储类型ID兼容访问。优选的，所述数据访问还包括先在索引文件中查找要访问的采样点所处的索引块，然后通过索引块中的所述数据文件中的偏移位置在数据文件中读取数据块的长度，再按照所述数据块的格式还原成要访问的数据流。优选的，所述数据块缓存在内存，并在内存中设置缓存存储所述数据块的数量。优选的，所述设置缓存存储所述数据块的数量，具体为，能够存储的所述数据块的数量设定为3，包括上一个数据块、当前数据块和下一个数据块，当所述数据块的数量超过 3时，对访问频率低的数据块进行清理。优选的，所述数据文件为数据存储文件，当路测数据存满一个数据块时向所述数据文件写入一次，每向所述数据文件中写入一个所述数据块，同时向索引文件写入一个对应的索引块。优选的，所述索引文件内容全部缓存在内存。本专利技术的有益效果可以总结如下本专利技术的大数据量信息存储与快速访问方法，通过自定义组织数据块与索引块，定制适合特定功能的存储与快速访问方法，本专利技术能够很快地通过索引块对应数据块的长度、精确进行统计，统计出某类信息所有数据块的大小。附图说明图I是本专利技术的大数据量信息存储与访问方法流程图；图2是本专利技术通过数据块和索引块查找数据的方法流程图。具体实施例方式为了使本专利技术所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图I所述的本专利技术的大数据量信息存储与访问方法流程图，包括以下步骤本专利技术大数据量信息存储原理如下SI，数据存储对路测数据进行解码，将解码所述路测数据得到的信息进行分类组织并存储到索引文件和数据文件；所述索引文件由不同存储类型的索引块组成，所述索引块包括所述数据文件中的偏移位置、数据块长度、起始索引序号和结束索引序号；所述数据文件由数据块组成，一个所述数据块的大小为所述索引块的结束索引序号-起始索引序号+1条记录；所述索引文件和所述数据文件一一对应。索引块内容有 成员名称数据类型rimOffSetlong long 数据文件中的偏移位置BlockLen int数据块的长度Start Indexint起始索引序号 End Indexint结束索引序号本专利技术大数据量信息存储原理是借鉴的数据库的设计原理，数据块与数据表一样要有关键字，即基于某一序号进查找，如定位某条信令是根据釆样点序号，定位某个GPS点是根据GPS采样点序号等。解码路测数据所得是路测数据以二进制形式进行存储，储存在小的索引文件和大的数据文件中，二进制数据文件有效存储内容达99. 9%以上，除在数据块中有部分标记是为了存储格式版本兼容用的外，其余字节都是有效信息。存储格式版本可以一直向前兼容,具体有三种兼容访问方式一是在程序中针对修改过的数据块兼容访问；二是通过数据块中版本信息区分兼容访问；三是通过新建存储类型区分，包括新添加数据块与索引块，通过索引文件中存在的存储类型ID兼容访问。另外通过索引块存储格式设计统计出某类信息所占存储空间，以信令内容来说，假设共存有η个索引块(η>0):信令内容存储大小(Byte)=(索引块l*20Byte+索引块I. BlockLen)+(索引块 2*20Byte+ 索引块 2. BlockLen)+......+ (索引块 n*20Byte+ 索引块 n. BlockLen)。 反过来可以根据各类信息所占比例，以确定解码输出内容的合理性，以及我们存储格式是否可以再优化等。综上所述，存储访问设计借鉴了数据库设计，但是不需要数据库那么强大的管理，只是取其简易的存储访问设计即可更高效地支承产品组的统计需求。本专利技术大数据量信息访问原理如下S2，数据访问查找数据块缓存列表，若查找到所述数据块位置，则确定待访问的数据块；若不能查找到所述数据块位置，则通过查找所述索引块对应的数据块确定所述数据块位置，若不能成功查找到所述索引块对应的所述数据块，则结束访问；若成功查找到所述索引块对应的所述数据块位置，则加载所述索引块对应的所述数据块，并将所述数据块添加到数据块缓存列表，确定待访问的数据块；从确定的待访问的数据块中读出要访问的数据。以访问某条记录的原理为例，假设总信令记录条数为TotalCount (大于O)，我们要访问信令序号为 CurIndex(0 < = CurIndex < = TotalCount-I)的信令。第一步,从索引文件(*. ddi)中查找包含CurIndex的信令索引块CurIndexBlock,即 CurIndexBlock. Start Index < = CurIndex < = CurIndexBlock. EndIndex ；第二步,在数据文件O. ddb)中定位到CurIndexBlock. OffSet值的位置，并读取长度为CurIndexBlock. BlockLen的二进制内容,这就是包含我们要访问的包含CurIndex的信令数据块CurDataBlock ；第三步,从CurDataBlock中取得CurIndex条信令内容。所述索引文件(*. ddi):索引文件内容全部缓存在内存，索引文件中每一个索引块(称之为IndexBlock)所占的20个字节，对本文档来自技高网...

【技术保护点】
一种大数据量信息存储与访问方法，其特征在于：包括，S1，数据存储：对路测数据进行解码，将解码所述路测数据得到的信息进行分类组织并存储到索引文件和数据文件；所述索引文件由不同存储类型的索引块组成，所述索引块包括所述数据文件中的偏移位置、数据块长度、起始索引序号和结束索引序号；所述数据文件由数据块组成，一个所述数据块记录的条数为：所述索引块的结束索引序号一起始索引序号+1条；所述索引文件和所述数据文件一一对应；S2，数据访问：查找数据块缓存列表，若查找到所需数据位置，则确定待访问的数据块；若不能查找到所述数据块位置，则通过查找所述索引块对应的数据块确定所述数据块位置，若不能成功查找到所述索引块对应的所述数据块，则结束访问；若成功查找到所述索引块对应的所述数据块位置，则加载所述索引块对应的所述数据块，并将所述数据块添加到数据块缓存列表，确定待访问的数据块；从确定的待访问的数据块中读出要访问的数据。

【技术特征摘要】

【专利技术属性】
技术研发人员：张勇，刘烈山，
申请(专利权)人：珠海世纪鼎利通信科技股份有限公司，
类型：发明
国别省市：