一种大数据量设备实时监测数据的存储及检索方法技术

一种大数据量设备实时监测数据的存储及检索方法，包括：将数据文件按年、月存放在二级目录中；在监测信息实时记录的过程中每天生成一个索引文件和数据文件；索引文件分成两个部分，第一部分为索引目录，第二部分为周期数据索引；周期数据索引记录每个采集周期各个类型信息在数据文件具体位置地址以及数据长度，字节大小根据实际情况增加或减少字节数以达到最佳使用效果；当用户输入查询条件，选择需要查询的设备类型、数据类型以及起始时间t1、结束时间t2；通过简单匹配和计算依次取出当前数据文件中符合查询条件的所有信息值。本发明专利技术提供了一种大数据量设备实时监测数据的存储及检索方法。

【技术实现步骤摘要】
本专利技术涉及一种大数据量设备实时监测数据的存储及检索方法，特别涉及一种基于特定协议的实时监测数据的文件存储及高效数据检索方法。
技术介绍
文件数据库又叫嵌入式数据库，将整个数据库的内容保存在单个索引文件中，以便于数据库的发布。而传统数据库(如DB2, Oracle, SQL server等)数据保存的方式各异。传统的数据库需要通过一些数据库引擎来访问，由于文件型数据库保存在单一文件中，数据库的部署和发布都比较简单，适用于内嵌在应用程序中。数据量不是太大时，速度比传统数据库要快。文本类型数据文件安全性差，数据检索效率低等特点。特别是海量监测数据的 存储，一般情况下都是存传统数据库或者文本文件，传统数据库需要额外安装庞大的数据库软件，而且还有很多限制，如SQL Server2000中的VarChar类型最大只能存8000字符，Access文件单个最大只能支持4GB文件。而对于数据检索来说，最重要的就是检索的精度与速度。检索的精度基本取决于编程人员的水平，而检索的速度则受到多种因素的影响。其中，索引技术是数据库管理系统中最常用的提高检索速度的手段。文本数据文件则缺乏较高的数据检索效率，一般监测本文档来自技高网...

【技术保护点】
一种大数据量设备实时监测数据的存储及检索方法，其特征在于：包括如下步骤：将数据文件按年、月存放在二级目录中；索引文件与数据文件均为二进制文件，具有不同的扩展名，且都遵循相同的命名规则，即文件名中包含年月日时间标识，年月日时间标识用于索引文件和数据文件的初级检索；在监测信息实时记录的过程中每天生成一个索引文件和数据文件；索引文件分成两个部分，第一部分为索引目录，第二部分为周期数据索引；索引目录记录每一分钟起始周期数据索引的地址位置信息，若每日单个数据文件小于4GB，那么地址位置信息用4个字节表示，若每日单个数据文件大于4GB小于1TB，那么地址位置信息用5个字节表示；索引目录总计占用字节数=每分...

【技术特征摘要】
1.一种大数据量设备实时监测数据的存储及检索方法，其特征在于包括如下步骤将数据文件按年、月存放在二级目录中；索引文件与数据文件均为二进制文件，具有不同的扩展名，且都遵循相同的命名规则，即文件名中包含年月日时间标识，年月日时间标识用于索引文件和数据文件的初级检索； 在监测信息实时记录的过程中每天生成一个索引文件和数据文件； 索引文件分成两个部分，第一部分为索引目录，第二部分为周期数据索引； 索引目录记录每一分钟起始周期数据索引的地址位置信息，若每日单个数据文件小于4GB，那么地址位置信息用4个字节表示，若每日单个数据文件大于4GB小于1TB，那么地址位置信息用5个字节表示；索引目录总计占用字节数=每分钟单位地址字节数*60分钟*24小时，按照每分钟单位地址占用4字节计算，索引目录总计占用5760字节； 周期数据索引记录每个采集周期各个类型信息在数据文件具体位置地址以及数据长度，字节大小根据实际情况增加或减少字节数以达到最佳使用效果； 当用户输入查询条件，选择需要查询的...

【专利技术属性】
技术研发人员：蒋书贵，陈章恒，叶守强，林健金，池垂淡，范元飞，李小进，周锦惠，林学通，席春明，
申请(专利权)人：福建亿同世纪软件有限公司，
类型：发明
国别省市：