海量数据存储和检索方法技术

本发明专利技术公开了一种海量数据存储和检索方法，包括以下步骤：(1)、在服务器的文件系统中，按时间段建立目录，每个目录下包含众多.data命令的设备数据文件；(2)、服务器收到设备上传数据后，根据数据上报时段将同一时间段上报的所有数据汇总到以该时间段命名的目录下；(3)、进行数据存储时，先缓存一定规模的上报数据，当缓存数据达到设定规模时，一次性集中刷新到服务器的文件系统中；(4)、查询数据时，根据所需查询的设备标识(id)与时间段，读取相应文件并筛选出查询结果。本发明专利技术降低了存储大量设备连续不间断上传数据造成的服务器IO压力，提高了能并发支持的上传设备的数目，同时在读/写性能上取得了较好的平衡。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，具体地讲是一种。
技术介绍
随着互联网的普及和智能终端设备的广泛使用，越来越多的终端设备现在可以接入互联网，并通过网络进行远程访问、控制和监控状态。如何有效地存储大量设备(千万级别)连续不间断上传的状态信息，对于实现对大量设备的在线监控和历史状态查询是一个关键的问题。例如，在物流行业中，车辆的位置信息流，需要连续不断上传到服务器上进行存储，上传的数据是24小时不间断的，由于车辆数目众多，由此会产生海量的数据需要被服务器存储，对服务器存储系统造成的IO负荷是巨大的。在这样的场景下，能否实现海量 信息存储及快速检索，对于收集和查询大量设备的状态信息起到举足轻重的作用。解决这一个问题的关键就是如何有效减少在大量数据连续不间断的写入服务器存储系统的时候给系统带来的巨大写入(存储)压力，并且在提供足够写入能力的前提下，维持好的读(检索)性能，在存储和检索之间获得平衡。在这个场景中，目前存在的方案主要依靠关系数据库作为检索和存储，而这类方案，往往无法支撑千万级别的设备同时连续不间断的上传数据。缓存技术开始被应用于海量级数据的存储和检索，部分地解决和缓解了上述问题。如本文档来自技高网...

【技术保护点】
海量数据存储和检索方法，其特征在于：包括以下步骤：(1)、在服务器的文件系统中，按时间段建立目录，每个目录下包含众多.data命令的设备数据文件，每个设备数据文件存放对应设备id在指定时间段的所有数据记录；(2)、服务器收到设备上传数据后，根据数据上报时段将同一时间段上报的所有数据汇总到以该时间段命名的目录下，然后根据设备标识(id)把某时段内一个或多个设备的上报数据汇总到以该时段命名的目录下的与该设备标识关联的文件内；(3)、进行数据存储时，先缓存一定规模的上报数据，并按步骤1和2对缓存数据进行规整，当缓存数据达到设定规模时，一次性集中刷新到服务器的文件系统中；(4)、查询数据时，根据所需查...

【技术特征摘要】

【专利技术属性】
技术研发人员：唐耀斌，朱文俊，
申请(专利权)人：深圳市谷米科技有限公司，
类型：发明
国别省市：