一种实时更正数据的存储与缓存读取方法技术

本发明专利技术涉及一种大规模实时更正数据的存储与缓存读取方法，属于计算机数据管理技术领域。本发明专利技术面向工业物联网、气象信息网中出现的一类重要的实时更正数据，数据读取以按时间维度的批量读取为主，数据量大且需要进行实时更正。本发明专利技术方法实现数据存储、数据直接读取与数据缓存读取，既能快速返回数据，又支持更正数据的实时更新，并通过缓存提升用户获取速度的时间。本发明专利技术克服了目前的分布式系统中广泛存在的大规模实时更正数据存储和读取性能无法达到要求的难题，方法直观有效、便于使用。

【技术实现步骤摘要】
一种实时更正数据的存储与缓存读取方法
本专利技术涉及一种实时更正数据的存储与缓存读取方法，属于计算机数据管理

技术介绍
实时数据是指从过程控制系统中实时采集的数据、向过程控制系统实时发送的数据以及对实时数据进行各种实时计算直接产生的中间数据。实时数据可来自传感器(如GPS等)、摄像头、新闻消息、卫星、雷达、股票行情、服务器日志、传统缓存或者分布式系统(如Hadoop、Spark)中的数据。实时数据具有时效性，随着时间的推移，实时数据值就会逐渐失去价值。众多行业及工作都能够从实时数据的处理方案中获得助益，例如天气预报通过实时气象数据提高预报准确率、工业设备通过实时监控数据提高健康状况等等。实时数据能够通过管理数据实时变化迅速建立起形势判断，最终将其转化为能够提升企业业绩的决策工具。在现实生活中，对于实时数据的读取，典型的需求为按照时间维度读取。例如：中国气象局观测到全球气温的实时情况；春运期间客流群体的流向情况。对于此类需求，为加快读取速度，在存储的时候就将数据按照时间维度存储较为合适，存取的粒度较粗，可以是该时间的全量数据或部分数据。但由于观测设备或网络传输的原因，经常会发本文档来自技高网...

【技术保护点】
一种实时更正数据的存储与缓存读取方法,其特征在于该方法包括以下步骤：(1)数据存储，具体步骤如下：(1‑1)建立数据存储表T

【技术特征摘要】
1.一种实时更正数据的存储与缓存读取方法,其特征在于该方法包括以下步骤：(1)数据存储，具体步骤如下：(1-1)建立数据存储表T1和更新数据存储表T2，所述的数据存储表T1用于存储设定时刻下的数据，数据存储表T1以该设定时刻为主键或索引项，数据存储表T1中相邻数据的时刻间隔为Tt，存储数据的有效时间为Tm，所述的更新数据存储表T2用于存储对数据存储表T1中存储的数据进行更新的信息，以数据的更新时刻tu为主键或索引项；(1-2)按照时刻间隔Tt，获取当前时刻tc的待处理实时数据，将当前时刻tc获取的待处理实时数据存成一个文件，以文件形式存放在T1表中，同时删除数据存储表T1和更新数据存储表T2中数据获取时刻小于tc-Tm的数据；(1-3)获取更新的数据，若数据的更新时刻tu大于tc-Tm,则把新数据存储在更新数据存储表T2中；(2)数据读取，具体步骤如下：数据直接读取：(2-1)从数据存储表T1中读取设定时刻ta的数据D1；(2-2)从更新数据存储表T2读取设定时刻ta的更新数据D2；(2-3)用更新数据D2中的更新数据替代数据D1中相对应的数据；(2-4)将读取数据D1返回用户；或数据缓存读取：(2-5)建立一个预读取队列Qc和一个缓存C1，其中预读取队列Qc存储缓存时刻，缓存C1用于存储该缓存时刻的数据；(2-6)从缓存C1中读取设定时刻ta的数据，判断缓存C1中是否存在设定时刻ta的数据，若设定时刻ta的数据在缓存C1中，则读取缓存C1中设定时刻ta的数据，返回给用户，进行步骤(2-11)，若设定时刻ta的数据不在缓存C1中，则进行步骤(2-7)；(2-7)从数据存储表T1中读取设定时刻ta的数据D1；(2-8)从更新数据存储表T2读取设定时刻ta的更...

【专利技术属性】
技术研发人员：王建民，黄向东，董一峰，龙明盛，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11