一种高效的数据存储及查询管理方法技术

本发明专利技术公开了一种高效的数据存储及查询管理方法，包括数据存储过程和数据查询过程，其中，数据存储过程包括：内存数据存储单元将点位信息存储到内存单向链表簇中的同时索引缓存数据单元将点位信息存储到本地缓存文件中；过时数据清除单元定时清除过时的本地存档文件，并删除数据管理文件相关信息；数据查询过程包括：数据查询单元接收数据请求单元发送的数据请求生成查询请求，按照内存数据>缓存数据>存档数据的优先级的顺序进行数据查询，将查询到的查询数据返回至数据请求单元。本发明专利技术将数据以点位的形式按照时间序列同时进行内存、本地缓存文件和本地存档文件存储，提高了查询速度，保证宕机前数据不丢失，提高了宕机重启后的查询速度。机重启后的查询速度。机重启后的查询速度。

【技术实现步骤摘要】
一种高效的数据存储及查询管理方法


[0001]本专利技术涉及数据存储及查询
，尤其涉及一种高效的数据存储及查询管理方法。

技术介绍

[0002]传统监控系统中，往往随着点位历史数据存储量增多，点位数据查询速度变慢甚至查询失败，严重影响用户查询体验。另外，以往的监控系统中当存储点位历史数据量过大时，需要技术人员远程或者出差进行清除过时数据；在手动清除过时数据过程中，对正在运行的监控系统存在干扰，甚至直接影响到监控系统数据存储和查询过程。同时，在传统监控中，当平台或系统宕机时，宕机前一段时间数据经常丢失和重启后查询速度变慢。
[0003]在某些监控系统中常常采用关系性数据库对点位历史数据管理，当关系性数据库在表数据量比较大时，关系性数据库操作(读写)性能也会大大降低。在项目运维中，经常遇到系统运行一段时间后，数据查询速度明显下降，很多情况就是由于存储数据量大未能及时清理导致的。

技术实现思路

[0004]本专利技术主要解决现有的技术在监控系统中点位历史数据查询速度慢、需要定时清除过时数据、宕机恢复时数据丢失或查询速度慢的问题；提供一种高效的数据存储及查询管理方法，将从监控系统中采集的源数据以点位的形式按照时间序列进行内存、本地缓存文件和本地存档文件存储，以便达到快速查询点位历史数据、定时清除过时数据、保证宕机前数据不丢失和宕机恢复后对点位历史数据较快查询。
[0005]本专利技术的上述技术问题主要是通过下述技术方案得以解决的：本专利技术包括数据存储过程和数据查询过程，其中，
[0006]所述数据存储过程包括以下步骤：
[0007]A1、数据获取单元将采集到源数据分别发送到内存数据存储单元和索引缓存数据单元，同步执行步骤A2和步骤A3；
[0008]A2、内存数据存储单元将点位信息存储到内存单向链表簇中；
[0009]A3、索引缓存数据单元将点位信息存储到本地缓存文件中；
[0010]A4、过时数据清除单元定时清除过时的本地存档文件，并删除数据管理文件相关信息；
[0011]所述数据查询过程包括以下步骤：
[0012]B1、数据请求单元通过网络协议向数据查询单元发送数据请求；
[0013]B2、数据查询单元接收数据请求生成查询请求，按照内存数据>缓存数据>存档数据的优先级的顺序进行数据查询，将查询到的查询数据返回至数据请求单元。
[0014]将从监控系统中采集的源数据以点位的形式按照时间序列同时进行内存、本地缓存文件和本地存档文件存储，以便达到快速查询点位历史数据、定时清除过时数据、保证宕
机前数据不丢失和宕机恢复后对点位历史数据较快查询。
[0015]作为优选，所述的步骤A2具体包括：
[0016]A21、从头遍历内存中对应点位单向链表结点；
[0017]A22、计算当前系统时间time1与结点时间time0之差并记作ΔT0，若ΔT0>T1，则删除点位结点，并返回步骤A21，若ΔT0≤T1，则将time0记作Δtime0，终止遍历操作，执行步骤A23；
[0018]A23、将新点位结点追加到单向链表尾部，并将尾部结点指针记作ΔP0；
[0019]A24、将数据头中对应点位数据结点时间改为Δtime0，最后一个结点指针记作ΔP0。
[0020]作为优选，所述的步骤A3中，索引缓存数据单元接收到点位信息后以多线程方式将点位信息分别同时记录到多份备份缓存文件中。
[0021]作为优选，所述的步骤A3具体包括：
[0022]A31、索引缓存数据单元通过检测数据管理文件查询当前本地缓存文件创建时间time2；
[0023]A32、计算当前本地缓存文件创建时间time2与当前系统时间time1之差并记作ΔT1，若ΔT1>T2，则将当前缓存文件进行存档，删除对应备份缓存文件，修改数据管理文件中相关信息，重新创建本地新缓存文件并将创建缓存文件信息记录到数据管理文件，执行步骤A33，反之，若ΔT1≤T2，则直接执行步骤A33；
[0024]A33、将点位记录到本地缓存文件。
[0025]作为优选，所述的多份备份缓存文件之间相互校验。
[0026]缓存文件具有多个备份，备份之间相互校验，减少数据丢失或错误的概率。
[0027]作为优选，所述的步骤A4具体包括：
[0028]过时数据清除单元定时检测本地存档文件是否过时，计算存档时间time3与当前系统时间time1之差并记作ΔT2，若ΔT2>T3，则清除过时本地存档文件，并删除数据管理文件相关信息。
[0029]作为优选，所述的步骤B2具体包括：
[0030]B21、数据查询单元将查询请求传递至内存数据存储单元，内存数据存储单元依据查询请求时间和点位信息检测内存中点位数据是否满足查询请求，若满足，则从内存单向链表簇中获取查询数据，并将查询数据通过数据查询单元返回至数据请求单元，结束数据查询过程，反之，则执行步骤B22；
[0031]B22、内存数据存储单元将查询请求转发至索引缓存数据单元，索引缓存数据单元依据查询请求中的时间和点位信息检索数据管理文件，若满足查询请求的点位数据全部在本地缓存文件中，则从本地缓存文件中获取查询数据，并将查询数据依次通过索引缓存数据单元和数据查询单元返回至数据请求单元，结束数据查询过程，反之，则执行步骤B23；
[0032]B23、若步骤B22中满足查询请求的点位数据部分或全部在本地存档文件中，则向索引存档数据单元请求将对应的本地存档文件进行逆存档生成本地缓存文件，并修改数据管理文件相关信息，并将本地缓存文件生成完毕的消息发送至索引缓存数据单元；
[0033]B24、从步骤B23中生成的本地缓存文件中获取查询数据，并将查询数据依次通过索引缓存数据单元和数据查询单元返回至数据请求单元，结束数据查询过程。
[0034]作为优选，所述的步骤B23中本地存档文件逆存档生成的本地缓存文件的生命周期等于普通本地缓存文件时长。
[0035]本专利技术的有益效果是：将从监控系统中采集的源数据以点位的形式按照时间序列同时进行内存、本地缓存文件和本地存档文件存储，以便达到快速查询点位历史数据、定时清除过时数据、保证宕机前数据不丢失和宕机恢复后对点位历史数据较快查询。
附图说明
[0036]图1是本专利技术数据存储过程的一种流程图。
[0037]图2是本专利技术单向链表簇的一种结构示意图。
[0038]图3是本专利技术单向链表簇中的数据块的一种结构示意图。
[0039]图4是本专利技术缓存文件中的点位存储格式的一种结构示意图。
[0040]图5是本法明数据查询过程的一种流程图。
具体实施方式
[0041]下面通过实施例，并结合附图，对本专利技术的技术方案作进一步具体的说明。
[0042]实施例：本实施例的一种高效的数据存储及查询管理方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高效的数据存储及查询管理方法，其特征在于，包括数据存储过程和数据查询过程，其中，所述数据存储过程包括以下步骤：A1、数据获取单元将采集到源数据分别发送到内存数据存储单元和索引缓存数据单元，同步执行步骤A2和步骤A3；A2、内存数据存储单元将点位信息存储到内存单向链表簇中；A3、索引缓存数据单元将点位信息存储到本地缓存文件中；A4、过时数据清除单元定时清除过时的本地存档文件，并删除数据管理文件相关信息；所述数据查询过程包括以下步骤：B1、数据请求单元通过网络协议向数据查询单元发送数据请求；B2、数据查询单元接收数据请求生成查询请求，按照内存数据>缓存数据>存档数据的优先级的顺序进行数据查询，将查询到的查询数据返回至数据请求单元。2.根据权利要求1所述的一种高效的数据存储及查询管理方法，其特征在于，所述步骤A2具体包括：A21、从头遍历内存中对应点位单向链表结点；A22、计算当前系统时间time1与结点时间time0之差并记作
∆
T0，若
∆
T0>T1，则删除点位结点，并返回步骤A21，若
∆
T0≤T1，则将time0记作
∆
time0，终止遍历操作，执行步骤A23；A23、将新点位结点追加到单向链表尾部，并将尾部结点指针记作
∆
P0；A24、将数据头中对应点位数据结点时间改为
∆
time0，最后一个结点指针记作
∆
P0。3.根据权利要求1所述的一种高效的数据存储及查询管理方法，其特征在于，所述步骤A3中，索引缓存数据单元接收到点位信息后以多线程方式将点位信息分别同时记录到多份备份缓存文件中。4.根据权利要求3所述的一种高效的数据存储及查询管理方法，其特征在于，所述步骤A3具体包括：A31、索引缓存数据单元通过检测数据管理文件查询当前本地缓存文件创建时间time2；A32、计算当前本地缓存文件创建时间time2与当前系统时间time1之差并记作
∆
T1，若
∆
T1>T2，则将当前缓存文件进...

【专利技术属性】
技术研发人员：杨振伟，王陈淼，姜雪明，林杨平，谷阳，夏丽，
申请(专利权)人：浙江浙大中控信息技术有限公司，
类型：发明
国别省市：