【技术实现步骤摘要】
本专利技术涉及实时数据库优化,具体涉及一种工业生产过程历史数据即时统计的缓存及索引方法。
技术介绍
1、智能化技术在现代工业领域所起到的作用日益突出。作为工业智能化载体的各类工业软件在传统的制造业中起到了越来越重要的作用。而随着制造业智能化程度的加深，在工业生产各个环节中，无论是智能调度、故障告警、实时监控或者自动化操作等环节，每个环节都离不开各类工业软件的深度参与，这其中会产生海量的数据需要被及时存储，以及对各环节产生数据的即时检索、分析等操作。而这种海量数据的需求使得传统的关系型数据库无论在结构设计或算法优化上都面临着严峻的性能挑战。
2、为解决工业智能化场景下传统的关系型数据库难以胜任海量、高频数据产生下的即是处理和分析的需求，现有技术中通常采用以关系型数据库或者非关系型数据库结合实时处理技术构建时间序列数据库进行转储和查询实现对数据的即时处理。但随着对数据采集和处理的效率及精度要求越来越高的情况下，在面对大量实时或历史数据的统计分析时，现有技术中pi-rtdb、ip21-rtdb等传统实时数据库对复杂匹配的大规模工业生产下的实时和历史数据的存储和索引仍然以其相对较高的时延和功耗，难以高效经济的满足该工业应用场景下的实时性和数据处理效率的需求。
技术实现思路
1、有鉴于此，本专利技术提出了涉及一种工业生产过程历史数据即时统计的缓存及索引方法，以解决现有技术中所存在的上述技术问题。
2、本专利技术第一方面提供一种工业生产过程历史数据即时统计的缓存及索引方
3、获取第一数据，在获取第一数据的同时设置时钟周期；所述第一数据为当前时钟周期待存储的实时数据，所述第一数据包括第一标识位、第二标识位和第三标识位，所述第一标识位包括第一标识值，用以标识时钟周期数，所述第二标识位包括第二标识值，用于标识当前数据访存频次，所述第三标识位，用以标识所述第一数据当前的存储位置；
4、将所述第一数据存储至第一存储单元，所述第一存储单元被划分为第一存储区域、第二存储区域和第三存储区域；将所述第一数据存储至所述第一存储区域；所述第二存储区域用于存储第一数据存储位置对应逻辑地址段到第一标识值的第一映射表；所述第三存储区域用于存储第一数据对应第一标识值到第二标识值的第二映射表；
5、当所述第一标识值大于第一阈值，查找第一映射表，获取对应逻辑地址段，将对应逻辑地址的第一数据迁移至第二存储单元，更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位；
6、根据每一时钟周期，更新第一映射表和第二映射表，当第二标识值大于第二阈值，且所述第三标识位标识为第二存储单元时，将对应数据迁移至第一存储单元，初始化其第一标识位和第二标识位，并更新第三标识位。
7、优选地，所述第一阈值和第二阈值根据历史读写记录预先配置，其中所述第二阈值为至少n个第一阈值周期内的平均访存频次，其中n>1；
8、所述第一存储单元读写性能优于所述第二存储单元；所述第二存储单元存储空间大于所述第一存储单元。
9、优选地，当进行数据索引时，先对第一储存单元进行索引，当命中所述数据时，则返回相应数据，更新第一、第二标识值；当未命中时则对第二存储单元进行索引，若在第二存储单元中命中该数据，则返回相应数据，并更新第一、第二标识值；若在第二存储单元中未命中该数据则返回为空。
10、本专利技术第二方面还提供一种工业生产过程历史数据即时统计的缓存及索引装置，包括：处理模块、存储模块、数据通信模块、监测模块，所述存储模块包括第一存储单元、第二存储单元，第一存储单元和第二存储单元用于第一数据的存储，所述处理模块用于数据的处理，所述数据通信模块用于各模块间数据通信；所述监测模块用于周期性监测第一标识值及第二标识值；以及
11、数据获取模块，用于获取第一数据，在获取第一数据的同时设置时钟周期；所述第一数据为当前时钟周期待存储的实时数据；所述第一数据包括第一标识位、第二标识位和第三标识位，所述第一标识位包括第一标识值，用以标识时钟周期数，所述第二标识位包括第二标识值，用于标识当前数据访存频次，所述第三标识位，用以标识所述第一数据当前的存储位置；将所述第一数据存储至第一存储单元；
12、数据迁移模块，用于将数据在第一存储单元和第二存储单元见迁移。具体包括：获取第一标识值，当所述第一标识值大于第一阈值，将第一数据迁移至第二存储单元，更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位。
13、所述第一存储单元被划分为第一存储区域、第二存储区域和第三存储区域；
14、将所述第一数据存储至所述第一存储区域；所述第二存储区域用于存储第一数据存储位置对应逻辑地址段到第一标识值的所述第一映射表；所述第三存储区域用于存储第一数据对应第一标识值到第二标识值的所述第二映射表。
15、所述当所述第一标识值大于第一阈值，将第一数据迁移至第二存储单元，具体包括：
16、当所述第一标识值大于第一阈值，查找第一映射表，获取对应逻辑地址段，将对应逻辑地址的第一数据迁移至第二存储单元，更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位。
17、所述将第一数据迁移至第二存储单元后，还包括：
18、根据每一时钟周期，更新第一映射表和第二映射表，当所述第二标识值大于第二阈值，且所述第三标识位标识为第二存储单元时，将对应数据迁移至第一存储单元，初始化其第一标识位和第二标识位，并更新第三标识位。
19、优选地，当进行数据索引时，先对第一储存单元进行索引，当命中所述数据时，则返回相应数据，更新第一、第二标识值；当未命中时则对第二存储单元进行索引，若在第二存储单元中命中该数据，则返回相应数据，并更新第一、第二标识值；若在第二存储单元中未命中该数据则返回为空。
20、本专利技术第三方面还提供一种电子设备，包括：至少一个处理器；以及非暂时性计算机可读可存储介质，包括可执行程序指令，所述可执行程序指令用于控制执行实现上述的工业生产过程历史数据即时统计的缓存及索引方法的步骤。
21、本专利技术第四方面还提供一种非暂时性计算机可读可存储介质，存储有可执行程序指令，所述可执行程序指令被处理器执行时实现上述的工业生产过程历史数据即时统计的缓存及索引方法的步骤。
22、本专利技术所提供的工业生产过程历史数据即时统计的缓存及索引方法及装置的更多技术效果将在具体实施例中进一步阐述。
本文档来自技高网...【技术保护点】
1.一种工业生产过程历史数据即时统计的缓存及索引方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将第一数据迁移至第二存储单元后，还包括：
3.根据权利要求1-2任一项所述的方法，其特征在于，所述第一阈值和第二阈值根据历史读写记录预先配置，其中所述第二阈值为至少N个第一阈值周期内的平均访存频次，其中N>1。
4.根据权利要求3所述的方法，其特征在于，所述第一存储单元读写性能优于所述第二存储单元；所述第二存储单元存储空间大于所述第一存储单元。
5.根据权利要求4所述的方法，其特征在于，当进行数据索引时，先对第一储存单元进行索引，当命中所述数据时，则返回相应数据，更新第一、第二标识值；
6.一种工业生产过程历史数据即时统计的缓存及索引装置，其特征在于，包括：处理模块、存储模块、数据通信模块，监测模块，所述存储模块包括第一存储单元、第二存储单元，第一存储单元和第二存储单元用于第一数据的存储，所述处理模块用于数据的处理，所述数据通信模块用于各模块见数据通信；所述监测模块用于周期性监测第一标识值及第二标识值
7.根据权利要求6所述的装置，其特征在于，将第一数据迁移至第二存储单元后，还包括：
8. 根据权利要求6-7任一项所述的装置，其特征在于，所述第一阈值和第二阈值根据历史读写记录预先配置，其中所述第二阈值为至少N个第一阈值周期内的平均访存频次，其中N>1。
9.一种电子设备，包括：至少一个处理器；以及
10.一种非暂时性计算机可读可存储介质，所述存储介质存储有可执行程序指令，所述可执行程序指令用于控制至少一个处理器执行权利要求1-5任一项所述的方法。
...【技术特征摘要】
1.一种工业生产过程历史数据即时统计的缓存及索引方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将第一数据迁移至第二存储单元后，还包括：
3.根据权利要求1-2任一项所述的方法，其特征在于，所述第一阈值和第二阈值根据历史读写记录预先配置，其中所述第二阈值为至少n个第一阈值周期内的平均访存频次，其中n>1。
4.根据权利要求3所述的方法，其特征在于，所述第一存储单元读写性能优于所述第二存储单元；所述第二存储单元存储空间大于所述第一存储单元。
5.根据权利要求4所述的方法，其特征在于，当进行数据索引时，先对第一储存单元进行索引，当命中所述数据时，则返回相应数据，更新第一、第二标识值；
6.一种工业生产过程历史数据即时统计的缓存及索引装置，其特征在于，包括：处理模块...
【专利技术属性】
技术研发人员：周启民，鲍教旗，储玉芳，马林，贾国栋，蔡博博，张本国，谭淇，沈威，刘仰忠，景李红，王海涛，张玉树，丁明志，李肖，杨敏，王宝勇，
申请(专利权)人：华能曲阜热电有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。