监测数据的存储方法及装置制造方法及图纸

本发明专利技术实施例提供一种监测数据的存储方法及装置，其中方法包括：接收监测终端实时采集的监测数据并作为目标数据，若确定迁移标志位处于锁定状态，则将目标数据存储至临时数据库，并生成贝叶斯网络模型；根据贝叶斯网络模型计算redis数据库中各监测数据在未来时间段的搜索概率，并组成迁移数据集合，将迁移数据集合迁移至Hbase数据库中，将迁移标志位更新为非锁定状态，之后将临时数据库中存储的监测数据转移至redis数据库，若判断redis数据库的可用存储容量低于第二预设阈值，则将迁移标志位更新为锁定状态。本发明专利技术实施例能够及时有效地进行海量级数据的存储和查询访问能力，可实现数据实时与历史数据的区分，进一步提升实时数据检索效率。

【技术实现步骤摘要】
监测数据的存储方法及装置
本专利技术实施例涉及数据存储
，更具体地，涉及监测数据的存储方法及装置。
技术介绍
海水养殖的实时监测在实际应用过程中具有多源异构、规模大、时空关联性强、冗余度高等特点，目前研究的重点在物联网信息服务系统中的时空关联以及事件查询等方面内容，已经取得了一定的研究成果。但是在海量异构存储方面，仍然存在存储性能低以及数据共享难度高等问题，不能达到物联网数据存储的要求。目前使用的最广泛的关系型数据库将这种实体-联系模型转化成二维表结构的形式来存储数据。但是海水养殖需要监测海量的数据，即需要实时监测数据，又需要收集历史数据，以便于预测海水养殖的状态。关系数据库使用的这种模式无法很好的满足在海洋环境下处理海量异构数据的需求，不能有效处理带有时态信息的半结构化和非结构化数据；其次，是性能上的限制，为静态应用而设计的关系型数据库管理系统并不是为高效数据处理而设计的，而面向海洋环境的实时信息处理系统中需要处理大量费时的I/O操作，传统的关系型数据库是磁盘数据库，相比于内存数据库，磁盘读写的速度远落后于内存读写，因此关系型数据库在处理实时数据的情况下其性能并不令人满意；再次，传统的关系型数据库面对数据规模、数据模型复杂时，扩展困难且维护复杂；直接使用存储规模较大的Hbase等数据库，无法很好的满足实时采集信息的需求，而且不同“热度”的信息，检索的概率不同。
技术实现思路
本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的监测数据的存储方法及装置。第一个方面，本专利技术实施例提供一种监测数据的存储方法，包括：接收监测终端实时采集的监测数据并作为目标数据，之后判断迁移标志位在当前时刻是否处于锁定状态；若确定迁移标志位处于锁定状态，则将所述目标数据存储至临时数据库，并根据预设时间段的redis数据库中各监测数据的搜索频率生成贝叶斯网络模型；根据所述贝叶斯网络模型计算redis数据库中各监测数据在未来时间段的搜索概率，并选择一定数量的、在未来时间段的搜索概率较低的监测数据组成迁移数据集合，将所述迁移数据集合迁移至Hbase数据库中，以使得所述redis数据库的可用存储容量大于第一预设阈值；将所述迁移标志位更新为非锁定状态，之后将所述临时数据库中存储的监测数据转移至redis数据库，判断redis数据库的可用存储容量是否低于第二预设阈值，若低于所述第二预设阈值，则将所述迁移标志位更新为锁定状态；其中，所述贝叶斯网络模型用于表征redis数据库中各监测数据在所述预设时间段的搜索概率第二个方面，本专利技术实施例提供一种监测数据的存储装置，包括：目标数据获取模块，用于接收监测终端实时采集的监测数据并作为目标数据，之后判断迁移标志位在当前时刻是否处于锁定状态；临时存储模块，用于若确定迁移标志位处于锁定状态，则将所述目标数据存储至临时数据库，并根据预设时间段的redis数据库中各监测数据的搜索频率生成贝叶斯网络模型；迁移数据模块，用于根据所述贝叶斯网络模型计算redis数据库中各监测数据在未来时间段的搜索概率，并选择一定数量的、在未来时间段的搜索概率较低的监测数据组成迁移数据集合，将所述迁移数据集合迁移至Hbase数据库中，以使得所述redis数据库的可用存储容量大于第一预设阈值；转移模块，用于将所述迁移标志位更新为非锁定状态，之后将所述临时数据库中存储的监测数据转移至redis数据库，判断redis数据库的可用存储容量是否低于第二预设阈值，若低于所述第二预设阈值，则将所述迁移标志位更新为锁定状态；其中，所述贝叶斯网络模型用于表征redis数据库中各监测数据在所述预设时间段的搜索概率。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。本专利技术实施例提供的监测数据的存储方法及装置，具有以下有益效果：1、通过采用基于Redis+HBase的数据混合存储框架和一站式的查询方法，能够及时有效地进行海量级数据的存储和查询访问能力，可实现数据实时与历史数据的区分，进一步提升实时数据检索效率；2、通过设置迁移标识位引导监测数据的存储路径，结合redis数据库的可用存储流量在不同时态下的预设阈值，能够实现自适应进行数据迁移的效果，使得redis数据库的负载始终处于均衡状态；3、通过构建贝叶斯网络模型实现对监测数据的搜索热度的预测，根据预测结果选择未来搜索热度低的监测数据转移至Hbase数据库中，能够有效保证监测数据的正常搜索。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的监测数据的存储方法的流程示意图；图2为本专利技术实施例提供的监测数据的存储装置的结构示意图；图3为本专利技术实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了克服现有技术的上述问题，本专利技术实施例提供了一种监测数据的存储方法，其专利技术构思为：1、为了解决海水养殖复杂环境下实时采集数据的有效检索问题，使用Redis+Hbase数据库redis作内存数据库，存储实时数据，进行实时查询，Hbase数据库存储历史信息；采用Redis+Hbase数据库，Redis作为内存数据库，具有读写速度快、查询效率高、支持并发访问等优点，能够实现实时信息查询，还能够很好地处理半结构化数据。Hbase数据库特别适合海量、简单结构数据的查询和存储，将热度低的数据迁移到Hbase数据中，既能满足海量数据存储，又能满足实时信息查询。2、根据海水养殖环境数据的实时效应，往往会使用HBase定期对Redis中的历史数据进行效益最大迁移，考虑到物联网数据数量巨大，且结构复杂，为摆脱手动迁移，提高迁移效率，设计自适应并发数据迁移算法，实现Redis数据库的自适应数据迁移，使其负载均衡，构建一个负载均衡的自适应的数据迁移方法。3、通过构建贝叶斯网络模型实现对监测数据的搜索热度的预测，根据预测结果选择未来搜索热度低的监测数据转移至Hbase数据库中，能够有效保证监测数据的正常搜索。图1为本专利技术实施例提供的监测数据的存储方法的流程示意图，如图1所示，包括：S101、接收监测终端实时采集的监测数据并作为目标数据，之后判断迁移标志位在当前时刻是否处于锁定状态。可以理解的是，redis是一种键值数据库(非关系)，该数据库的数据查询比关系型数据库快，并且它还是基于内存的一个数据库，I/O的效率影响较小，在海洋养殖环境中，由于监测终本文档来自技高网...

【技术保护点】
1.一种监测数据的存储方法，其特征在于，包括：接收监测终端实时采集的监测数据并作为目标数据，之后判断迁移标志位在当前时刻是否处于锁定状态；若确定迁移标志位处于锁定状态，则将所述目标数据存储至临时数据库，并根据预设时间段的redis数据库中各监测数据的搜索频率生成贝叶斯网络模型；根据所述贝叶斯网络模型计算redis数据库中各监测数据在未来时间段的搜索概率，并选择一定数量的、在未来时间段的搜索概率较低的监测数据组成迁移数据集合，将所述迁移数据集合迁移至Hbase数据库中，以使得所述redis数据库的可用存储容量大于第一预设阈值；将所述迁移标志位更新为非锁定状态，之后将所述临时数据库中存储的监测数据转移至redis数据库，判断redis数据库的可用存储容量是否低于第二预设阈值，若低于所述第二预设阈值，则将所述迁移标志位更新为锁定状态；其中，所述贝叶斯网络模型用于表征redis数据库中各监测数据在所述预设时间段的搜索概率。

【技术特征摘要】
1.一种监测数据的存储方法，其特征在于，包括：接收监测终端实时采集的监测数据并作为目标数据，之后判断迁移标志位在当前时刻是否处于锁定状态；若确定迁移标志位处于锁定状态，则将所述目标数据存储至临时数据库，并根据预设时间段的redis数据库中各监测数据的搜索频率生成贝叶斯网络模型；根据所述贝叶斯网络模型计算redis数据库中各监测数据在未来时间段的搜索概率，并选择一定数量的、在未来时间段的搜索概率较低的监测数据组成迁移数据集合，将所述迁移数据集合迁移至Hbase数据库中，以使得所述redis数据库的可用存储容量大于第一预设阈值；将所述迁移标志位更新为非锁定状态，之后将所述临时数据库中存储的监测数据转移至redis数据库，判断redis数据库的可用存储容量是否低于第二预设阈值，若低于所述第二预设阈值，则将所述迁移标志位更新为锁定状态；其中，所述贝叶斯网络模型用于表征redis数据库中各监测数据在所述预设时间段的搜索概率。2.根据权利要求1所述的存储方法，其特征在于，所述预设时间段为最近一次迁移标志位更新为非锁定状态的时刻至最近一次迁移标志位更新为锁定状态的时刻。3.根据权利要求1所述的存储方法，其特征在于，所述贝叶斯网络模型表示为BQG＝(N,E,W,T)，其中，N为节点集合，N＝S∪A∪O；其中S＝{si|i＝1,...,M}，监测数据节点si用于表征第i个监测终端采集的监测数据在所述预设时间段是否计划被搜索；A＝{ai|i＝1,...,M}，搜索节点ai用于表征监测数据节点si是否按计划被搜索到；O＝{oi|i＝1,...,M}，证据节点oi，用于表征是否对搜索节点ai进行过验证；E为有向边集合，E＝{E1∪E2∪E3}；表示第i个监测终端采集的监测数据在所述预设时间段计划被搜索到；表示监测数据节点si被搜索到是否是计划搜索；表示数据查询的发生可以被某些证据节点后验；W为E上的权值，W＝(w1,w2,w3)；其中w1依附于有向边E1，表示在某一监测数据节点s下可能发生后续搜索搜索节点a的概率；w2依附于有向边E2，表示在某一搜索节点a发生后成功到达下一监测数据节点s的概率；w3＝{(ti,fi)|i＝1,...,M}依附于有向边E3，其中，ti表示搜索的发生能被验证到的概率P(oi|ai)；fi表示搜索行为未发生而被验证到的概率T＝{ρi|i＝1,...,L}为局部条件概率分布表，用于将贝叶斯网络模型中的节点和对应的直接父节点关联起来，对于任意节点ki，若ki存在父节点，则与ki相对应的局部条件概率分布表示为ρ＝P(ki|Pre(ki))，其中Pre(ki)表示节点ki的所有父节点。4.根据权利要求3所述的存储方法，其特征在于，所述根据所述贝叶斯网络模型计算redis数据库中各监测数据在未来时间段的搜索概率，具体为：根...

【专利技术属性】
技术研发人员：岳峻，王庆，杨慧慧，贾世祥，李雪艳，战超，张笑敏，
申请(专利权)人：鲁东大学，
类型：发明
国别省市：山东,37