用于区域滑坡灾害风险预测的雨量数据存储方法及装置制造方法及图纸

本发明专利技术实施例公开了用于区域滑坡灾害风险预测的雨量数据存储方法及装置。所述方法包括：获取待存储的雨量数据；将待存储的雨量数据存储至clickhouse创建的表内；将表内所存储的雨量数据按照存储规则存储到对应的文件夹下进行管理。通过实施本发明专利技术实施例的方法可实现大数据量下雨量计数据的高效查询，提高雨量数据存储的性能。数据存储的性能。数据存储的性能。

【技术实现步骤摘要】
用于区域滑坡灾害风险预测的雨量数据存储方法及装置


[0001]本专利技术涉及数据存储方法，更具体地说是指用于区域滑坡灾害风险预测的雨量数据存储方法及装置。

技术介绍

[0002]雨量计传感器采集的数据有很多情形是存储在文件中，在对雨量数据进行算法分析前，需要对雨量计的数据进行处理，存储到数据库里，再从数据库里查询到所需要的数据。但是传统的雨量计数据处理存储主要是存储到从关系型数据库(MySQL等)，在大数量的情况下即几十GB、上百GB、甚至TB级别，单机对数据的存储查询，无论是在CPU、内存和磁盘都存在着瓶颈，在关系型数据在数据库设计上，都会成为雨量计数据的存储查询能力瓶颈。
[0003]综上所述，目前单机式存储雨量计对的思路是使用模块包pymysql等从数据源如文件等读取数据到单台服务器数据的内存，存储到mysql等关系型数据库，关系型数据库的设计架构上和单台的服务器的内存、CPU和磁盘读取能力限制了数据的处理速度，极大的限制了大数据量的雨量计数据的查询能力。
[0004]因此，有必要设计一种新的方法，实现大数据量下雨量计数据的高效查询，提高雨量数据存储的性能。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺陷，提供用于区域滑坡灾害风险预测的雨量数据存储方法及装置。
[0006]为实现上述目的，本专利技术采用以下技术方案：用于区域滑坡灾害风险预测的雨量数据存储方法，包括：
[0007]获取待存储的雨量数据；
[0008]将待存储的雨量数据存储至clickhouse创建的表内；
[0009]将表内所存储的雨量数据按照存储规则存储到对应的文件夹下进行管理。
[0010]其进一步技术方案为：所述将表内所存储的雨量数据按照存储规则存储到对应的文件夹下进行管理，包括：
[0011]利用clickhouse根据表的设计将表切分成切片，并存储在不同的节点上，每个节点上所存储的雨量数据按照表设计的分区规则存储到相应的文件夹下进行管理。
[0012]其进一步技术方案为：所述利用clickhouse根据表的设计将表切分成切片，并存储在不同的节点上，每个节点上所存储的雨量数据按照表设计的分区规则存储到相应的文件夹下进行管理，包括：
[0013]利用clickhouse根据表的设计将表切分成切片，并存储在不同的节点上，每个节点上所存储的雨量数据按照表设计的分区规则以及列式存储的规则存储到相应的文件夹下进行管理。
[0014]其进一步技术方案为：所述将表内所存储的雨量数据按照存储规则存储到对应的
文件夹下进行管理之后，还包括：
[0015]当查询雨量数据时，clickhouse利用集群的资源索引定位到雨量数据，且从节点上的分片读取所述雨量数据。
[0016]本专利技术还提供了用于区域滑坡灾害风险预测的雨量数据存储装置，包括：
[0017]数据获取单元，用于获取待存储的雨量数据；
[0018]存储单元，用于将待存储的雨量数据存储至clickhouse创建的表内；
[0019]管理单元，用于将表内所存储的雨量数据按照存储规则存储到对应的文件夹下进行管理。
[0020]其进一步技术方案为：所述管理单元，用于利用clickhouse根据表的设计将表切分成切片，并存储在不同的节点上，每个节点上所存储的雨量数据按照表设计的分区规则存储到相应的文件夹下进行管理。
[0021]其进一步技术方案为：所述管理单元，用于利用clickhouse根据表的设计将表切分成切片，并存储在不同的节点上，每个节点上所存储的雨量数据按照表设计的分区规则以及列式存储的规则存储到相应的文件夹下进行管理。
[0022]其进一步技术方案为：还包括：
[0023]查询单元，用于当查询雨量数据时，clickhouse利用集群的资源索引定位到雨量数据，且从节点上的分片读取所述雨量数据。
[0024]本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
[0025]本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
[0026]本专利技术与现有技术相比的有益效果是：本专利技术通过采用clickhouse进行雨量数据的存储，先利用clickhouse根据表的设计将表切分成切片，并存储在不同的节点上，每个节点上所存储的雨量数据按照表设计的分区规则以及列式存储的规则存储到相应的文件夹下进行管理，实现大数据量下雨量计数据的高效查询，提高雨量数据存储的性能。
[0027]下面结合附图和具体实施例对本专利技术作进一步描述。
附图说明
[0028]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1为本专利技术实施例提供的用于区域滑坡灾害风险预测的雨量数据存储方法的应用场景示意图；
[0030]图2为本专利技术实施例提供的用于区域滑坡灾害风险预测的雨量数据存储方法的流程示意图；
[0031]图3为本专利技术另一实施例提供的用于区域滑坡灾害风险预测的雨量数据存储方法的流程示意图；
[0032]图4为本专利技术实施例提供的用于区域滑坡灾害风险预测的雨量数据存储装置的示意性框图；
[0033]图5为本专利技术另一实施例提供的用于区域滑坡灾害风险预测的雨量数据存储装置的示意性框图；
[0034]图6为本专利技术实施例提供的计算机设备的示意性框图；
[0035]图7为本专利技术另一实施例提供的利用集群即多台服务器的资源索引定位到数据从一个个节点上的分片读取到数据的示意图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0038]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0039]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于区域滑坡灾害风险预测的雨量数据存储方法，其特征在于，包括：获取待存储的雨量数据；将待存储的雨量数据存储至clickhouse创建的表内；将表内所存储的雨量数据按照存储规则存储到对应的文件夹下进行管理。2.根据权利要求1所述的用于区域滑坡灾害风险预测的雨量数据存储方法，其特征在于，所述将表内所存储的雨量数据按照存储规则存储到对应的文件夹下进行管理，包括：利用clickhouse根据表的设计将表切分成切片，并存储在不同的节点上，每个节点上所存储的雨量数据按照表设计的分区规则存储到相应的文件夹下进行管理。3.根据权利要求2所述的用于区域滑坡灾害风险预测的雨量数据存储方法，其特征在于，所述利用clickhouse根据表的设计将表切分成切片，并存储在不同的节点上，每个节点上所存储的雨量数据按照表设计的分区规则存储到相应的文件夹下进行管理，包括：利用clickhouse根据表的设计将表切分成切片，并存储在不同的节点上，每个节点上所存储的雨量数据按照表设计的分区规则以及列式存储的规则存储到相应的文件夹下进行管理。4.根据权利要求1所述的用于区域滑坡灾害风险预测的雨量数据存储方法，其特征在于，所述将表内所存储的雨量数据按照存储规则存储到对应的文件夹下进行管理之后，还包括：当查询雨量数据时，clickhouse利用集群的资源索引定位到雨量数据，且从节点上的分片读取所述雨量数据。5.用于区域滑坡灾害风险预测的雨量数据存储装置，其特征在...

【专利技术属性】
技术研发人员：黄国明，胡辉，宋杰，杨平，
申请(专利权)人：杭州鲁尔物联科技有限公司，
类型：发明
国别省市：