一种分布式NoSQL数据库时间聚合方法技术

本发明专利技术提出了一种分布式NoSQL数据库时间聚合方法，所述方法包括如下步骤：设置物化视图，并在创建基表后再创建时间聚合表，将时间聚合表中的基表内STATIONS最后一个聚类键OBSERVED_TIME必须为timestamp类型，将其作为时间维度；进行自动维护时间聚合表，在进行入库流程时，在创建分区对象后遍历缓存行，在遍历结束后若是分区对象，则将分区对象入库后结束入库；若不为分区对象，则判定插入行时间是否在缓存行范围，若是则合并缓存行到分区对象内，随后重新遍历缓存行；若不在缓存行范围时，则直接重新遍历缓存行；在完成入库后，进行数据更新或删除时，将插入行数据进行遍历缓存行，在遍历结束后若是需要更新或删除的数据，则在查询基表后将待更新和删除数据聚合到缓存行。

【技术实现步骤摘要】

本专利技术属于时间聚合领域，特别涉及一种分布式nosql数据库时间聚合方法。

技术介绍

1、随着大数据时代的到来,分布式nosql数据库在处理海量数据方面展现出了巨大的优势,其中时间序列数据的存储和分析尤为重要。然而,现有的分布式nosql数据库在处理时间聚合查询时仍然面临着诸多挑战。首先,传统的时间聚合方法通常需要扫描大量数据,导致查询性能低下,尤其是在处理长时间范围的聚合查询时更为明显。其次,现有的聚合方法往往难以有效地利用分布式系统的并行计算能力,无法充分发挥集群的性能优势。再者,当面对高并发的实时聚合请求时,系统的响应时间往往无法满足用户的需求,影响了数据分析的实时性。此外,现有的聚合方法在处理不同时间粒度的聚合时缺乏灵活性,难以满足用户多样化的查询需求。同时,在处理大规模数据集时,现有方法往往存在内存消耗过大的问题,限制了系统的可扩展性。

2、另一个常见的问题是,现有的聚合方法在处理数据倾斜时表现不佳,导致某些节点负载过重,影响整体性能。此外,现有方法在处理增量聚合时效率较低,难以快速响应数据更新。在数据一致性方面,分布式环境下的时间本文档来自技高网...

【技术保护点】

1.一种分布式NoSQL数据库时间聚合方法，其特征在于，所述方法包括如下步骤：

2.如权利要求1所述的一种分布式NoSQL数据库时间聚合方法，其特征在于：在创建表后，在时间聚合表中不保存平均值，并在查询时采用：和/有效个数，不支持非数值型列，在上传非数值型列数据上传时进行警告提示。

3.如权利要求1所述的一种分布式NoSQL数据库时间聚合方法，其特征在于：将时间聚合表内的stations_ta分区键和基表STATIONS设定成一致：在时间聚合表stations_ta聚类键第一列为time_scale，用于区分不同的时间尺度；其他列和基表STATIONS保持一致。<...

【技术特征摘要】

1.一种分布式nosql数据库时间聚合方法，其特征在于，所述方法包括如下步骤：

2.如权利要求1所述的一种分布式nosql数据库时间聚合方法，其特征在于：在创建表后，在时间聚合表中不保存平均值，并在查询时采用：和/有效个数，不支持非数值型列，在上传非数值型列数据上传时进行警告提示。

3.如权利要求1所述的一种分布式nosql数据库时间聚合方法，其特征在于：将时间聚合表内的stations_ta分...

【专利技术属性】
技术研发人员：邹伟，王庆飞，邹杰，
申请(专利权)人：成都云道信息技术有限公司，
类型：发明
国别省市：