基于分布式数据库KaiwuDB的分组数据处理方法、设备及介质技术

本发明专利技术公开了基于分布式数据库KaiwuDB的分组数据处理方法、设备及介质，属于数据库技术领域，本发明专利技术要解决的技术问题为如何增加数据库对数据的处理能力，提升数据处理效率，采用的技术方案为：利用orderedAggregato r的执行流程，将分组窗口函数嵌套在orderedAggregator中，并在orderedA ggregator执行实际分组前，将数据行分组列的值用一个窗口号替换，当行数据中分组列的值被窗口号替换后，利用orderedAggregator分组特性进行分组，再在表数据分布的各个节点中按照时间列进行排序，将排序后的数据在网关节点进行堆排序，每排一行即可向上层orderedAggregator发送一行数据，orde redAggregator对输入的有序数据进行分组窗口函数计算。

【技术实现步骤摘要】

本专利技术涉及数据库，具体地说是一种基于分布式数据库kaiwudb的分组数据处理方法、设备及介质。

技术介绍

1、分布式数据库是指多个数据库节点组成的集群，数据可存储在多个数据节点中。kaiwudb是一款面向aiot(人工智能物联网)场景的分布式多模数据库。kaiwudb进行数据处理方式的包括分布式架构与水平扩展、多模融合引擎、时序数据引擎优化、原生ai集成、高效压缩与冷热分层存储、事务处理与一致性保障以及乱序数据处理与数据去重。但是目前kaiwudb进行数据处理方式存在如下缺陷：

2、①事务延迟相对较高：尽管通过优化策略降低了事务延迟，但去中心化设计仍可能导致高并发高冲突场景下的事务回滚率和回滚代价较高。

3、②学习成本较高：多模融合和原生ai集成等特性增加了系统的复杂性，对开发和运维人员的技术能力要求较高。

4、③资源消耗较大：锁和数据一起存储的设计可能导致每个写操作产生两三倍的写入压力，在资源有限的环境下可能影响性能。

5、④特定场景适配性：虽然优化了时序数据处理，但在非aiot场景或低并发场景下，部分本文档来自技高网...

【技术保护点】

1.一种基于分布式数据库KaiwuDB的分组数据处理方法，其特征在于，该方法是利用orderedAggregator的执行流程，将分组窗口函数嵌套在orderedA ggregator中，并在orderedAggregator执行实际分组前，将数据行分组列的值用一个窗口号替换，当行数据中分组列的值被窗口号替换后，利用orderedA ggregator分组特性进行分组，再在表数据分布的各个节点中按照时间列进行排序，将排序后的数据在网关节点进行堆排序，每排一行即可向上层orderedA ggregator发送一行数据，orderedAggregator对输入的有序数据进行分组窗口函数计算。...

【技术特征摘要】

1.一种基于分布式数据库kaiwudb的分组数据处理方法，其特征在于，该方法是利用orderedaggregator的执行流程，将分组窗口函数嵌套在ordereda ggregator中，并在orderedaggregator执行实际分组前，将数据行分组列的值用一个窗口号替换，当行数据中分组列的值被窗口号替换后，利用ordereda ggregator分组特性进行分组，再在表数据分布的各个节点中按照时间列进行排序，将排序后的数据在网关节点进行堆排序，每排一行即可向上层ordereda ggregator发送一行数据，orderedaggregator对输入的有序数据进行分组窗口函数计算。

2.根据权利要求1所述的基于分布式数据库kaiwudb的分组数据处理方法，其特征在于，利用orderedaggregator分组特性进行分组具体如下：

3.根据权利要求1所述的基于分布式数据库kaiwudb的分组数据处理方法，其特征在于，分组窗口函数count_window(count_val[,sliding_val])按照数据行数count_val划分窗口，默认将数据按照时间戳列排序，当数据行数累计达到count_val时，则将第1行到count_val行的数据作为一组...

【专利技术属性】
技术研发人员：蒋家超，
申请(专利权)人：山东浪潮数据库技术有限公司，
类型：发明
国别省市：