一种分布式大规模并行处理数据库的混合数据处理系统技术方案

本发明专利技术涉及数据处理技术领域，并具体公开了一种分布式大规模并行处理数据库的混合数据处理系统，包括：处理要求明确模块，用于确定出混合数据处理要求；数据写入执行模块，用于当数据处理要求为写入用户业务数据时，则基于用户业务数据的时间标志将用户业务数据发送至OLTP数据库；读取数据库明确模块，用于当数据处理要求为读取数据请求时，则基于读取数据请求中对应的时间标志和ClickHouse数据库中的第一时间标志，确定出读取数据请求应该被发送至的目标数据库；第一读取反馈执行模块及第二读取反馈执行模块，用于基于读取数据请求应该被发送至的目标数据库，将对应数据返回给客户端；用以实现高性能的混合数据处理。

【技术实现步骤摘要】

本专利技术涉及数据处理，特别涉及一种分布式大规模并行处理数据库的混合数据处理系统。

技术介绍

1、目前，混合数据处理(htap)系统同时涉及2种处理任务： oltp（on-linetransaction processing 联机事务处理过程）和olap（on-line analytical processing联机分析处理过程）。其中，oltp的特点是高并发读写、单次请求处理的数据量小、数据变化频度高、事务能力要求高。于此处理相对应的数据处理系统为oltp数据库系统，比如mysql、oracle、crockroachdb等此类数据库系统，一般采用行式存储，数据不压缩。而olap任务处理的数据量大、数据变化低、相应事务能力要求弱，且为了性能的考虑多采用宽表设计、列式存储，而且数据往往会压缩存储。而且，因为列式存储的使用，导致olap数据库系统处理频繁更新操作的数据时效率低下。二者处理任务上的差异，决定了单一处理引擎或者系统，无法高效处理上述两种处理任务。

2、但现实应用场景中又确实存在在满足oltp任务的情况下需要实时分析海量历史数据以及少量最本文档来自技高网...

【技术保护点】

1.一种分布式大规模并行处理数据库的混合数据处理系统，其特征在于，包括：

2.根据权利要求1所述的分布式大规模并行处理数据库的混合数据处理系统，其特征在于，数据写入执行模块，包括：

3.根据权利要求1所述的分布式大规模并行处理数据库的混合数据处理系统，其特征在于，读取数据库明确模块，包括：

4.根据权利要求1所述的分布式大规模并行处理数据库的混合数据处理系统，其特征在于，第一读取反馈执行模块，包括：

5.根据权利要求1所述的分布式大规模并行处理数据库的混合数据处理系统，其特征在于，还包括：

6.根据权利要求5所述的分布式大规模并...

【技术特征摘要】

1.一种分布式大规模并行处理数据库的混合数据处理系统，其特征在于，包括：

2.根据权利要求1所述的分布式大规模并行处理数据库的混合数据处理系统，其特征在于，数据写入执行模块，包括：

3.根据权利要求1所述的分布式大规模并行处理数据库的混合数据处理系统，其特征在于，读取数据库明确模块，包括：

4.根据权利要求1所述的分布式大规模并行处理数据库的混合数据处理系统，其特征在于，第一读取反馈执行模块，包括：

5.根据权利要求1所述的分布式大规模并行处理数据库的混合数据处理系统，其特征在于，还包括：

6.根据权...

【专利技术属性】
技术研发人员：李求实，徐峰，
申请(专利权)人：广州睿帆科技有限公司，
类型：发明
国别省市：