【技术实现步骤摘要】
本专利技术属于分布式数据分析及计算领域，尤其涉及一种基于分布式融合数据库的数据处理方法及装置。
技术介绍
1、当前常见的一些更新分析数据库的方法为获取待更新数据集，依据所述分析数据库的结构，构建包含临时标识的批量更新数据表，所述更新包括修改；依据所述批量更新数据表，查询所述分析数据库，获取与所述批量更新数据表相匹配的目标数据表；将所述目标数据表的标识设置为无效，在所述分析数据库中插入所述批量更新数据表，修改插入的所述批量更新数据表的临时标识为有效。
2、但是现存方案的没有考虑到对查询结果进行缓存并实时更新以加速查询，仅在sql语句层面及解释器层面进行缓存，也没有考虑可以将查询结果构建成有向无环图进行共享以减少不必要的计算，此外，现存方案也不适用于高效查改的数据分析系统，没有考虑到数据写入后的高频查改场景，无法提供实时性的数据分析支持。
技术实现思路
1、鉴于以上现有技术的不足，专利技术的目的在于提供一种基于分布式融合数据库的数据处理方法及装置。
2、本专利技术第一方...
【技术保护点】
1.一种基于分布式融合数据库的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的一种基于分布式融合数据库的数据处理方法，其特征在于，所述分布式消息队列系统为RocketMQ系统。
3.根据权利要求1所述的一种基于分布式融合数据库的数据处理方法，其特征在于，所述实时存储系统为HBase系统。
4.根据权利要求1所述的一种基于分布式融合数据库的数据处理方法，其特征在于，步骤S2还包括：
5.根据权利要求1所述的一种基于分布式融合数据库的数据处理方法，其特征在于，步骤S5中，所述行存节点操作为事务型操作，所述列存节点操
【技术特征摘要】
1.一种基于分布式融合数据库的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的一种基于分布式融合数据库的数据处理方法，其特征在于，所述分布式消息队列系统为rocketmq系统。
3.根据权利要求1所述的一种基于分布式融合数据库的数据处理方法，其特征在于，所述实时存储系统为hbase系统。
4.根据权利要求1所述的一种基于分布式融合数据库的数据处理方法，其特征在于，步骤s2还包括：
5.根据权利要求1所述的一种基于分布式融合数据库的数据处理方法，其特征在于，步骤s5中，所述行存节点操作为事务型操作，所述列存节点操作为分析性操作。
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。