一种分布式数据处理系统技术方案

本发明专利技术公开了一种分布式数据处理系统，包括包括数据处理分层架构，所述数据处理分层架构为OLTP分布式处理分层架构，OLTP分布式处理分层架构数据插入和更新事务可以选择先应用到高可用MySQL集群，无跨库事务的问题存在；MySQL集群采用Couchbase内存数据库集群和CMHA MySQL高可靠集群；所述数据处理分层架构包括业务层、OLTP数据处理前置层、OLTP数据持久层；本发明专利技术与现有的技术相比的优点在于：本发明专利技术为MySQL减负提能，关注安全和高可用，充分利用内存分布式数据处理技术。

【技术实现步骤摘要】

本专利技术涉及数据处理，具体是一种分布式数据处理系统。

技术介绍

1、传统mysql+proxy中间件架构业务代码中事务读不可分，真实适用场景窄，复杂跨分片join查询无法原生支持，第三方变通方法增加了开发成本和运维风险，自增id，脏数据,全局序列等均无法原生支持，第三方变通方法有风险，proxy自身存在性能瓶颈，没有原生的横向扩展能力和应用自动适配能力，mysql数据库分片组扩展过程复杂，还有需要手工平衡数据以及停机影响业务的风险，proxy中间件自身需要依赖高可用切换mysql自身仅支持基于心跳的弱可用性检测，主从节点间数据异步复制，存在一致性风险，因此提出一种分布式数据处理系统，基于oltp分布式处理分层架构解决上述问题。

技术实现思路

1、本专利技术要解决的技术问题就是克服以上的技术缺陷，提供一种分布式数据处理系统。

2、为了解决上述问题，本专利技术的技术方案为：包括数据处理分层架构，所述数据处理分层架构为oltp分布式处理分层架构，oltp分布式处理分层架构数据插入和更新事务可以选择先应本文档来自技高网...

【技术保护点】

1.一种分布式数据处理系统，其特征在于：包括数据处理分层架构，所述数据处理分层架构为OLTP分布式处理分层架构，OLTP分布式处理分层架构数据插入和更新事务可以选择先应用到高可用MySQL集群，无跨库事务的问题存在；MySQL集群采用Couchbase内存数据库集群和CMHA MySQL高可靠集群；

2.根据权利要求1所述的一种分布式数据处理系统，其特征在于：所述业务层包括N个业务应用，所述OLTP数据处理前置层包括N个分布式内存数据库，所述OLTP数据持久层包括N个业务数据库高可用集群，每个所述业务数据库高可用集群包括两个DB接入节点和两个数据库节点。</p>

3.根据...

【技术特征摘要】

1.一种分布式数据处理系统，其特征在于：包括数据处理分层架构，所述数据处理分层架构为oltp分布式处理分层架构，oltp分布式处理分层架构数据插入和更新事务可以选择先应用到高可用mysql集群，无跨库事务的问题存在；mysql集群采用couchbase内存数据库集群和cmha mysql高可靠集群；

2.根据权利要求1所述的一种分布式数据处理系统，其特征在于：所述业务层包括n个业务应用，所述oltp数据处理前置层包括n个分布式内存数据库，所述oltp数据持久层包括n个业务数据库高可用集群，每个所述业务数据库高可用集群包括两个db接入节点和两个数据库节点。

3.根据权利要求1所述的一种分布式数据处理系统，其特征在于：所述couchbase内存数据库集群服务包括架构和咨询设计、本地集群高可用策略设计、同城双活中心高可用设计、性能优化和测试验证、redis/memcached到couchbase迁移、规范与标准化、研发cbalert系统，将集群与bmc集中告警平台进行生产级告警对接(golang开发)、实施和支持、优化和保障。

4.根据权利要求1所述的一种分布式数据处理系统，其特征在于：所述couchbase集群提供全对等分布式集群，内置集群健康检测，内置分布式选举机制，内置数据内存多副本机制(0/1/2/3份)，内置可靠的数据持久化方式，故障后自动变更集群拓扑，主动通知应用客户端并刷新数据路由节点见分片实时同步，支持跨地域的集群间双活及容灾。

5.根据权利要...

【专利技术属性】
技术研发人员：谢聪，
申请(专利权)人：谢聪，
类型：发明
国别省市：