大数据软件系统切换方法、系统、终端设备及存储介质技术方案

本发明专利技术公开了一种大数据软件系统切换方法、系统、终端设备及存储介质，通过终端设备在接收到主备切换指令时，将主Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件；将所述主Hadoop集群的第一HBase组件的开源数据同步至备Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储数据同步至所述备Hadoop集群的第二Redis组件；在所述主Hadoop集群的主数据和所述备Hadoop集群的备数据一致时，进行主生产系统到备生产系统的切换操作；大大提升整个软件系统的可用性，增强实时服务的保证能力，规避了单一集群可靠性不足的问题。

Large data software system switching method, system, terminal equipment and storage medium

The invention discloses a large data software system switching method, system, terminal device and storage medium, which stores the offset of the first Kafka component of the main Hadoop cluster to the first Redis component of the main Hadoop cluster and the first HBase group of the main Hadoop cluster when receiving the master and standby switching instruction through the terminal device. The open source data of the component is synchronized to the second HBase component of the standby Hadoop cluster, and the storage data of the first Redis component containing the offset is synchronized to the second Redis component of the standby Hadoop cluster; when the master data of the main Hadoop cluster and the standby data of the standby Hadoop cluster are identical, the main production system is transferred to the standby production system. The traditional switching operation greatly improves the availability of the whole software system, enhances the guarantee ability of real-time services, and avoids the problem of insufficient reliability of a single cluster.

【技术实现步骤摘要】
大数据软件系统切换方法、系统、终端设备及存储介质
本专利技术涉及计算机应用领域，尤其涉及一种大数据软件系统切换方法、系统、终端设备及存储介质。
技术介绍
在使用分布式系统基础架构Hadoop的大数据软件系统中，通常依靠Hadoop各个组件本身的高可用性。比如使用的分布式的、面向列的开源数据库HBase，通过将创建表格控件table在行的方向上分割为多个响应模块HRegion，每个响应模块Hregion又通过多数据副本机制分散在不同响应服务组件RegionServer上来保证HBase本身的高可用性。而规模较大的互联网公司或者银行等金融机构会通过建立异地数据中心的方式来保证数据安全，但其通常使用关系型数据库管理系统DB2、数据库管理系统Oracle或者关系型数据库管理系统MYSQL等成熟的关系型数据库，在使用Hadoop的软件系统中缺乏成熟的数据中心的数据同步及切换方案。在目前基于Hadoop的大数据软件系统中，大部分软件系统的高可用性都依赖Hadoop各个组件本身的高可用性。主要缺点有：1、虽然Hadoop各个组件在设计实现时通过多副本等机制保证自身的高可用性，但是该组件还是存在故障本文档来自技高网...

【技术保护点】
1.一种大数据软件系统切换方法，其特征在于，所述大数据软件系统切换方法包括：在接收到主备切换指令时，将主Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件；将所述主Hadoop集群的第一HBase组件的开源数据同步至备Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储数据同步至所述备Hadoop集群的第二Redis组件；将所述主Hadoop集群的开源数据与存储数据的集合作为所述主Hadoop集群的主数据，将所述备Hadoop集群同步后的开源数据与存储数据的集合作为所述备Hadoop集群的备数据，检测所述主数据与所述备数据是...

【技术特征摘要】
1.一种大数据软件系统切换方法，其特征在于，所述大数据软件系统切换方法包括：在接收到主备切换指令时，将主Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件；将所述主Hadoop集群的第一HBase组件的开源数据同步至备Hadoop集群的第二HBase组件，将包含所述偏移量的第一Redis组件的存储数据同步至所述备Hadoop集群的第二Redis组件；将所述主Hadoop集群的开源数据与存储数据的集合作为所述主Hadoop集群的主数据，将所述备Hadoop集群同步后的开源数据与存储数据的集合作为所述备Hadoop集群的备数据，检测所述主数据与所述备数据是否一致；在所述主数据和所述备数据一致时，进行主生产系统到备生产系统的切换操作；其中，所述主Hadoop集群属于所述主生产系统，所述备Hadoop集群属于所述备生产系统。2.如权利要求1的大数据软件系统切换方法，其特征在于，所述在接收到主备切换指令时，将主Hadoop集群的第一Kafka组件的偏移量保存至所述主Hadoop集群的第一Redis组件之前，所述大数据软件系统切换方法还包括：实时监测主生产系统的第一外部接口，在检测到所述第一外部接口有切换请求时，确定当前切换请求为主备切换指令。3.如权利要求2所述的大数据软件系统切换方法，其特征在于，所述实时监测主生产系统的第一外部接口，在检测到所述第一外部接口有切换请求时，确定当前切换请求为主备切换指令之后，所述大数据软件系统切换方法还包括：实时监测备生产系统的第二外部接口，在检测到所述第二外部接口有切换请求时，确定当前切换请求为备主切换指令；在接收到备主切换指令时，将所述备数据从所述备生产系统同步至所述主生产系统，生成同步后的主数据；将所述备数据与同步后的主数据进行比较，在所述备数据与同步后的主数据一致时，进行所述备生产系统到所述主生产系统的切换操作。4.如权利要求3所述的大数据软件系统切换方法，其特征在于，所述在接收到备主切换指令时，将所述备数据从所述备生产系统同步至所述主生产系统，生成同步后的主数据，具体包括：在接收到备主切换指令时，将备生产系统在服务时间段产生的服务数据和所述备Hadoop集群的原有的备数据进行整合，形成新的备数据；将新的备数据从所述备Hadoop集群同步至所述主Hadoop集群，生成同步后的主数据。5.如权利要求4所述的大数据软件系统切换方法，其特征在于，所述将新的备数据从所述备Hadoop集群同步至所述主Hadoop集群，具体包括：将新的备数据从第二HBase组件实时同步至第一HBase组件；清空...

【专利技术属性】
技术研发人员：陈吉，
申请(专利权)人：试金石信用服务有限公司，
类型：发明
国别省市：广东,44