一种跨集群高可用的实现方法、装置、系统及设备制造方法及图纸

本发明专利技术公开了一种跨集群高可用的实现方法、装置、系统及设备，属于大数据技术领域。所述方法包括：监控通过数据同步配置的至少两个数据服务集群的集群信息，所述集群信息至少包括集群状态信息和集群地址信息；通过分布式协调服务实时获取所述集群信息；根据所述集群信息进行相应数据服务集群的请求访问。本发明专利技术通过对数据同步的至少两个数据服务集群的集群信息进行监控，然后通过分布式协调服务实时获取集群信息，然后根据实时获取的集群信息进行相应数据服务集群的请求访问，解决了现有技术中跨集群方面存在的诸多弊端。

【技术实现步骤摘要】
一种跨集群高可用的实现方法、装置、系统及设备
本专利技术涉及大数据
，特别涉及一种跨集群高可用的实现方法、装置、系统及设备。
技术介绍
高可用集群，英文原文为HighAvailabilityCluster，简称HACluster，简单的说，集群(cluster)就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。高可用性集群(HAcluster)是指如单系统一样地运行并支持(计算机)持续正常运行的一个主机群。高可用集群是指以减少服务中断时间为目的的服务器集群技术，它通过保护用户的业务程序对外不间断提供的服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度。因此，目前在大数据领域，提供数据实时读写能力的组件，比如HBase和ES等服务，集群内各角色均为高可用设计，多集群之间采用数据同步技术。然而行业内搭建多集群，主要用于读写分离和数据备份使用，但并不具备在多个集群之间自动切换访问和并发访问的能力，具体体现在如下方面：1、切换集群，需要更改客户端配置后重启；2、无法在服务端控制客户端切换集群；3、当客户端请求等待时间过长时，无法同时请求其他集群。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种跨集群高可用的实现方法、装置、系统及设备，解决了现有技术中跨集群方面存在的诸多弊端。所述技术方案如下：第一方面，提供了一种跨集群高可用的实现方法，所述方法包括：监控通过数据同步配置的至少两个数据服务集群的集群信息，所述集群信息至少包括集群状态信息和集群地址信息；通过分布式协调服务实时获取所述集群信息；根据所述集群信息进行相应数据服务集群的请求访问。结合第一方面，在第一种可能的实现方式中，所述监控通过数据同步配置的至少两个数据服务集群的集群信息，包括：定时监控至少两个数据服务集群的集群状态信息；将集群状态发生变更的集群状态信息通知至所述分布式协调服务。结合第一方面的第一种可能实现方式，在第二种可能实现方式中，所述数据同步配置包括：配置所述至少两个数据服务集群之间的相互复制关系，并将带有源集群ID信息的数据服务请求在所述至少两个数据服务集群之间进行同步。结合第一方面，在第三种可能实现方式中，所述通过分布式协调服务实时获取所述集群信息，包括：实时监听所述集群信息，并实时对集群状态发生变更的集群状态信息进行相应通知。结合第一方面及第一方面的第一至三种可能实现方式的任一种，在第四至七种可能实现方式中，所述根据所述集群信息进行相应数据服务集群的请求访问，包括：根据所述集群信息，优先访问集群状态为可用的顺序靠前的集群。结合第一方面的第四至七种可能实现方式，在第八至十一种可能实现方式中，所述根据所述集群信息，优先访问集群状态为可用的顺序靠前的集群，包括：根据所述集群信息，获取第一个集群地址，判断当前集群状态是否可用，当判断结果为不可用，获取下一个集群地址，跳转至判断当前集群状态是否可用的步骤；当判断结果为可用，请求访问当前集群，进一步判断当前集群处理时间是否超过预设阈值，若未超过，获取集群反馈结果；若超过，并发请求访问下一个可用集群，获取优先返回的集群反馈结果。第二方面，提供了一种跨集群高可用的实现装置，所述装置包括：监控模块，用于监控通过数据同步配置的至少两个数据服务集群的集群信息，所述集群信息至少包括集群状态信息和集群地址信息；分布式协调服务模块，用于通过分布式协调服务实时获取所述集群信息；请求访问控制模块，用于根据所述集群信息进行相应数据服务集群的请求访问。结合第一方面，在第一种可能的实现方式中，所述监控模块定时监控至少两个数据服务集群的集群状态信息，并将集群状态发生变更的集群状态信息通知至所述分布式协调服务模块。结合第一方面的第一种可能实现方式，在第二种可能实现方式中，所述分布式协调服务模块用于实时监听所述集群信息，并实时对集群状态发生变更的集群信息进行相应通知。结合第一方面，在第三种可能实现方式中，所述装置还包括数据同步配置模块，所述数据同步配置模块配置所述至少两个数据服务集群之间的相互复制关系，并将带有源集群ID信息的数据服务请求在所述至少两个数据服务集群之间进行同步。结合第一方面及第一方面的第一至三种可能实现方式的任一种，在第四至七种可能实现方式中，所述请求访问控制模块根据所述集群信息，优先访问集群状态为可用的顺序靠前的集群。结合第一方面的第四至七种可能实现方式，在第八至十一种可能实现方式中，所述请求访问控制模块根据所述集群信息，优先访问集群状态为可用的顺序靠前的集群，包括：根据所述集群信息，获取第一个集群地址，判断当前集群状态是否可用，当判断结果为不可用，获取下一个集群地址，跳转至判断当前集群状态是否可用的步骤；当判断结果为可用，请求访问当前集群，进一步判断当前集群处理时间是否超过预设阈值，若未超过，获取集群反馈结果；若超过，并发请求访问下一个可用集群，获取优先返回的集群反馈结果。第三方面，提供了一种跨集群高可用的实现系统，所述系统包括：通过数据同步配置的至少两个数据服务集群，用于实现客户端对数据服务的请求访问；服务端，包括监控装置和分布式协调服务器，所述监控装置用于监控所述至少两个数据服务集群的集群信息，所述集群信息至少包括集群状态信息和集群地址信息；所述分布式协调服务器，用于通过分布式协调服务实时获取所述集群信息；客户端，包括控制器，所述控制器用于根据从所述服务端接收的所述集群信息进行相应数据服务集群的请求访问。结合第三方面，在第一种可能实现方式中，所述监控装置定时监控至少两个数据服务集群的集群状态信息，并将集群状态发生变更的集群状态信息通知至所述分布式协调服务器；所述控制器从所述分布式协调服务器获取所述集群信息，根据所述集群信息，获取第一个集群地址，判断当前集群状态是否可用，当判断结果为不可用，获取下一个集群地址，跳转至判断当前集群状态是否可用的步骤；当判断结果为可用，请求访问当前集群，进一步判断当前集群处理时间是否超过预设阈值，若未超过，获取集群反馈结果；若超过，并发请求访问下一个可用集群，获取优先返回的集群反馈结果。第四方面，提供了一种跨集群高可用的实现设备，所述设备包括：处理器；存储器，用于存储有所述处理器的可执行指令；其中，所述处理器配置为经由所述可执行指令来执行上述方案任一项所述的实现跨集群高可用的方法的步骤。本专利技术实施例提供的跨集群高可用的实现方法、装置、系统及设备，通过对数据同步的至少两个数据服务集群的集群信息进行监控，然后通过分布式协调服务实时获取集群信息，然后根据实时获取的集群信息进行相应数据服务集群的请求访问，实现了以下几个有益效果：1、首先，实现了在多集群间更流畅地进行集群迁移和切换，即进行客户端无感知的集群迁移和切换，并且是可以手工在服务端无缝切换集群，满足集群运维需要，实现了大数据实时读写等数据服务的多集群高可用以提升整体可用性；2、其次，当服务端集群进行运维操作时，不影响客户端本文档来自技高网...

【技术保护点】
1.一种跨集群高可用的实现方法，其特征在于，所述方法包括：/n监控通过数据同步配置的至少两个数据服务集群的集群信息，所述集群信息至少包括集群状态信息和集群地址信息；/n通过分布式协调服务实时获取所述集群信息；/n根据所述集群信息进行相应数据服务集群的请求访问。/n

【技术特征摘要】
1.一种跨集群高可用的实现方法，其特征在于，所述方法包括：
监控通过数据同步配置的至少两个数据服务集群的集群信息，所述集群信息至少包括集群状态信息和集群地址信息；
通过分布式协调服务实时获取所述集群信息；
根据所述集群信息进行相应数据服务集群的请求访问。


2.根据权利要求1所述的方法，其特征在于，所述监控通过数据同步配置的至少两个数据服务集群的集群信息，包括：
定时监控至少两个数据服务集群的集群状态信息；
将集群状态发生变更的集群状态信息通知至所述分布式协调服务。


3.根据权利要求2所述的方法，其特征在于，所述数据同步配置包括：
配置所述至少两个数据服务集群之间的相互复制关系，并将带有源集群ID信息的数据服务请求在所述至少两个数据服务集群之间进行同步。


4.根据权利要求1所述的方法，其特征在于，所述通过分布式协调服务实时获取所述集群信息，包括：
实时监听所述集群信息，并实时对集群状态发生变更的集群状态信息进行相应通知。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述集群信息进行相应数据服务集群的请求访问，包括：
根据所述集群信息，优先访问集群状态为可用的顺序靠前的集群。


6.根据权利要求5所述的方法，其特征在于，所述根据所述集群信息，优先访问集群状态为可用的顺序靠前的集群，包括：
根据所述集群信息，获取第一个集群地址，
判断当前集群状态是否可用，当判断结果为不可用，获取下一个集群地址，跳转至判断当前集群状态是否可用的步骤；
当判断结果为可用，请求访问当前集群，进一步判断当前集群处理时间是否超过预设阈值，若未超过，获取集群反馈结果；若超过，并发请求访问下一个可用集群，获取优先返回的集群反馈结果。


7.一种跨集群高可用的实现装置，其特征在于，所述装置包括：
监控模块，用于监控通过数据同步配置的至少两个数据服务集群的集群信息，所述集群信息至少包括集群状态信息和集群地址信息；
分布式协调服务模块，用于通过分布式协调服务实时获取所述集群信息；
请求访问控制模块，用于根据所述集群信息进行相应数据服务集群的请求访问。


8.根据权利要求7所述的装置，其特征在于，所述监控模块定时监控至少两个数据服务集群的集群状态信息，并将集群状态发生变更的集群状态信息通知至所述分布式协调服务模块。


9.根据权利要求7所述的装置，其特征在于，所述分布式协调服务模块用于实时监听所述集群信息，...

【专利技术属性】
技术研发人员：赵云，王志强，徐根林，孙迁，
申请(专利权)人：苏宁易购集团股份有限公司，
类型：发明
国别省市：江苏;32