大数据集群切换方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及计算机技术领域，提供一种大数据集群切换方法、装置、电子设备及存储介质，该方法包括：接收客户端发送的数据服务请求，并基于数据服务请求生成数据计算任务；数据服务请求包括访问服务信息；获取访问服务信息对应当前大数据集群的状态信息，并基于状态信息判断当前大数据集群是否可用；若否，则获取预先创建的大数据集群列表，从大数据集群列表中查询到优先级最高的目标大数据集群，并将当前大数据集群切换至目标大数据集群进行数据计算任务的运算；若是，则利用当前大数据集群进行数据计算任务的运算。这样，在确定大数据集群发生异常后，基于大数据集群的优先级快速完成切换，做到快速故障恢复，保证业务连续性，提高数据运算速率。数据运算速率。数据运算速率。

【技术实现步骤摘要】
大数据集群切换方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种大数据集群切换方法、装置、电子设备及存储介质。

技术介绍

[0002]随着计算机和信息技术的飞速发展，各行各业应用系统所产生的数据越来越多，对企业的管理数据和业务数据进行备份已经变得越来越重要，因此对大数据平台的需求也越来越大使用分布式系统基础架构Hadoop的大数据软件系统中，通常依靠Hadoop各个组件本身的高可用性。
[0003]现有技术，大数据平台采用使用Apache Hadoop分布式处理架构，集成各种大数据技术栈，依靠Hadoop各个组件本身的高可用性进行大数据量的运算；具体的，采用多套存储计算大数据集群互为备份，采用异地多节点备份方式部署运营来提供跨地域的高可用能力，从而进行大数据量的运算。
[0004]但是，对于大数据应用，由于采用分布式数据库集群进行大数据量的运算，大数据集群还是存在故障的风险，当故障发生后服务切换到异地大数据集群的时间较长，影响业务连续性，进而导致数据运算速率降低。

技术实现思路

[0005]本申请提供一种大数据集群切换方法、装置、电子设备及存储介质，在确定大数据集群发生异常后，可以基于大数据集群的优先级快速完成切换，做到快速故障恢复，操作步骤简单，保证业务连续性，提高数据运算速率。
[0006]第一方面，本申请提供大数据集群切换方法，所述方法包括：
[0007]接收客户端发送的数据服务请求，并基于所述数据服务请求生成数据计算任务；所述数据服务请求包括访问服务信息；
[0008]获取所述访问服务信息对应当前大数据集群的状态信息，并基于所述状态信息判断所述当前大数据集群是否可用；
[0009]若否，则获取预先创建的大数据集群列表，从所述大数据集群列表中查询到优先级最高的目标大数据集群，并将当前大数据集群切换至所述目标大数据集群进行所述数据计算任务的运算；所述大数据集群列表用于记录不同大数据集群的优先级信息；
[0010]若是，则利用当前大数据集群进行所述数据计算任务的运算。
[0011]可选的，获取所述访问服务信息对应当前大数据集群的状态信息，并基于所述状态信息判断所述当前大数据集群是否可用，包括：
[0012]每隔预设周期，向所述访问服务信息对应当前大数据集群发送检测指令；所述检测指令用于检测当前大数据集群的接口是否连接正常；
[0013]基于所述检测指令获取当前大数据集群反馈的状态信息，并判断所述状态信息是否满足预定义规则，以确定所述当前大数据集群是否可用。
[0014]可选的，所述访问服务信息包括：用户身份信息、访问服务地址、集群权限信息和用户服务等级；向所述访问服务信息对应当前大数据集群发送检测指令，包括：
[0015]基于所述用户身份信息对客户端进行身份验证，在身份验证通过后，基于所述访问服务地址查找到对应当前大数据集群的服务访问权限；
[0016]基于所述集群权限信息判断所述数据服务请求是否满足当前大数据集群的服务访问权限；
[0017]若是，则基于用户服务等级确定该数据服务请求的处理顺序，并基于所述处理顺序向当前大数据集群发送检测指令；
[0018]若否，则向客户端发送警示信息，以提示用户该数据服务请求不满足当前大数据集群的服务访问权限。
[0019]可选的，所述方法还包括：
[0020]获取预设区域内各个大数据集群的集群管理信息；所述集群管理信息包括集群信息、数据源信息和分布式队列信息；所述集群信息用于指示大数据集群具有的权限信息、优先级信息以及加密信息；所述数据源信息用于指示大数据集群运行时分布式访问的数据库信息；所述分布式队列信息用于指示大数据集群中运算数据计算任务的队列信息；
[0021]基于所述集群管理信息进行不同大数据集群的容器实例化并注册网关，得到各个大数据集群的访问服务地址；
[0022]基于各个大数据集群的访问服务地址以及集群管理信息创建大数据集群列表。
[0023]可选的，将当前大数据集群切换至所述目标大数据集群进行所述数据计算任务的运算，包括：
[0024]获取所述目标大数据集群的访问服务地址，并基于所述目标大数据集群的访问服务地址将当前大数据集群切换至所述目标大数据集群；
[0025]基于所述目标大数据集群对应的数据源信息和所述分布式队列信息调用相应的数据库以及队列对所述数据计算任务进行运算。
[0026]可选的，所述方法还包括：
[0027]响应于用户的触控操作，对预先创建的大数据集群列表中的集群管理信息进行修改；
[0028]获取修改后的大数据集群列表，并基于该大数据集群列表判断所述目标大数据集群是否发生改变；
[0029]若是，则重新查询优先级最高的目标大数据集群，并进行大数据集群的切换，以使切换后的大数据集群进行所述数据计算任务的运算。
[0030]可选的，所述方法还包括：
[0031]在对所述数据计算任务进行运算后，得到运算处理结果；
[0032]判断所述运算处理结果的数据量是否大于预设阈值；
[0033]若否，则采用单线程的方式向客户端依次返回所述运算处理结果；
[0034]若是，则采用多线程的方式向客户端异步返回所述运算处理结果。
[0035]第二方面，本申请提供一种大数据集群切换装置，所述装置包括：
[0036]接收模块，用于接收客户端发送的数据服务请求，并基于所述数据服务请求生成数据计算任务；所述数据服务请求包括访问服务信息；
[0037]判断模块，用于获取所述访问服务信息对应当前大数据集群的状态信息，并基于所述状态信息判断所述当前大数据集群是否可用；
[0038]切换模块，用于当所述当前大数据集群不可用时，获取预先创建的大数据集群列表，从所述大数据集群列表中查询到优先级最高的目标大数据集群，并将当前大数据集群切换至所述目标大数据集群进行所述数据计算任务的运算；所述大数据集群列表用于记录不同大数据集群的优先级信息；
[0039]运算模块，用于当所述当前大数据集群可用时，利用当前大数据集群进行所述数据计算任务的运算。
[0040]第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
[0041]所述存储器存储计算机执行指令；
[0042]所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面中任一项所述的方法。
[0043]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面中任一项所述的方法。
[0044]第五方面，本申请提供一种计算机程序产品，包括程序代码，当计算机运行所述计算机程序时，所述程序代码执行如第一方面中任一项所述的方法。
[0045]综上所述，本申请提供一种大数据集群切换方法、装置、电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据集群切换方法，其特征在于，所述方法包括：接收客户端发送的数据服务请求，并基于所述数据服务请求生成数据计算任务；所述数据服务请求包括访问服务信息；获取所述访问服务信息对应当前大数据集群的状态信息，并基于所述状态信息判断所述当前大数据集群是否可用；若否，则获取预先创建的大数据集群列表，从所述大数据集群列表中查询到优先级最高的目标大数据集群，并将当前大数据集群切换至所述目标大数据集群进行所述数据计算任务的运算；所述大数据集群列表用于记录不同大数据集群的优先级信息；若是，则利用当前大数据集群进行所述数据计算任务的运算。2.根据权利要求1所述的方法，其特征在于，获取所述访问服务信息对应当前大数据集群的状态信息，并基于所述状态信息判断所述当前大数据集群是否可用，包括：每隔预设周期，向所述访问服务信息对应当前大数据集群发送检测指令；所述检测指令用于检测当前大数据集群的接口是否连接正常；基于所述检测指令获取当前大数据集群反馈的状态信息，并判断所述状态信息是否满足预定义规则，以确定所述当前大数据集群是否可用。3.根据权利要求2所述的方法，其特征在于，所述访问服务信息包括：用户身份信息、访问服务地址、集群权限信息和用户服务等级；向所述访问服务信息对应当前大数据集群发送检测指令，包括：基于所述用户身份信息对客户端进行身份验证，在身份验证通过后，基于所述访问服务地址查找到对应当前大数据集群的服务访问权限；基于所述集群权限信息判断所述数据服务请求是否满足当前大数据集群的服务访问权限；若是，则基于用户服务等级确定该数据服务请求的处理顺序，并基于所述处理顺序向当前大数据集群发送检测指令；若否，则向客户端发送警示信息，以提示用户该数据服务请求不满足当前大数据集群的服务访问权限。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取预设区域内各个大数据集群的集群管理信息；所述集群管理信息包括集群信息、数据源信息和分布式队列信息；所述集群信息用于指示大数据集群具有的权限信息、优先级信息以及加密信息；所述数据源信息用于指示大数据集群运行时分布式访问的数据库信息；所述分布式队列信息用于指示大数据集群中运算数据计算任务的队列信息；基于所述集群管理信息进行不同大数据集群的容器实例化并注册网关，得到各个大数据集群的访问服务地址；基于各个大数据集群的访问服务地址以及集群管理信息创建大数据集群列表。5.根据权利要求4所述的方法，其特征在于，将当前大数据集群切换至所述目标大数据集群进行所述数据计算任务的运...

【专利技术属性】
技术研发人员：张晨林，林华兵，许琳，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：