【技术实现步骤摘要】
请求数据处理方法、系统、设备、存储介质及程序产品
[0001]本申请涉及数据处理、大数据及大数据存储
,尤其涉及一种请求数据处理方法、系统、设备、存储介质及程序产品。
技术介绍
[0002]随着互联网技术和计算机技术的不断发展,数据安全成为了人们日益关切的方向。
[0003]目前,现有技术中为了提高数据的安全性,通常会将数据进行备份,对于在云端提供网络服务的情况,则需要采用灾备集群对工作集群中大量数据进行备份。在提供网络服务的过程中,用户使用的终端设备需要判断采用工作集群还是灾备集群提供服务。
[0004]但是,专利技术人发现现有技术至少存在如下技术问题:当前需要终端设备增加判断规则,造成占用终端设备资源的问题。
技术实现思路
[0005]本申请提供一种请求数据处理方法、系统、设备、存储介质及程序产品,用以解决占用终端设备资源的问题。
[0006]第一方面,本申请提供一种请求数据处理方法,应用于请求数据处理系统,请求数据处理系统,包括网关服务模块、监控服务模块、工作集群及灾备集群 ...
【技术保护点】
【技术特征摘要】
1.一种请求数据处理方法,其特征在于,应用于请求数据处理系统,所述请求数据处理系统,包括网关服务模块、监控服务模块、工作集群及灾备集群;所述方法,包括:所述监控服务模块采集系统状态信息,所述系统状态信息包括工作集群Hive服务状态、灾备集群Hive服务状态、Hadoop分布式文件系统HDFS服务状态及数据同步任务记录;所述网关服务模块响应于接收终端设备发送的请求数据,读取所述系统状态信息;根据所述工作集群Hive服务状态及所述HDFS服务状态,确定工作集群状态;根据所述灾备集群Hive服务状态、所述HDFS服务状态及所述数据同步任务记录,确定灾备集群状态;根据所述工作集群状态及所述灾备集群状态,确定所述工作集群及所述灾备集群中的可用集群;将所述请求数据转发至所述可用集群。2.根据权利要求1所述的方法,其特征在于,所述根据所述工作集群Hive服务状态及所述HDFS服务状态,确定工作集群状态,包括:若所述工作集群Hive服务状态及所述HDFS服务状态都为正常,则将工作集群状态确定为正常;若所述工作集群Hive服务状态及所述HDFS服务状态中至少一个为异常,则将工作集群状态确定为异常。3.根据权利要求1所述的方法,其特征在于,所述根据所述灾备集群Hive服务状态、所述HDFS服务状态及所述数据同步任务记录,确定灾备集群状态,包括:若所述灾备集群Hive服务状态及所述HDFS服务状态都为正常,且在数据同步任务记录中包括预设时间内的同步记录,则将灾备集群状态确定为正常;若所述灾备集群Hive服务状态及所述HDFS服务状态都为正常,且在数据同步任务记录中不包括预设时间内的同步记录,则将灾备集群状态确定为异常;若所述灾备集群Hive服务状态及所述HDFS服务状态中至少一个为异常,则将灾备集群状态确定为异常。4.根据权利要求1所述的方法,其特征在于,所述根据所述工作集群状态及所述灾备集群状态,确定所述工作集群及所述灾备集群中的可用集群,包括:若所述工作集群状态为正常,且所述灾备集群状态为异常,则将所述工作集群确定为主库;若所述工作集群状态为异常,且所述灾备集群状态为正常,则将所述灾备集群确定为主库;若所述工作集群状态为正常,且所述灾备集群状态为正常,则根据预设的设置信息,将所述工作集群或所述灾备集群确定为主库,其中所述设置信息包括主库为所述工作集群或主库为所述灾备集群;将所述主库确定为可用集群。5.根据权利要求1至4任一项所述的方法,其特征在于,所述请求数据处理系统,还包括:数据校验模块;所述方法,还包括:所述数据校验模块周期性读取工作集群中的各文件,并计算各文件的总和检验码,将各文件的文件路径、所述各文件的总和检验码储存及各文件的大小存储为工作文件信息;读取灾备集群中各灾备文件,并计算所述灾备文件的总和检验码,将各灾备文件的文件路径、各灾备文件的总和检验码及各灾备文件的文件大小存储为灾备文件信息;对比所述工
作文件信息与所述灾备文件信息,若所述工作文件信息与所述灾备文件信息不同,则输出校验结果,并根据所述工作文件信...
【专利技术属性】
技术研发人员:张一浓,
申请(专利权)人:建信金融科技有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。