多集群场景下的数据处理方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种多集群场景下的数据处理方法、装置、设备及存储介质，通过转发代理集群接收数据消费应用发送的消费请求；通过转发代理集群将消费请求发送至访问控制与数据路由服务集群；控制访问控制与数据路由服务集群根据消费请求中的访问信息进行鉴权处理；若鉴权成功，则控制访问控制与数据路由服务集群在联机事务处理过程数据库中进行查询，确定消费请求对应的Hadoop集群网际互连协议地址，并将Hadoop集群网际互连协议地址返回给转发代理集群；控制转发代理集群在接收到Hadoop集群网际互连协议地址之后，将消费请求中的网际互连协议地址替换为Hadoop集群网际互连协议地址，并将数据访问请求根据Hadoop集群网际互连协议地址发送至对应的Hadoop集群，以实现数据路由。由。由。

【技术实现步骤摘要】
多集群场景下的数据处理方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种多集群场景下的数据处理方法、装置、设备及存储介质。

技术介绍

[0002]当前，传统的大数据平台往往会根据应用和数据的使用场景和使用热度，将数据存放在不同的Hadoop集群上，另外因系统历史建设等原因，大数据平台下也会衍生出多套Hadoop集群。独立的、彼此物理隔离的集群架构设计虽然在提升应用运行效率和数据安全性上有些优势，但是数据访问管理难度较大、数据获取难度较大。
[0003]目前，主要通过两种方式解决上述问题，一种是建立一个Hadoop集群来替代多个Hadoop集群的方式，但是单组管理文件系统的命名空间(Namenode)在大规模集群中存在较大的局限性。另外一种是采用Hadoop联邦架构集合多个Hadoop集群构建统一的Hadoop联邦集群的方式。
[0004]然而，现有技术中的数据处理方法存在数据访问时效性低、存储成本高、数据处理效率低的技术问题。

技术实现思路

[0005]本申请提供一种多集群场景下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多集群场景下的数据处理方法，其特征在于，包括：通过转发代理集群接收数据消费应用发送的消费请求；通过转发代理集群将所述消费请求发送至访问控制与数据路由服务集群；控制访问控制与数据路由服务集群根据所述消费请求中的访问信息进行鉴权处理；若鉴权成功，则控制访问控制与数据路由服务集群在联机事务处理过程数据库中进行查询，确定所述消费请求对应的Hadoop集群网际互连协议地址，并将所述Hadoop集群网际互连协议地址返回给转发代理集群；控制转发代理集群在接收到所述Hadoop集群网际互连协议地址之后，将所述消费请求中的网际互连协议地址替换为Hadoop集群网际互连协议地址，并将数据访问请求根据所述Hadoop集群网际互连协议地址发送至对应的Hadoop集群，以实现数据路由。2.根据权利要求1所述的方法，其特征在于，在所述控制转发代理集群在接收到所述Hadoop集群网际互连协议地址之后，将所述消费请求中的网际互连协议地址替换为Hadoop集群网际互连协议地址，并将数据访问请求根据所述Hadoop集群网际互连协议地址发送至对应的Hadoop集群，以实现数据路由之后，还包括：控制Hadoop集群在接收到所述数据访问请求并处理后，将相关返回数据发送给转发代理集群；控制转发代理集群将所述相关返回数据转发至数据消费应用。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：定期同步Hadoop集群路径清单至联机事务处理过程数据库。4.根据权利要求3所述的方法，其特征在于，所述定期同步Hadoop集群路径清单至联机事务处理过程数据库，包括：实时采集各个Hadoop集群NameNode日志，并将集群信息和日志信息按照预设保存格式缓存到Kafka；实时从Kafka中拉取缓存的Hadoop集群NameNode日志，并解析出涉及Hadoop集群路径变动的日志信息；若Hadoop集群路径变动的日志信息为路径新增的情况，则将集群信息和路径信息插入到联机事务处理过程数据库；若Hadoop集群路径变动的日志信息为路径删除的情况，则根据集群信息和路径信息在联机事务处理过程数据库中关联删除相关路径清单记录。5.根据权利要求4所述的方法，其特征在于，所述实时采集各个Hadoop集群N...

【专利技术属性】
技术研发人员：孟洋，信聪，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：