一种数据处理方法、装置、可读存储介质及电子设备制造方法及图纸

本发明专利技术提供了一种数据处理方法、装置、计算机可读存储介质及电子设备，该方法应用于跨数据中心的数据湖，所述数据湖中每个数据中心部署有元数据服务，每个数据中心建设有元数据副本库；所述方法包括：接收数据查询请求；确定执行所述数据查询请求的目标数据中心；所述目标数据中心选取对应的目标元数据服务；并基于所述数据查询请求，访问与所述目标元数据服务属于同一数据中心的目标元数据副本库，确定出元数据信息；以及基于所述元数据信息和所述数据查询请求，确定数据处理结果。在发明专利技术提供的技术方案中通过元数据服务和元数据副本库的本地化部署，有效解决跨数据中心网络时延带来的性能问题，能够快速响应数据查询请求，性能较高。较高。较高。

【技术实现步骤摘要】
一种数据处理方法、装置、可读存储介质及电子设备


[0001]本专利技术涉及数据处理
，且更具体地，涉及一种数据处理方法、装置、可读存储介质及电子设备。

技术介绍

[0002]随着数据的爆炸式增长，通过数据湖为各类数字化应用提供数据服务已经越来越普遍。然而，在运营商的数据中心机房较为分散的情况下，此时的数据湖是基于跨数据中心建设的，基于跨数据中心建设的数据湖在提供数据服务时，性能较差。

技术实现思路

[0003]本专利技术提供了一种数据处理方法、装置、计算机可读存储介质及电子设备，以解决现有技术中跨数据中心建设的数据湖在提供数据服务时，性能较差的技术问题。
[0004]根据本专利技术的第一方面，提供了一种数据处理方法，应用于跨数据中心的数据湖，所述数据湖中每个数据中心部署有元数据服务，每个数据中心建设有元数据副本库；所述方法包括：
[0005]接收数据查询请求；
[0006]确定执行所述数据查询请求的目标数据中心；
[0007]所述目标数据中心选取对应的目标元数据服务；并基于所述数据查询请求，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于跨数据中心的数据湖，所述数据湖中每个数据中心部署有元数据服务，每个数据中心建设有元数据副本库；所述方法包括：接收数据查询请求；确定执行所述数据查询请求的目标数据中心；所述目标数据中心选取对应的目标元数据服务；并基于所述数据查询请求，访问与所述目标元数据服务属于同一数据中心的目标元数据副本库，确定出元数据信息；以及基于所述元数据信息和所述数据查询请求，确定数据处理结果。2.根据权利要求1所述的方法，其特征在于，所述跨数据中心的数据湖还包括元数据中心库；所述确定数据处理结果的步骤后，所述方法还包括：所述目标数据中心基于所述数据处理结果，访问所述元数据中心库，对所述元数据中心库中的数据进行变更处理；对所述元数据中心库中数据进行变更处理后，所述元数据中心库将变更处理同步到每个元数据副本库。3.根据权利要求1所述的方法，其特征在于，所述跨数据中心的数据湖还包括元数据服务注册中心；所述方法还包括：所述元数据服务注册中心接收每个数据中心的元数据服务发送的注册信息，并基于所述注册信息，确定元数据服务列表；所述元数据服务注册中心将所述元数据服务列表，下发至每个数据中心；所述目标数据中心选取对应的目标元数据服务，包括：所述目标数据中心基于所述元数据服务列表，选取对应的目标元数据服务。4.根据权利要求3所述的方法，其特征在于，所述目标数据中心基于所述元数据服务列表，选取对应的目标元数据服务，包括：所述目标数据中心基于所述元数据服务列表，确定部署于所述目标数据中心的元数据服务的可用状态；所述目标数据中心在所述可用状态符合预设条件的情况下，将部署于所述目标数据中心的元数据服务选取为对应的目标元数据服务。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：所述目标数据中心在所述可用状态不符合所述预设条件的情况下，基于所述元数据服务列表，确定所述目标数据中心以外的其他数据中心部署的元...

【专利技术属性】
技术研发人员：张伟涛，何益斌，芦康磊，张伟，廖小文，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：