数据处理方法、装置、存储介质以及系统制造方法及图纸

本申请公开了一种数据处理方法、装置、存储介质以及系统。其中，该方法应用于分布式系统，分布式系统包括至少一种类型的元数据管理节点，该方法包括：接收到对待处理数据进行处理的请求信息；根据请求信息从多个元数据管理节点中确定目标节点，其中，不同节点类型的元数据管理节点处理不同类型的数据；基于目标节点对待处理数据执行运行处理，得到处理结果。本申请解决了现有技术中，由于分布式系统中元数据管理节点需要对多种数据进行处理，所导致的分布式系统的扩展性能差的问题的技术问题。的分布式系统的扩展性能差的问题的技术问题。的分布式系统的扩展性能差的问题的技术问题。

【技术实现步骤摘要】
数据处理方法、装置、存储介质以及系统


[0001]本申请涉及计算机领域，具体而言，涉及一种数据处理方法、装置、存储介质以及系统。

技术介绍

[0002]随着互联网技术的发展，越来越多的个人或者企业使用分布式系统进行数据处理，其中，分布式文件系统在进行数据处理时，会将多个离散的存储节点，通过网络连接在一起，从而对外部设备提供高可用以及高性能的文件存储语义，而且，分布式系统的存储能力可以随着存储节点的增加而横向扩展。
[0003]但是，在分布式系统中，存储节点的横向扩展会受到元数据管理节点的内存以及性能瓶颈的制约，从而导致分布式系统的容量以及性能无法随着存储节点的增加而线性增长。其中，元数据管理节点主要是用于对描述文件属性的元数据和描述目录树的元数据进行管理。
[0004]例如，图2是一种现有技术中的数据处理方法流程图。如图2所示，元数据管理节点为管理节点1、管理节点2以及管理节点3，存储节点为存储节点1、存储节点2以及存储节点3。其中，多组元数据管理节点所对应的管理空间之间相互独立，每组元数据管理节点各自分工管理自己对应的管理空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于分布式系统，所述分布式系统包括至少一种类型的元数据管理节点，所述方法包括：接收到对待处理数据进行处理的请求信息；根据所述请求信息从多个元数据管理节点中确定目标节点，其中，不同节点类型的元数据管理节点处理不同类型的数据；基于所述目标节点对所述待处理数据执行运行处理，得到处理结果。2.根据权利要求1所述的方法，其特征在于，在根据所述请求信息从所述多个元数据管理节点中确定目标节点之前，所述方法还包括：从所述请求信息中确定对所述待处理数据所对应的文件进行操作的操作类型；根据所述操作类型确定所述请求信息对应的请求类型。3.根据权利要求2所述的方法，其特征在于，根据所述请求信息从所述多个元数据管理节点中确定目标节点，包括：在检测到所述请求信息为第一请求信息时，从所述多个元数据管理节点中确定第一元数据管理节点为所述目标节点，其中，所述第一元数据管理节点用于对描述所述文件的目录树的元数据进行管理。4.根据权利要求3所述的方法，其特征在于，基于所述目标节点对所述待处理数据执行运行处理，得到处理结果，包括：获取第一管理空间与至少一组元数据管理节点之间的第一对应关系；根据所述第一对应关系从所述目标节点所对应的第一管理空间中确定第一目标管理空间；控制所述目标节点对所述第一目标管理空间中的待处理数据进行处理，得到所述处理结果。5.根据权利要求2所述的方法，其特征在于，根据所述请求信息从所述多个元数据管理节点中确定目标节点，包括：在检测到所述请求信息为第二请求信息时，从所述多个元数据管理节点中确定第二元数据管理节点为所述目标节点，其中，所述第二元数据管理节点用于对描述所述文件的文件属性的元数据进行管理。6.根据权利要求5所述的方法，其特征在于，基于所述目标节点对所述待处理数据执行运行处理，得到处理结果，包括：基于预设随机数确定第二管理空间与至少一组元数据管理节点之间的第二对应关系；根据所述第二对应关系从所述目标节点所对应的第二管理空间中确定第二目标管理空间；控制所述目标节点对所述第二目标管理空间中的待处理数据进行处理，得到所述处理结果。7.根据权利要求1所述的方法，其特征在于，基于所述目标节点对所述待处理数据执行运行处理，得到处理结果，包括：检测所述目标节点是否处于异常状态；在检测到所述目标节点处于所述异常状态时，从至少一个代理节点中确定目标代理节点，其中，所述至少一个代理节点为与所述目标节点属于同一种类型的元数据管理节点；
基于所...

【专利技术属性】
技术研发人员：王晓东，刘俊峰，刘岭岭，姚文辉，游成毅，甘经纬，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：