本申请实施例公开了一种数据处理方法、装置、系统、设备及可读存储介质，涉及数据处理技术领域。数据处理方法应用于管理节点，可包括：在接收到目标数据处理任务的情况下，根据目标数据处理任务的目标类型和目标数据量，确定目标数据处理任务所需的目标资源信息；根据目标资源信息和目标类型，确定目标存储节点组；将目标数据处理任务分配至目标存储节点组，以使目标存储节点组对目标数据处理任务进行处理。根据本申请实施例，有利于提高数据处理业务的性能，进而有利于提高开源分布式存储系统的性能。
【技术实现步骤摘要】
本申请属于数据处理，尤其涉及一种数据处理方法、装置、系统、设备及可读存储介质。
技术介绍
1、纠删码技术(erasure coding，ec)，是一种编码容错技术。最早用于通信行业，数据传输中的数据恢复。它通过对数据进行分块，然后计算出校验数据，使得各个部分的数据产生关联性。当一部分数据块丢失时，可以通过剩余的数据块和校验块计算出丢失的数据块。开源分布式存储系统(ceph)的实现方式是该系统按照k和m参数配置、归置组规划和存储节点存储容量权重，按照存储容量均衡原则选取(n1,n2,...,nk+m)k+m个存储节点用来存储(k+m)个纠删码切片，由节点组首节点n1负责写数据时数据对象分块的纠删码编码计算、读数据时纠删码切片重组、数据损坏恢复时的纠删码解码计算。其中，k为数据中数据块的数量，m为数据中校验块的数量。
2、相关技术中主要通过对开源分布式存储系统中的数据恢复业务进行优化，以提高数据处理业务的性能，进而提高开源分布式存储系统的性能，但数据处理业务的性能提升有限，进而导致开源分布式存储系统的性能提升有限。
/>技术本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于管理节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标资源信息和所述目标类型，确定目标存储节点组，包括：
3.根据权利要求2所述的方法，其特征在于，所述第一资源状态包括业务网络带宽资源状态、计算资源状态、存储网络带宽资源状态和内存资源状态，所述根据所述目标资源信息和P个所述第一资源状态，从P个所述第一存储节点组中确定目标存储节点组，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标资源信息和P个所述第一资源状态，从P个所述第一存储节点组中确定目标存储节点组之前，所述方...
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于管理节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标资源信息和所述目标类型，确定目标存储节点组，包括：
3.根据权利要求2所述的方法，其特征在于，所述第一资源状态包括业务网络带宽资源状态、计算资源状态、存储网络带宽资源状态和内存资源状态，所述根据所述目标资源信息和p个所述第一资源状态，从p个所述第一存储节点组中确定目标存储节点组，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标资源信息和p个所述第一资源状态，从p个所述第一存储节点组中确定目标存储节点组之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标资源信息、p个所述第一资源状态、所述网络状态和p个所述数据处理任务队列状态，从p个所述第一存...
【专利技术属性】
技术研发人员：董林鹏，刘源，
申请(专利权)人：中移物联网有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。