数据分区方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供了一种数据分区方法、装置、设备及计算机可读存储介质；方法包括：获取数据处理架构中静态数据的平均数据大小，并获取数据处理架构中动态数据的总条数，所述静态数据为所述数据处理架构已接收数据，所述动态数据为所述数据处理架构持续接收数据，所述数据处理架构包括多个初始分区，所述初始分区的数量根据所述静态数据确定，每个分区用于处理接收到的数据；基于平均数据大小以及动态数据的总条数，确定数据处理架构的期望分片数量；获取数据处理架构的初始分区数量；响应于期望分片数量与初始分区数量不匹配，则对数据处理架构进行重分区。通过本申请，能够实现对数据资源的动态调节，从而提升了数据处理过程的稳定性。

【技术实现步骤摘要】

本申请涉及数据处理，尤其涉及一种数据分区方法、装置、设备及计算机可读存储介质。

技术介绍

1、随着互联网技术的高速发展以及大数据时代的来临，互联网每天同步的数据量能够达到千亿级别，数据的同步时效性以及数据处理任务的稳定性都面临着更高的挑战。因此，如果没有合适的资源自动计算支持，将会导致任务处理稳定性降低，甚至导致任务失败。

2、由于数据量是动态变化的，因此需要结合多种参数来对数据分区数量进行调节，尤其是在数据量突然增加时，如果不能对数据资源进行动态处理，将会导致内存溢出并造成资源的浪费。

技术实现思路

1、本申请实施例提供一种数据分区方法、装置、设备、计算机可读存储介质以及计算机程序产品，能够对数据资源进行动态调节，提升数据处理过程的稳定性。

2、本申请实施例的技术方案是这样实现的：

3、本申请实施例提供一种数据分区方法，所述方法包括：

4、获取数据处理架构中静态数据的平均数据大小，并获取所述数据处理架构中动态数据的总条数，所述静态数据为所述数据处理架构已接收数本文档来自技高网...

【技术保护点】

1.一种数据分区方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，所述基于所述平均数据大小以及所述动态数据的总条数，确定所述数据处理架构的期望分片数量，包括：

3.根据权利要求2所述方法，其特征在于，所述基于所述平均数据大小，确定所述数据处理架构的每个分片所能容纳的分片数据总条数，包括：

4.根据权利要求2所述方法，其特征在于，所述基于所述动态数据的总条数以及所述分片数据总条数，确定所述数据处理架构的期望分片数量，包括：

5.根据权利要求1所述方法，其特征在于，所述响应于所述期望分片数量与所述初始分区数量不匹配，则对所述数据...

【技术特征摘要】

1.一种数据分区方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，所述基于所述平均数据大小以及所述动态数据的总条数，确定所述数据处理架构的期望分片数量，包括：

3.根据权利要求2所述方法，其特征在于，所述基于所述平均数据大小，确定所述数据处理架构的每个分片所能容纳的分片数据总条数，包括：

4.根据权利要求2所述方法，其特征在于，所述基于所述动态数据的总条数以及所述分片数据总条数，确定所述数据处理架构的期望分片数量，包括：

5.根据权利要求1所述方法，其特征在于，所述响应于所述期望分片数量与所述初始分区数量不匹配，则对所述数据处理架构...

【专利技术属性】
技术研发人员：扶剑，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：