数据处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供了一种数据处理方法、装置、电子设备及可读存储介质，属于数据处理技术领域。本申请通过，针对目标业务对应的任一存储周期，预估所述存储周期对应的业务数据的数据量；基于所述数据量创建所述存储周期对应的多个存储分片，并利用多个所述存储分片对所述存储周期对应的业务数据进行分片存储；在多个所述存储分片均达到存储容量上限的情况下，针对所述存储周期的下一个存储周期，执行所述预估所述存储周期对应的业务数据的数据量，基于所述数据量创建所述存储周期对应的多个存储分片，并利用多个所述存储分片对所述存储周期对应的业务数据进行分片存储的步骤。以实现在业务不同发展阶段，根据数据规模，动态调整分片数量。数量。数量。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及可读存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着计算机技术和互联网的发展，数据规模呈现爆炸性增长，以往单节点存储规模和查询性能已经很难满足大规模数据的存取，分布式数据库系统应运而生。分布式数据库系统将数据分布在计算机网络的不同节点上，而这些数据在逻辑上属于同一个系统。其中，分布式数据库采用数据分片技术对数据进行分片存储。
[0003]目前，在对某项业务的业务数据进行分片存储时，通常是在进行分片存储前，对该项业务的数据规模做一个整体预估，进而根据该数据规模创建相应数量的存储分片，最后利用这些存储分片存储该项业务的业务数据。
[0004]然而，一项业务在各个时期的数据增长量受到很多因素的影响，因此，一次性对业务的整体数据规模进行预估常常不够准确，容易出现确定的分片数量与实际要存储的数据量不匹配的情况。例如，预估的分片数量过少，在业务扩展时期数据规模暴增的情况下，需要对已有数据进行重新分片，成本很高；又如分片数量过多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：针对目标业务对应的任一存储周期，预估所述存储周期对应的业务数据的数据量，其中，在接收所述目标业务的业务数据过程中包括多个存储周期；基于所述数据量创建所述存储周期对应的多个存储分片，并利用多个所述存储分片对所述存储周期对应的业务数据进行分片存储；在多个所述存储分片均达到存储容量上限的情况下，针对所述存储周期的下一个存储周期，执行所述预估所述存储周期对应的业务数据的数据量，基于所述数据量创建所述存储周期对应的多个存储分片，并利用多个所述存储分片对所述存储周期对应的业务数据进行分片存储的步骤。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在接收所述目标业务的业务数据过程中，每接收一条业务数据，生成所述业务数据对应的数据ID，所述数据ID随着数据接收时间呈递增趋势；所述预估所述存储周期对应的业务数据的数据量，包括：确定所述存储周期数据ID的生成速度，以及，确定所述存储周期对应的预设时长；将所述生成速度与所述预设时长的乘积，确定为所述存储周期对应的业务数据的数据量。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：针对目标业务对应的任一存储周期，记录所述存储周期中进行分片存储的第一条业务数据的第一数据ID，以及，所述存储周期中进行分片存储的最后一条业务数据的第二数据ID；将所述第一数据ID和所述第二数据ID限定的范围，确定为所述存储周期对应的存储范围，得到目标业务对应的存储范围集合。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在接收到对所述目标业务中目标数据的查询请求时，在所述存储范围集合中，确定所述目标数据的数据ID所在的目标存储范围，以及，所述目标存储范围对应的目标存储周期；在所述目标存储周期对应的多个存储分片中查找所述目标数据。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：针对目标业务对应的任一存储周期，记录所述存储周期对应的存储规则，得到所述目标业务对应的存储规则集合；所述在所述目标存储周期对应的多个存储分片中查找所述目标数据，包括：在所述存储规则集合中，确定所述目标存储周期对应的目标存储...

【专利技术属性】
技术研发人员：郭志强，王世明，宋超，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：