一种数据分块处理方法、装置、设备及存储介质制造方法及图纸

技术编号:41740232 阅读:21 留言:0更新日期:2024-06-19 13:00
本申请公开了一种数据分块处理方法、装置、设备及存储介质,方法包括:从待分块数据中上一个数据分块的结束时刻开始滑动第一滑动窗口;上一个数据分块和第一滑动窗口均为上一次数据分块处理时确定的;分析第一滑动窗口包含数据的数据量,得到分析结果;根据分析结果,从待分块数据中确定出本次数据分块处理的目标数据分块,以及用于下一次数据分块处理的第二滑动窗口;利用第二滑动窗口对待分块数据进行下一次数据分块处理,直至将待分块数据划分成多个数据分块。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种数据分块处理方法、装置、设备及存储介质


技术介绍

1、近年来,随着电子商务企业的发展,数据量急增,传统的直接处理全部数据的处理方式已经不能满足数据处理量和数据处理效率的要求。

2、目前,针对数据量较大的情况,一般会采用数据分块技术将原始数据分成若干个小数据块存储,再由相应的各个计算集群处理,从而将大数据整体的分析任务转变成多个可并行处理的子任务进行数据处理,示例性地:采用固定滑动窗口对数据进行分块处理,但是,如果数据的分散度不够的话,比如,对于电商企业来说,在大促或者秒杀期间,会短时间产生大量的数据,且这些数据集中在某一时间段内,如果此时继续采用固定滑动窗口对数据进行分块处理,会导致某一个数据分块的数据量较大造成数据分块处理失败,使得数据分块处理的灵活性和效率较低。


技术实现思路

1、本申请实施例期望提供一种数据分块处理方法、装置、设备及存储介质。

2、本申请实施例的技术方案是这样实现的:

3、本申请实施例提供了一种数据分块处理方法,所述方本文档来自技高网...

【技术保护点】

1.一种数据分块处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述从待分块数据中上一个数据分块的结束时刻开始滑动第一滑动窗口之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述从待分块数据中上一个数据分块的结束时刻开始滑动第一滑动窗口,包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述分析结果,从所述待分块数据中确定出本次数据分块处理的目标数据分块,以及用于下一次数据分块处理的第二滑动窗口,包括:

5.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述分析结...

【技术特征摘要】

1.一种数据分块处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述从待分块数据中上一个数据分块的结束时刻开始滑动第一滑动窗口之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述从待分块数据中上一个数据分块的结束时刻开始滑动第一滑动窗口,包括:

4.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述分析结果,从所述待分块数据中确定出本次数据分块处理的目标数据分块,以及用于下一次数据分块处理的第二滑动窗口,包括:

5.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述分析结果,从所述待分块数据中确定出本次数据分块处理的目标数据分块,以及用于下一次数据分块处理的第二滑动窗口,包括:

6.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述分析结果...

【专利技术属性】
技术研发人员:孙亚伟
申请(专利权)人:北京沃东天骏信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1