应用于数据汇聚的数据表切分方法及装置制造方法及图纸

技术编号:40806842 阅读:22 留言:0更新日期:2024-03-28 19:30
本申请公开了一种应用于数据汇聚的数据表切分方法及装置,属于计算机技术领域。应用于数据汇聚的数据表切分方法,包括:判断数据汇聚任务中的源数据表中的切分字段的数据类型;在切分字段的数据类型不是数值型的情况下,基于用于读取源数据表的线程的数量,对源数据表中的目标数据进行均匀切分。本申请提供的应用于数据汇聚的数据表切分方法及装置,通过在切分字段的数据类型不是数值型的情况下,基于用于读取源数据表的线程的数量,对源数据表中的目标数据进行均匀切分,能实现在数据表中的切分字段的数据类型不是数值型的情况下,对数据表进行高效的切分,能实现针对数据表中的切分字段的数据类型不是数值型的情况,也可以进行高性能的读取。

【技术实现步骤摘要】

本申请属于计算机,尤其涉及一种应用于数据汇聚的数据表切分方法及装置


技术介绍

1、数据实时汇聚的场景中,随着数据规模不断增大,为了提高数据汇聚的效率,需要对数据表进行切分,以应对大规模数据的处理需求,并提高数据汇聚的并行性和扩展性。

2、目前,一般是在数据表中的切分字段的数据类型为数值型的情况下,才可以基于该切分字段对数据表进行高效的切分。在数据表中的切分字段的数据类型不是数值型的情况下,难以对数据表进行高效的切分,无法对源数据表进行高性能读取。因此,如何在数据表中的切分字段的数据类型不是数值型的情况下,对数据表进行高效的切分成为本领域亟待解决的技术课题。


技术实现思路

1、本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种应用于数据汇聚的数据表切分方法及装置,能实现在数据表中的切分字段的数据类型不是数值型的情况下,对数据表进行高效的切分。

2、第一方面,本申请提供了一种应用于数据汇聚的数据表切分方法,该方法包括:

3、判断数据汇聚任务中的源数据表中的切本文档来自技高网...

【技术保护点】

1.一种应用于数据汇聚的数据表切分方法,其特征在于,包括:

2.根据权利要求1所述的应用于数据汇聚的数据表切分方法,其特征在于,在所述判断数据汇聚任务中的源数据表中的切分字段的数据类型之后,所述方法还包括:

3.根据权利要求2所述的应用于数据汇聚的数据表切分方法,其特征在于,所述判断所述目标数据中所述切分字段的值的分布是否均匀,包括:

4.根据权利要求3所述的应用于数据汇聚的数据表切分方法,其特征在于,所述基于所述目标数据的数据量以及所述目标数据中所述切分字段的最大值和最小值,判断所述目标数据中所述切分字段的值的分布是否均匀,包括:

5.根...

【技术特征摘要】

1.一种应用于数据汇聚的数据表切分方法,其特征在于,包括:

2.根据权利要求1所述的应用于数据汇聚的数据表切分方法,其特征在于,在所述判断数据汇聚任务中的源数据表中的切分字段的数据类型之后,所述方法还包括:

3.根据权利要求2所述的应用于数据汇聚的数据表切分方法,其特征在于,所述判断所述目标数据中所述切分字段的值的分布是否均匀,包括:

4.根据权利要求3所述的应用于数据汇聚的数据表切分方法,其特征在于,所述基于所述目标数据的数据量以及所述目标数据中所述切分字段的最大值和最小值,判断所述目标数据中所述切分字段的值的分布是否均匀,包括:

5.根据权利要求1所述的应用于数据汇聚的数据表切分方法,其特征在于,在所述判断数据汇聚任务中的源数据表中的切分字段的数据类型之前,所述...

【专利技术属性】
技术研发人员:陈超李章菁田丰余剑彪林誉彭冠莲
申请(专利权)人:广州广电运通信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1