一种数据处理方法和装置制造方法及图纸

技术编号:42903260 阅读:19 留言:0更新日期:2024-09-30 15:19
本发明专利技术公开了一种数据处理方法和装置,涉及大数据技术领域。该方法的一具体实施方式包括:获取数据分区的存储数据和处理记录数据;根据所述存储数据构建代价均衡系数,根据所述处理记录数据确定数据分区的处理模式;基于所述代价均衡系数和所述数据分区的处理模式确定目标均衡值,利用所述目标均衡值设置数据分区的生命周期。该实施方式能够提高数据分区处理模式的识别结果的准确性,降低了数据处理成本,提升了数据处理的效率。

【技术实现步骤摘要】

本专利技术涉及大数据,尤其涉及一种数据处理方法和装置


技术介绍

1、目前,主要采用两种方式进行数据处理,一种是基于业务调研以及研发经验参照数据所处的数仓分层设置相应的规则,利用规则进行数据处理;一种是基于数据模型预设时间内所有的访问日期范围进行数据处理。

2、在实现本专利技术过程中,专利技术人发现相关技术中至少存在如下问题:

3、数据分区处理模式的识别结果准确性较差,数据处理成本高及效率低下。


技术实现思路

1、有鉴于此,本专利技术实施例提供一种数据处理方法和装置,能够提高数据分区处理模式的识别结果的准确性,降低了数据处理成本,提升了数据处理的效率。

2、为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据处理方法,包括:

3、获取数据分区的存储数据和处理记录数据;

4、根据所述存储数据构建代价均衡系数,根据所述处理记录数据确定数据分区的处理模式;

5、基于所述代价均衡系数和所述数据分区的处理模式确定目标均衡值,利用所述目标均本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述存储数据构建代价均衡系数,包括:

3.根据权利要求1所述的方法,其特征在于,根据所述处理记录数据确定数据分区的处理模式,包括:

4.根据权利要求3所述的方法,其特征在于,根据所述分区日期数据和访问日期数据确定偏移天数特征,包括:

5.根据权利要求3所述的方法,其特征在于,基于所述偏移天数特征确定数据分区的处理模式,包括:

6.根据权利要求5所述的方法,其特征在于,基于所述代价均衡系数和所述数据分区的处理模式确定目标均衡值,包括:

<...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述存储数据构建代价均衡系数,包括:

3.根据权利要求1所述的方法,其特征在于,根据所述处理记录数据确定数据分区的处理模式,包括:

4.根据权利要求3所述的方法,其特征在于,根据所述分区日期数据和访问日期数据确定偏移天数特征,包括:

5.根据权利要求3所述的方法,其特征在于,基于所述偏移天数特征确定数据分区的处理模式,包括:

【专利技术属性】
技术研发人员:吕代军马志强李升武磊
申请(专利权)人:北京沃东天骏信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1