【技术实现步骤摘要】
数据处理方法、装置、存储介质及终端
本专利技术实施例涉及数据处理
,尤其涉及数据处理方法、装置、存储介质及终端。
技术介绍
在进行业务任务处理时,通常基于任务批处理框架(dophine)来执行业务任务调度,以对业务数据进行处理。但是由于业务逻辑复杂,业务数据量庞大,如何快速、高效地处理一批数据,变得至关重要。相关技术中,对于业务单表数据,只能分页拉取业务所有数据,然后一页页处理业务数据,处理效率低;对于业务分库分表(如百库十表)数据,只能遍历所有库表,逐表处理业务数据,整体处理效率极低。
技术实现思路
本专利技术实施例提供一种数据处理方法、装置、存储介质及终端,以提高数据处理效率,降低数据处理的时间成本。第一方面,本专利技术实施例提供了一种数据处理方法,该方法包括:确定待处理数据的数据类型;其中,所述数据类型包括业务单表数据和业务分库分表数据;根据所述数据类型确定与所述待处理数据对应的数据分片策略;根据所述数据分片策略对所述待处理数据进行分片,生成分片 ...
【技术保护点】
1.一种数据处理方法,其特征在于,包括:/n确定待处理数据的数据类型;其中,所述数据类型包括业务单表数据和业务分库分表数据;/n根据所述数据类型确定与所述待处理数据对应的数据分片策略;/n根据所述数据分片策略对所述待处理数据进行分片,生成分片数据库;/n对所述分片数据库中的待处理数据进行并行处理。/n
【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
确定待处理数据的数据类型;其中,所述数据类型包括业务单表数据和业务分库分表数据;
根据所述数据类型确定与所述待处理数据对应的数据分片策略;
根据所述数据分片策略对所述待处理数据进行分片,生成分片数据库;
对所述分片数据库中的待处理数据进行并行处理。
2.根据权利要求1所述的方法,其特征在于,在根据所述数据类型确定与所述待处理数据对应的数据分片策略之前,包括
获取预先设定的数据类型与数据分片策略的对应关系表;
根据所述数据类型确定与所述待处理数据对应的数据分片策略,包括:
根据所述数据类型和所述对应关系表确定与所述待处理数据对应的数据分片策略。
3.根据权利要求1所述的方法,其特征在于,根据所述数据类型确定与所述待处理数据对应的数据分片策略,包括:
当所述待处理数据的数据类型为业务单表数据时,确定与待处理数据对应的数据分片策略为多分片分页策略;
当所述待处理数据的数据类型为业务分库分表数据时,确定与待处理数据对应的数据分片策略为多分片分表策略。
4.根据权利要求3所述的方法,其特征在于,所述数据分片策略为多分片分页策略;
根据所述数据分片策略对所述待处理数据进行分片,生成分片数据库,包括:
根据所述待处理数据的第一数据总数及预先设定的每页处理数据的第一数据条数确定分页库总数;
按照第一预设规则将所述待处理数据分配到各个分页库中,并对所述各个分页库标记页码;
根据所述分页库总数及预先设定的第一分片库总数确定每个分片库处理数据的数据页数;
按照第二预设规则将所述分页库分配到各个第一分片库中;其中,每个第一分片库中包含数据页数个分页库。
5.根据权利要求4所述的方法,其特征在于,所述第二预设规则包括:
遍历所有分页库,用当前分页库对应的页码除以所述第一分片库总数,...
【专利技术属性】
技术研发人员:王文武,谭仕朝,
申请(专利权)人:深圳乐信软件技术有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。