本申请涉及一种数据库分片数据处理方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：在执行数据库分片扩容任务的过程中，检测数据库分片扩容任务的任务状态；在任务状态表征分片扩容完成的情况下，获取针对数据库分片扩容任务的数据处理配置表；数据处理配置表包括至少一个目标数据表对应的数据处理配置记录；对于任一数据处理配置记录，在任一数据处理配置记录表征目标数据表存在待保留数据的情况下，按照任一数据处理配置记录指示的数据路由方式，将待保留数据路由至任一数据处理配置记录所指示的数据库分片中。采用本方法能够提高对扩容后的数据库分片数据的处理效率。理效率。理效率。
【技术实现步骤摘要】
数据库分片数据处理方法、装置、计算机设备和存储介质
[0001]本申请涉及计算机技术
以及金融科技
，特别是涉及一种数据库分片数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
[0002]随着计算机技术的发展，分布式系统广泛应用于各个业务系统。
[0003]目前，在对分布式系统的数据库进行扩容时，常常将原来的数据库分片上的数据复制至新的数据库分片上。在数据库扩容完成后，需要对数据库分片之间存在的重复数据进行处理，避免重复数据占用较大的存储空间。然而，在对冗余数据进行清理时，由于数据库分片的增多，常常出现数据被误删或数据被错误保留的情况，使得对数据库分片数据的处理效率不高。
[0004]因此，传统技术中存在对扩容后的数据库分片数据的处理效率不高的问题。
技术实现思路
[0005]基于此，有必要针对上述技术问题，提供一种能够提高对扩容后的数据库分片数据的处理效率的数据库分片数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]一种数据库分片数据处理方法，其特征在于，方法包括：
[0007]在执行数据库分片扩容任务的过程中，检测数据库分片扩容任务的任务状态；数据库分片扩容任务用于采用异步复制方式将第一数据库分片中的数据复制至第二数据库分片以扩容第一数据库分片；
[0008]在任务状态表征分片扩容完成的情况下，获取针对数据库分片扩容任务的数据处理配置表；数据处理配置表包括至少一个目标数据表对应的数据处理配置记录；目标数据表为第一数据库分片和第二数据库分片中的任意一个数据表；
[0009]对于任一数据处理配置记录，在任一数据处理配置记录表征目标数据表存在待保留数据的情况下，按照任一数据处理配置记录指示的数据路由方式，将待保留数据路由至任一数据处理配置记录所指示的数据库分片中。
[0010]在其中一个实施例中，方法还包括：
[0011]重启第一数据库分片连接的第一业务服务器组以及第二数据库分片连接的第一业务服务器组；
[0012]获取第一业务服务器组和第二业务服务器组的业务服务数据；业务服务数据为第一业务服务器组和第二业务服务器组上的任一业务服务所产生的数据；
[0013]获取针对业务服务数据的数据路由策略配置信息，在业务服务数据对应的实际路由数据库分片号与数据路由策略配置信息所指示的理论路由数据库分片号一致的情况下，确定数据库分片扩容任务的任务状态为分片扩容完成。
[0014]在其中一个实施例中，方法还包括：
[0015]在业务服务数据对应的实际路由数据库分片号与理论路由数据库分片号不一致的情况下，修改数据路由策略配置信息；
[0016]返回重启第一数据库分片连接的第一业务服务器组以及第二数据库分片连接的第一业务服务器组的步骤，直至业务服务数据对应的实际路由数据库分片号和理论路由数据库分片号一致。
[0017]在其中一个实施例中，在获取针对数据库分片扩容任务的数据处理配置表的步骤之后，方法还包括：
[0018]将基于数据处理配置表中的目标数据处理配置记录创建的数据处理任务放入预创建的线程池中；目标数据处理配置记录为未完成处理的数据处理配置记录；
[0019]在线程池内存在空闲线程的情况下，将任务执行优先级最高的数据处理任务对应的数据处理配置值传入至空闲线程中；空闲线程用于根据数据处理配置值执行数据处理任务，并生成数据回补语句；
[0020]根据各空闲线程所生成的数据回补语句，生成数据回补文件；数据回补文件用于在接收到数据处理报错信息的情况下执行数据回补批量处理。
[0021]在其中一个实施例中，数据处理报错信息包括数据误清理报错信息，数据误清理报错信息表征相应的数据表被错误清理，在接收到数据误清理过多报错信息的情况下，方法还包括：
[0022]获取回补表配置文件；回补表配置文件包括至少一个待回补数据表；
[0023]根据回补表配置文件和数据回补文件，将各待回补数据表重新插入至相应的数据库分片中。
[0024]在其中一个实施例中，数据处理报错信息还包括数据漏清理报错信息，数据漏清理报错信息表征相应的数据表被错误保留，在接收到数据漏清理报错信息的情况下，方法还包括：
[0025]根据数据漏清理报错信息，确定误保留数据表；
[0026]将数据回补文件中的误保留数据表重新插入至相应的数据库分片中，并将数据处理配置表中各误保留数据表对应的数据处理配置记录的处理状态更改为未完成状态。
[0027]在其中一个实施例中，数据处理配置记录包括数据保留方式字段值、指定保留数据库分片号字段值，对于任一数据处理配置记录，按照任一数据处理配置记录指示的数据路由方式，将待保留数据路由至任一数据处理配置记录所指示的数据库分片中，包括：
[0028]对于任一数据处理配置记录，根据数据保留方式字段值，确定目标数据路由方式；目标数据路由方式包括一致性哈希计算数据路由方式和尾号取模计算数据路由方式；
[0029]按照目标数据路由方式计算待保留数据的数据路由值；
[0030]根据数据路由值，将待保留数据路由至指定保留数据库分片号字段值所指示的数据库分片中。
[0031]一种数据库分片数据处理装置，其特征在于，装置包括：
[0032]检测模块，用于在执行数据库分片扩容任务的过程中，检测数据库分片扩容任务的任务状态；数据库分片扩容任务用于采用异步复制方式将第一数据库分片中的数据复制至第二数据库分片以扩容第一数据库分片；
[0033]获取模块，用于在任务状态表征分片扩容完成的情况下，获取针对数据库分片扩
容任务的数据处理配置表；数据处理配置表包括至少一个目标数据表对应的数据处理配置记录；目标数据表为第一数据库分片和第二数据库分片中的任意一个数据表；
[0034]保留模块，用于对于任一数据处理配置记录，在任一数据处理配置记录表征目标数据表存在待保留数据的情况下，按照任一数据处理配置记录指示的数据路由方式，将待保留数据路由至任一数据处理配置记录所指示的数据库分片中。
[0035]一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，处理器执行计算机程序时实现上述的方法的步骤。
[0036]一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述的方法的步骤。
[0037]一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现上述的方法的步骤。
[0038]上述数据库分片数据处理方法、装置、计算机设备、存储介质和计算机程序产品，通过在执行数据库分片扩容任务的过程中，检测数据库分片扩容任务的任务状态；数据库分片扩容任务用于采用异步复制方式将第一数据库分片中的数据复制至第二数据库分片以扩容第一数据库分片；在任务状态表征分片扩容完成的情况下，获取针对数据库分片扩容任务的数据处理配置表本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据库分片数据处理方法，其特征在于，所述方法包括：在执行数据库分片扩容任务的过程中，检测所述数据库分片扩容任务的任务状态；所述数据库分片扩容任务用于采用异步复制方式将第一数据库分片中的数据复制至第二数据库分片以扩容所述第一数据库分片；在所述任务状态表征分片扩容完成的情况下，获取针对所述数据库分片扩容任务的数据处理配置表；所述数据处理配置表包括至少一个目标数据表对应的数据处理配置记录；所述目标数据表为所述第一数据库分片和所述第二数据库分片中的任意一个数据表；对于任一所述数据处理配置记录，在所述任一数据处理配置记录表征所述目标数据表存在待保留数据的情况下，按照所述任一数据处理配置记录指示的数据路由方式，将所述待保留数据路由至所述任一数据处理配置记录所指示的数据库分片中。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：重启所述第一数据库分片连接的第一业务服务器组以及所述第二数据库分片连接的第一业务服务器组；获取所述第一业务服务器组和所述第二业务服务器组的业务服务数据；所述业务服务数据为所述第一业务服务器组和所述第二业务服务器组上的任一业务服务所产生的数据；获取针对所述业务服务数据的数据路由策略配置信息，在所述业务服务数据对应的实际路由数据库分片号与所述数据路由策略配置信息所指示的理论路由数据库分片号一致的情况下，确定所述数据库分片扩容任务的任务状态为分片扩容完成。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述业务服务数据对应的实际路由数据库分片号与所述理论路由数据库分片号不一致的情况下，修改所述数据路由策略配置信息；返回所述重启所述第一数据库分片连接的第一业务服务器组以及所述第二数据库分片连接的第一业务服务器组的步骤，直至所述业务服务数据对应的所述实际路由数据库分片号和所述理论路由数据库分片号一致。4.根据权利要求1所述的方法，其特征在于，在所述获取针对所述数据库分片扩容任务的数据处理配置表的步骤之后，所述方法还包括：将基于所述数据处理配置表中的目标数据处理配置记录创建的数据处理任务放入预创建的线程池中；所述目标数据处理配置记录为未完成处理的所述数据处理配置记录；在所述线程池内存在空闲线程的情况下，将任务执行优先级最高的所述数据处理任务对应的数据处理配置值传入至所述空闲线程中；所述空闲线程用于根据所述数据处理配置值执行所述数据处理任务，并生成数据回补语句；根据各所述空闲线程所生成的数据回补语句，生成数据回补文件；所述数据回补文件用于在接收到数据处理报错信息的情况下执行数据回补批量处理。5.根据权利要求4所述的方法，其特征在于，所述数据处理报错信息包括数据误清理报错信息，所述数据误清理报错信息表征相应的数据表被错误清理，所述在接收到所述数据误清理过多报错信息的...
【专利技术属性】
技术研发人员：苏志康，孙韶，杨乐，孙敏茜，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。