本申请涉及一种业务数据的批量处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：通过第一线程从数据库中读取业务数据，并对业务数据进行处理，将处理后的业务数据写入至缓冲区中；通过第二线程从缓冲区中读取处理后的业务数据，并将处理后的业务数据写入至数据库中；在预设周期内，获取第一线程池中配置的多个第一线程从数据库中读取业务数据的平均读取时间，和第二线程池中配置的多个第二线程将从缓冲区中读取的业务数据写入至数据库中的平均写入时间；根据平均读取时间、平均写入时间、以及缓冲区中当前排队的业务数据数量，动态调整第一线程的线程数和第二线程的线程数。采用本方法能够提高处理效率。线程的线程数。采用本方法能够提高处理效率。线程的线程数。采用本方法能够提高处理效率。
【技术实现步骤摘要】
业务数据的批量处理方法、装置及计算机设备
[0001]本申请涉及大数据智能处理
，特别是涉及一种业务数据的批量处理方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
[0002]随着越来越多的业务数据需要处理，通常设置跑批程序来对大量的业务数据进行批量处理。但是由于数据量很大，经常会存在跑批程序运算缓慢，死锁等情况。因此，需要一种方法能够高效处理数据量庞大的业务数据。
技术实现思路
[0003]基于此，有必要针对上述技术问题，提供一种能够高效处理业务数据的业务数据的批量处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0004]第一方面，本申请提供了一种业务数据的批量处理方法。所述方法包括：
[0005]通过第一线程从数据库中读取业务数据，并对业务数据进行处理，将处理后的业务数据写入至缓冲区中；
[0006]通过第二线程从所述缓冲区中读取所述处理后的业务数据，并将所述处理后的业务数据写入至数据库中；
[0007]在预设周期内，获取第一线程池中配置的多个第一线程从数据库中读取业务数据的平均读取时间，和第二线程池中配置的多个第二线程将从缓冲区中读取的业务数据写入至数据库中的平均写入时间；
[0008]根据所述平均读取时间、平均写入时间、以及所述缓冲区中当前排队的业务数据数量，动态调整所述第一线程池中第一线程的线程数，和第二线程池中第二线程的线程数。
[0009]在其中一个实施例中，所述根据所述平均读取时间、平均写入时间、以及所述缓冲区中当前排队的业务数据数量，动态调整所述第一线程池中第一线程的线程数，和第二线程池中第二线程的线程数，包括：
[0010]判断所述平均读取时间和所述平均写入时间是否均位于预设时间区间内；
[0011]若所述平均读取时间和所述平均写入时间均位于预设时间区间内，则根据所述缓冲区中当前排队的业务数据数量，判断所述业务数据数量是否位于预设数量区间内；
[0012]若所述业务数据数量小于所述预设数量区间的最小值，则获取最大期望读取时间与所述平均读取时间的第一差值，和所述平均写入时间与最小期望写入时间的第二差值，并基于所述第一差值和第二差值调整第一线程和第二线程的数量；
[0013]若所述业务数据数量大于所述预设数量区间的最大值，则获取所述平均读取时间与最小期望读取时间的第三差值，和最大期望写入时间与所述平均写入时间的第四差值，并基于所述第三差值和第四差值调整第一线程和第二线程的数量。
[0014]在其中一个实施例中，所述基于所述第一差值和第二差值调整第一线程和第二线程的数量，包括：
[0015]若所述第一差值大于所述第二差值，则增加所述第一线程池中第一线程的数量；
[0016]若所述第一差值不大于所述第二差值，则减少所述第二线程池中第二线程的数量。
[0017]在其中一个实施例中，所述基于所述第三差值和第四差值调整第一线程和第二线程的数量，包括：
[0018]若所述第三差值大于所述第四差值，则减少所述第一线程池中第一线程的数量；
[0019]若所述第三差值不大于所述第四差值，则增加所述第二线程池中第二线程的数量。
[0020]在其中一个实施例中，所述判断所述平均读取时间和所述平均写入时间是否均位于预设时间区间内之后，还包括：
[0021]若所述平均读取时间和所述平均写入时间中的至少一个平均时间不在预设时间区间内，则基于所述平均读取时间和所述平均写入时间，调整第一线程和第二线程的数量。
[0022]在其中一个实施例中，所述基于所述平均读取时间和所述平均写入时间，调整第一线程和第二线程的数量，包括：
[0023]对于第一线程池，若所述平均读取时间小于最小期望读取时间，则增加第一线程的数量，若所述平均读取时间大于最大期望读取时间，则减少第一线程的数量；
[0024]对于第二线程池，若所述平均写入时间小于最小期望写入时间，则增加第二线程的数量，若所述平均写入时间大于最大期望写入时间，则减少第二线程的数量。
[0025]第二方面，本申请还提供了一种业务数据的批量处理装置。所述装置包括：
[0026]读取模块，用于通过第一线程从数据库中读取业务数据，并对业务数据进行处理，将处理后的业务数据写入至缓冲区中；
[0027]写入模块，用于通过第二线程从所述缓冲区中读取所述处理后的业务数据，并将所述处理后的业务数据写入至数据库中；
[0028]获取模块，用于在预设周期内，获取第一线程池中配置的多个第一线程从数据库中读取业务数据的平均读取时间，和第二线程池中配置的多个第二线程将从缓冲区中读取的业务数据写入至数据库中的平均写入时间；
[0029]调度模块，用于根据所述平均读取时间、平均写入时间、以及所述缓冲区中当前排队的业务数据数量，动态调整所述第一线程池中第一线程的线程数，和第二线程池中第二线程的线程数。
[0030]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0031]通过第一线程从数据库中读取业务数据，并对业务数据进行处理，将处理后的业务数据写入至缓冲区中；
[0032]通过第二线程从所述缓冲区中读取所述处理后的业务数据，并将所述处理后的业务数据写入至数据库中；
[0033]在预设周期内，获取第一线程池中配置的多个第一线程从数据库中读取业务数据的平均读取时间，和第二线程池中配置的多个第二线程将从缓冲区中读取的业务数据写入至数据库中的平均写入时间；
[0034]根据所述平均读取时间、平均写入时间、以及所述缓冲区中当前排队的业务数据
数量，动态调整所述第一线程池中第一线程的线程数，和第二线程池中第二线程的线程数。
[0035]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0036]通过第一线程从数据库中读取业务数据，并对业务数据进行处理，将处理后的业务数据写入至缓冲区中；
[0037]通过第二线程从所述缓冲区中读取所述处理后的业务数据，并将所述处理后的业务数据写入至数据库中；
[0038]在预设周期内，获取第一线程池中配置的多个第一线程从数据库中读取业务数据的平均读取时间，和第二线程池中配置的多个第二线程将从缓冲区中读取的业务数据写入至数据库中的平均写入时间；
[0039]根据所述平均读取时间、平均写入时间、以及所述缓冲区中当前排队的业务数据数量，动态调整所述第一线程池中第一线程的线程数，和第二线程池中第二线程的线程数。
[0040]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0041]通过第一线程从数据库中读取业务数据，并对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种业务数据的批量处理方法，其特征在于，所述方法包括：通过第一线程从数据库中读取业务数据，并对业务数据进行处理，将处理后的业务数据写入至缓冲区中；通过第二线程从所述缓冲区中读取所述处理后的业务数据，并将所述处理后的业务数据写入至数据库中；在预设周期内，获取第一线程池中配置的多个第一线程从数据库中读取业务数据的平均读取时间，和第二线程池中配置的多个第二线程将从缓冲区中读取的业务数据写入至数据库中的平均写入时间；根据所述平均读取时间、平均写入时间、以及所述缓冲区中当前排队的业务数据数量，动态调整所述第一线程池中第一线程的线程数，和第二线程池中第二线程的线程数。2.根据权利要求1所述的方法，其特征在于，所述根据所述平均读取时间、平均写入时间、以及所述缓冲区中当前排队的业务数据数量，动态调整所述第一线程池中第一线程的线程数，和第二线程池中第二线程的线程数，包括：判断所述平均读取时间和所述平均写入时间是否均位于预设时间区间内；若所述平均读取时间和所述平均写入时间均位于预设时间区间内，则根据所述缓冲区中当前排队的业务数据数量，判断所述业务数据数量是否位于预设数量区间内；若所述业务数据数量小于所述预设数量区间的最小值，则获取最大期望读取时间与所述平均读取时间的第一差值，和所述平均写入时间与最小期望写入时间的第二差值，并基于所述第一差值和第二差值调整第一线程和第二线程的数量；若所述业务数据数量大于所述预设数量区间的最大值，则获取所述平均读取时间与最小期望读取时间的第三差值，和最大期望写入时间与所述平均写入时间的第四差值，并基于所述第三差值和第四差值调整第一线程和第二线程的数量。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一差值和第二差值调整第一线程和第二线程的数量，包括：若所述第一差值大于所述第二差值，则增加所述第一线程池中第一线程的数量；若所述第一差值不大于所述第二差值，则减少所述第二线程池中第二线程的数量。4.根据权利要求2所述的方法，其特征在于，所述基于所述第三差值和第四差值调整第一线程和第二线程的数量，包括：若所述第三差值大于所述第四差值，则减少所述第一线程池中第一线程的...
【专利技术属性】
技术研发人员：肖鹏涛，张同虎，王锐，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。