本申请涉及一种多服务器数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：第一服务器获取服务器与数据分片的对应关系，服务器与数据分片的对应关系基于数据文件和分片数量确定；第一服务器从第二服务器中获取数据文件，并根据服务器与数据分片的对应关系从数据文件中确定与第一服务器对应的目标数据分片；第一服务器对目标数据分片进行处理。采用本方法能够通过调用多个第一服务器，每个第一服务器分别从第二服务器获取数据文件，然后根据服务器与数据分片的对应关系确定每个第一服务器负责的目标数据分片，每个第一服务器遍历数据文件，只处理对应目标数据分片范围内的数据，能够提高数据处理的效率和容错率。容错率。容错率。
【技术实现步骤摘要】
多服务器数据处理方法、装置、计算机设备、存储介质
[0001]本申请涉及数据处理
，特别是涉及一种多服务器数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
[0002]随着经济的发展，移动互联网技术的大规模应用，客户交易频率越来越高，交易规模越来越大。由于单个服务器算力有限，服务器压力增大，银行在生成账单的上的耗时也越多，生成账单完成时间越晚，单节点架构已经不能满足客户对接收账单时效上的需求。业界传统生成银行账单的方法，是在单个服务器上接收交易明细文件，文件中每一行是一个客户的交易明细，同一客户的交易明细有序排列在一起。程序逐行读取文件并生成账单。有些类型的账单是每一行交易明细都会生成一个账单，比如电子回单。有些类型的账单是汇总同一个客户多行交易明细生成一个账单，比如商户对账单，同一个商户多行交易明细在一份账单中展示，并汇总展示这个商户的交易总额等信息。
[0003]目前处理交易明细文件的方式存在以下问题：传统的批量作业只能在一台服务器上运行，服务器宕机后作业将不可执行，如果由于数据问题需要作业重跑，将会重跑所有的数据。对交易明细文件的处理没有足够的容错空间且处理效率较低。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的多服务器数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种多服务器数据处理方法。所述方法包括：
[0006]第一服务器获取服务器与数据分片的对应关系，服务器与数据分片的对应关系基于数据文件和分片数量确定；
[0007]第一服务器从第二服务器中获取数据文件，并根据服务器与数据分片的对应关系从数据文件中确定与第一服务器对应的目标数据分片；
[0008]第一服务器对目标数据分片进行处理。
[0009]在其中一个实施例中，服务器与数据分片的对应关系基于数据文件和分片数量确定，包括：
[0010]若数据文件的数据类型为上下文不相关类型，第二服务器将数据文件划分成分片数量个数据分片，根据每个第一服务器的负载信息确定每个第一服务器和每个数据分片的对应关系，得到服务器与数据分片的对应关系，或者根据每个第一服务器的负载信息确定每个第一服务器和每个数据分片的对应关系，以及根据每个第二服务器的负载信息确定每个第二服务器和每个数据分片的对应关系，得到服务器与数据分片的对应关系。
[0011]在其中一个实施例中，将数据文件划分成分片数量个数据分片，包括：
[0012]第二服务器获取数据文件，并计算数据文件的总数据行数；
[0013]第二服务器根据第一服务器的数量和每台第一服务器的属性计算分片数量，并根
据分片数量和总数据行数计算每个数据分片的起始行数和结尾行数；
[0014]第二服务器根据每个数据分片的起始行数和结尾行数得到数据文件的多个数据分片。
[0015]在其中一个实施例中，服务器与数据分片的对应关系基于数据文件和分片数量确定，包括：
[0016]若数据文件的数据类型为上下文相关类型，第二服务器根据分片数量得到多个分片序号，根据每个第一服务器的负载信息确定每个第一服务器和每个分片序号的对应关系，得到服务器与数据分片的对应关系，或者根据每个第一服务器的负载信息确定每个第一服务器和每个分片序号的对应关系，以及根据每个第二服务器的负载信息确定每个第二服务器和每个分片序号的对应关系，得到服务器与数据分片的对应关系。
[0017]在其中一个实施例中，第一服务器从第二服务器中获取数据文件，并根据服务器与数据分片的对应关系从数据文件中确定与第一服务器对应的目标数据分片，包括：
[0018]第一服务器获取数据文件中的每条待处理数据对应的主键键值，并根据每条待处理数据对应的主键键值和分片数量确定每条待处理数据对应的分片序号；
[0019]第一服务器根据服务器与数据分片的对应关系获取与第一服务器对应的分片序号，根据与第一服务器对应的分片序号和每条待处理数据对应的分片序号确定与第一服务器对应的每条待处理数据，根据与第一服务器对应的每条待处理数据得到与第一服务器对应的目标数据分片。
[0020]在其中一个实施例中，第一服务器对目标数据分片进行处理，包括：
[0021]第一服务器对目标数据分片中每条待处理数据进行处理，生成对应的第一信息；
[0022]根据每条待处理数据对应的主键键值，确定每个第一信息对应的主键键值；
[0023]整合主键键值相同的第一信息，生成第二信息。
[0024]第二方面，本申请还提供了一种多服务器数据处理装置。所述装置包括：
[0025]关系获取模块，用于第一服务器获取服务器与数据分片的对应关系，服务器与数据分片的对应关系基于数据文件和分片数量确定；
[0026]数据确认模块，用于第一服务器从第二服务器中获取数据文件，并根据服务器与数据分片的对应关系从数据文件中确定与第一服务器对应的目标数据分片；
[0027]数据处理模块，用于第一服务器对目标数据分片进行处理。
[0028]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0029]第一服务器获取服务器与数据分片的对应关系，服务器与数据分片的对应关系基于数据文件和分片数量确定；
[0030]第一服务器从第二服务器中获取数据文件，并根据服务器与数据分片的对应关系从数据文件中确定与第一服务器对应的目标数据分片；
[0031]第一服务器对目标数据分片进行处理。
[0032]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0033]第一服务器获取服务器与数据分片的对应关系，服务器与数据分片的对应关系基于数据文件和分片数量确定；
[0034]第一服务器从第二服务器中获取数据文件，并根据服务器与数据分片的对应关系从数据文件中确定与第一服务器对应的目标数据分片；
[0035]第一服务器对目标数据分片进行处理。
[0036]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0037]第一服务器获取服务器与数据分片的对应关系，服务器与数据分片的对应关系基于数据文件和分片数量确定；
[0038]第一服务器从第二服务器中获取数据文件，并根据服务器与数据分片的对应关系从数据文件中确定与第一服务器对应的目标数据分片；
[0039]第一服务器对目标数据分片进行处理。
[0040]上述多服务器数据处理方法、装置、计算机设备、存储介质和计算机程序产品，第一服务器获取服务器与数据分片的对应关系，服务器与数据分片的对应关系基于数据文件和分片本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多服务器数据处理方法，其特征在于，所述方法包括：第一服务器获取服务器与数据分片的对应关系，所述服务器与数据分片的对应关系基于数据文件和分片数量确定；所述第一服务器从所述第二服务器中获取所述数据文件，并根据所述服务器与数据分片的对应关系从所述数据文件中确定与所述第一服务器对应的目标数据分片；所述第一服务器对所述目标数据分片进行处理。2.根据权利要求1所述的方法，其特征在于，所述服务器与数据分片的对应关系基于数据文件和分片数量确定，包括：若所述数据文件的数据类型为上下文不相关类型，所述第二服务器将数据文件划分成分片数量个数据分片，根据每个第一服务器的负载信息确定每个第一服务器和每个数据分片的对应关系，得到所述服务器与数据分片的对应关系，或者根据每个第一服务器的负载信息确定每个第一服务器和每个数据分片的对应关系，以及根据每个第二服务器的负载信息确定每个第二服务器和每个数据分片的对应关系，得到所述服务器与数据分片的对应关系。3.根据权利要求2所述的方法，其特征在于，所述将数据文件划分成分片数量个数据分片，包括：所述第二服务器获取所述数据文件，并计算所述数据文件的总数据行数；所述第二服务器根据第一服务器的数量和每台第一服务器的属性计算分片数量，并根据所述分片数量和所述总数据行数计算每个数据分片的起始行数和结尾行数；所述第二服务器根据每个数据分片的起始行数和结尾行数得到所述数据文件的多个数据分片。4.根据权利要求1所述的方法，其特征在于，所述服务器与数据分片的对应关系基于数据文件和分片数量确定，包括：若所述数据文件的数据类型为上下文相关类型，所述第二服务器根据分片数量得到多个分片序号，根据每个第一服务器的负载信息确定每个第一服务器和每个分片序号的对应关系，得到所述服务器与数据分片的对应关系，或者根据每个第一服务器的负载信息确定每个第一服务器和每个分片序号的对应关系，以及根据每个第二服务器的负载信息确定每个第二服务器和每个分片序号的对应关系，得到所述服务器与数据分片的对应关系。5...
【专利技术属性】
技术研发人员：孙佳正，顾佳骏，吴炜，黄荣清，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。