一种多通道分组并发配置方法技术

本申请提供一种多通道分组并发配置方法，业务系统中的批量服务模块

【技术实现步骤摘要】
一种多通道分组并发配置方法


[0001]本申请涉及互联网应用
，具体而言，涉及一种多通道分组并发配置方法
。

技术介绍

[0002]在银行的自动扣款服务中，一般存在3个核心模块：支持自动发起扣款任务的批量服务模块
、
支持对单个用户贷款进行扣款的服务模块
、
多通道路由模块
。
[0003]随着互联网时代的普及以及银行数字化转型的进行，越来越多用户选择线上贷款，并设置银行自动还款
。
为应对大批量数据的处理，一般会启用多台机器，单机器开始多线程的方式去保证所有数据在规定时间内得到处理
。
其中，机器数量肯定越多越好，但是多一台机器，就多一份成本，预算充足就多启用机器
。
现在用户一般会绑定多个他行的银行卡作为自动扣款的还款卡，也就要求银行需要根据用户的卡开户行调用不同的支付通道去进行扣款操作，因此，需要用到多通道路由模块；但是，每个通道支持的并发是不同的，有些通道处理速度快，支持的并发高，对这些通道，应该多分配扣款请求；而，有些通道处理速度慢，慢的通道就应该少分配扣款请求
。
所以，单纯的开多线程无法解决多通道并发配置的问题，需要根据不同通道的并发数配置不同的多线程策略，这里引出第一个问题：如何为批量扣款服务针对不同并发的通道配置不同的多线程并发策略
。
[0004]每台机器或者说每个模块都是有
TPS
（每秒处理数量）上限的，批量自动扣款模块总并发数配置高了，下游模块无法处理，全部超时丢弃；总并发数少了，浪费机器资源，大大降低了自动扣款处理能力，这里引出第二个问题：如何更合理的为批量扣款服务模块配置多线程并发策略
。
[0005]然而，目前还没有相关技术或模型能直接计算出如何合理的配置并发策略，只能通过了解下游一个最大支持并发，以及各通道得并发，猜测一个合理配置，然后通过在测试环境演练得方式，来验证配置是否合理；如果不合理，再根据个人经验调整参数，继续测试
。
最终获得一组合理的配置
。
其中，单次演练就非常耗费时间和资源，整个过程需要耗时近3周
。
这种人工配置的方式，需要人工对配置不断试错，耗时大量时间
、
资源，导致效率低下，并且，通过个人经验判断配置，对复杂的数量变动关系单凭人脑记忆和判断，容易出现疏漏和失误，人工的经验判断很受个人经验
、
情绪等影响，会产生主观片面性
。

技术实现思路

[0006]本申请实施例的目的在于提供一种多通道分组并发配置方法，用以解决人工进行多通道并发数配置导致效率低，容易疏漏和失误，以及存在主观片面性的问题
。
[0007]本申请实施例提供的一种多通道分组并发配置方法，业务系统包括批量服务模块
、
单通道处理模块和多通道路由模块，批量服务模块用于批量发起任务，单通道处理模块用于对每一任务提供处理服务，多通道路由模块用于对每一处理服务调用不同的处理通道进行处理；方法应用于批量服务模块，方法包括：
获取单通道处理模块的最大并发数；获取多通道路由模块的每一通道最大并发数以及总的最大并发数；获取批量服务模块的机器的数量；获取多通道路由模块的每一通道的数据量在多通道路由模块的总数据量中的通道数据量占比；根据单通道处理模块的最大并发数和多通道路由模块的最大并发数，确定最大总并发数，并得到配置并发数据与最大总并发数的第一约束条件；根据批量服务模块的机器的数量以及每一通道最大并发数，得到配置并发数据与单机器对应每一通道的配置并发数的第二约束条件；根据多通道路由模块的每一通道的数据量在多通道路由模块的总数据量中的通道数据量占比，得到配置并发数据与通道数据量占比的第三约束条件；获取满足第一约束条件
、
第二约束条件和第三约束条件且使单机器的配置的总并发数最大时单机器对应每一通道的配置并发数的值，并进行配置
。
[0008]上述技术方案中，业务系统中的批量服务模块
、
单通道处理模块和多通道路由模块三个模块组成一个同步的流程，互相依赖制约，批量服务模块作为最上层服务，请求的发起方，批量服务模块的总并发就是整个业务流程的总并发
。
通过设计约束条件，并根据这些约束条件，求取使单机器的配置的总并发数最大时，单机器对应每一通道的配置并发数的值，并进行准确的并发配置，提高了系统效率，避免手动进行并发数配置容易疏漏和失误以及存在主观片面性的问题
。
[0009]在一些可选的实施方式中，根据单通道处理模块的最大并发数和多通道路由模块的最大并发数，确定最大总并发数，包括：根据单通道处理模块的最大并发数
PC1
和多通道路由模块的最大并发数
PC2
中的最小值，确定为批量服务模块配置的最大总并发数
PC0
；第一约束条件，包括：所有机器的每一通道的配置并发数之和小于或等于最大总并发数
。
[0010]上述技术方案中，根据木桶原理，整个业务流程的并发，取决与流程中最短板的一个模块，从而得到第一约束
。
[0011]在一些可选的实施方式中，第二约束条件，包括：单机器针对每一通道的配置并发数小于或等于对应通道的最大并发数与机器数量的比值
。
[0012]上述技术方案中，在业务系统中采用分布式架构，批量服务模块有多个一样的机器同时去处理数据，而，最终的并发分组是均匀的分布在每一台机器上的，单机器的并发配置只能是正整数，从而得到第二约束
。
[0013]在一些可选的实施方式中，第三约束条件，包括：单机器的每一通道的配置并发数在单机器的总配置并发数中的占比与对应的通道数据量占比一致
。
[0014]上述技术方案中，由于多通道路由模块中各个通道需要处理的数据量不同，数据量占比应该与并发配置成正比，而不是通道支持并发越高，就配越多，从而得到第三约束
。
[0015]在一些可选的实施方式中，获取多通道路由模块的每一通道最大并发数以及总的最大并发数，包括：判断多通道路由模块中每一通道的通道数据量占比是否小于阈值；若第一通道的通道数据量占比小于阈值，则将第一通道与数据量占比大于阈值的第二通道合并为一个通道，对合并通道进行并发数的配置
。
[0016]上述技术方案中，由于多通道路由模块中部分通道的数据量较少，若是对这些数
据量较少的通道仍然配置单独的并发分组，那么这些通道在短时间内就会将数据处理完毕，并释放资源，这部分资源不会被正在运行的并发分组所使用，造成资源的浪费，因此，本实施例中增加了通道合并的步骤
。
[0017]在一些可选的实施方式中，将第一通道与数据量占比大于阈值的第二通道合并为一个通道，包括：获取通道数据量占比最大的第三通道，将至少一个第一通道与第三通道进行合并
。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多通道分组并发配置方法，其特征在于，业务系统包括批量服务模块
、
单通道处理模块和多通道路由模块，所述批量服务模块用于批量发起任务，所述单通道处理模块用于对每一任务提供处理服务，所述多通道路由模块用于对每一处理服务调用不同的处理通道进行处理；所述方法应用于所述批量服务模块，所述方法包括：获取所述单通道处理模块的最大并发数；获取所述多通道路由模块的每一通道最大并发数以及总的最大并发数；获取所述批量服务模块的机器的数量；获取所述多通道路由模块的每一通道的数据量在所述多通道路由模块的总数据量中的通道数据量占比；根据所述单通道处理模块的最大并发数和所述多通道路由模块的最大并发数，确定最大总并发数，并得到配置并发数据与最大总并发数的第一约束条件；根据所述批量服务模块的机器的数量以及所述每一通道最大并发数，得到配置并发数据与单机器对应每一通道的配置并发数的第二约束条件；根据所述多通道路由模块的每一通道的数据量在所述多通道路由模块的总数据量中的通道数据量占比，得到配置并发数据与通道数据量占比的第三约束条件；获取满足所述第一约束条件
、
第二约束条件和第三约束条件且使单机器的配置的总并发数最大时单机器对应每一通道的配置并发数的值，并进行配置
。2.
如权利要求1所述的方法，其特征在于，所述根据所述单通道处理模块的最大并发数和所述多通道路由模块的最大并发数，确定最大总并发数，包括：根据所述单通道处理模块的最大并发数
PC1
和所述多通道路由模块的最大并发数
PC2
中的最小值，确定为所述批量服务模块配置的最大总并发数
PC0
；所述第一约束条件，包括：所有机器的每一通道的配置并发数之和小于或等于最大总并发数
。3.
如权利要求1所述的方法，其特征在于，所述第二约束条件，包括：单机器针对每一通道的配置并发数小于或等于对应通道的最大并发数与机器数量的比值
。4.
如权利要求1所述的方法，其特征在于，所述第三约束...

【专利技术属性】
技术研发人员：丁家盛，高斌，王发修，何琦，席毅锋，徐炜杭，徐志华，
申请(专利权)人：成都新希望金融信息有限公司，
类型：发明
国别省市：