一种数据处理方法及系统技术方案

本申请公开了一种数据处理方法及系统，可应用于金融领域或其他领域，本方案主节点基于待处理客户清单以及自适应经验参数构建任务清单，基于各个从节点的状态参数，按照预设的任务分配规则获取各个从节点的重检任务集合，并将重检任务集合分配至对应的从节点，各个从节点基于获取的重检任务集合中的各个第一类客户的信息，获取各个第一类客户的重检任务的重检结果，将重检结果集合反馈至主节点，主节点获取各个从节点反馈的重检结果集合后，基于各个重检结果集合中的所有第一类客户的重检结果，获取批量任务处理结果。通过主节点基于自适应经验参数对批量待处理客户进行筛选，将重检必要性大的客户进行任务分配，提高了批量重检任务的处理效率。重检任务的处理效率。重检任务的处理效率。

【技术实现步骤摘要】
一种数据处理方法及系统


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法及系统。

技术介绍

[0002]客户重检特指反洗钱及制裁领域客户尽职调查，在商业银行系统中的客户重检任务需要提取客户各维度风险信号(例如客户身份信息、交易渠道、交易对手、以及可疑报告等)，分析各维度风险信号并将分析结果整合形成客户风险报告，对客户风险报告提示异常的客户进行警示以通知人工介入。在处理大批量客户的重检任务时，如何提高重检任务的执行效率降低计算资源的需求是亟待解决的问题。

技术实现思路

[0003]本申请提供了一种数据处理方法及系统，如下：
[0004]一种数据处理方法，包括：
[0005]主节点获取待处理客户清单，所述待处理客户清单包括批量的待重检客户；
[0006]所述主节点基于所述待处理客户清单以及自适应经验参数构建任务清单，所述自适应经验参数包括所述待重检客户的重检特征，其中，所述待重检客户的重检特征用于指示所述待重检客户的重建结果发生变化的概率，所述任务清单包括多个第一类客户的重检任务，所述第一类客户指的是重建结果发生变化的概率大于预设阈值的待重检客户；
[0007]所述主节点基于各个从节点的状态参数，按照预设的任务分配规则获取各个所述从节点的重检任务集合，并将重检任务集合分配至对应的从节点，所述状态参数包括资源占用率，从节点的重检任务集合包括至少一个第一类客户的重检任务；
[0008]各个所述从节点基于获取的重检任务集合中的各个第一类客户的信息，获取各个第一类客户的重检任务的重检结果；
[0009]各个所述从节点将重检结果集合反馈至所述主节点，重检结果集合包括所述各个第一类客户的重检结果；
[0010]所述主节点获取各个所述从节点反馈的重检结果集合后，基于各个重检结果集合中的所有第一类客户的重检结果，获取批量任务处理结果。
[0011]可选地，主节点基于所述待处理客户清单以及自适应经验参数构建任务清单，包括：
[0012]所述主节点获取各个所述待处理客户的重检指标的指标值以及重检指标的预设权重；
[0013]所述主节点基于所述待处理客户的各个重检指标的预设权重，将所述待处理客户的各个重检指标的指标值加权相加，得到所述待处理客户的重检特征；
[0014]所述主节点获取所述待处理客户的目标重检任务的重检时间与当前时间的时间间隔，作为所述待处理客户的重检间隔时长，所述目标重检任务为最近一次执行的所述待处理客户的重检任务；
[0015]所述主节点基于所述待处理客户的重检间隔时长和重检特征，判断所述待处理客户是否满足预设的重检条件，所述重检条件包括重检间隔时长大于预设的时间间隔阈值，和/或重检特征大于预设的特征阈值；
[0016]若是，将所述待处理客户归为第一类客户，并基于各个第一类客户，构建所述任务清单。
[0017]可选地，主节点基于各个从节点的状态参数，按照预设的任务分配规则获取各个所述从节点的重检任务集合，包括：
[0018]所述主节点基于各个所述从节点的状态参数，按照所述任务分配规则获取各个所述从节点的重检任务集合，所述状态参数还包括剩余任务数量，所述任务分配规则包括从节点的资源占用率与分配的重检任务的数量反相关，且从节点的剩余任务数量与分配的重检任务的数量反相关；
[0019]可选地，主节点将重检任务集合分配至对应的从节点，包括：
[0020]所述主节点为各个所述重检任务集合分配标识并生成所述重检任务集合的任务状态表，所述重检任务集合的任务状态表用于记录所述重检任务集合的标识以及各个重检任务的状态标识的对应关系，重检任务的状态标识用于指示重检任务是否完成；
[0021]所述主节点将所述任务状态表写入数据库，并以队列的形式将各个所述重检任务集合分配至对应的从节点。
[0022]可选地，目标从节点将重检结果集合反馈至所述主节点，所述目标从节点为任意一个从节点，包括：
[0023]所述从节点依序将各个第一类客户的重检任务的重检结果发送至数据库，并对应更新所述数据库中的任务状态表中重检任务的状态标识；
[0024]所述主节点轮询所述数据库中各个任务状态表，若目标从节点的重检任务集合的任务状态表中，所有重检任务的状态标识均为已完成，从所述数据库中获取所述目标从节点的重检任务集合的重检结果集合。
[0025]可选地，本方法还包括：
[0026]所述主节点基于所述待处理客户的重检间隔时长和重检特征，判断所述待处理客户不满足所述重检条件，将待处理客户归为第二类客户
[0027]所述主节点分别获取各个所述第二类客户的目标重检任务的重检结果，作为各个所述第二类客户的重检任务的重检结果；
[0028]基于各个所述第二类客户的重检任务的重检结果，获取第二重检结果集合。
[0029]可选地，主节点基于各个重检结果集合中的所有第一类客户的重检结果，获取批量任务处理结果，包括：
[0030]所述主节点汇总所有从节点的重检任务集合的重检结果集合，得到第一重检结果集合；
[0031]所述主节点基于所述第一重检结果集合和所述第二重检结果集合，得到批量任务处理结果。
[0032]一种数据处理系统，包括：主节点以及多个从节点；
[0033]所述主节点用于：
[0034]获取待处理客户清单，所述待处理客户清单包括批量的待重检客户；
[0035]基于所述待处理客户清单以及自适应经验参数构建任务清单，所述自适应经验参数包括所述待重检客户的重检特征，其中，所述待重检客户的重检特征用于指示所述待重检客户的重建结果发生变化的概率，所述任务清单包括多个第一类客户的重检任务，所述第一类客户指的是重建结果发生变化的概率大于预设阈值的待重检客户；
[0036]基于各个从节点的状态参数，按照预设的任务分配规则获取各个所述从节点的重检任务集合，并将重检任务集合分配至对应的从节点，所述从节点的重检任务集合包括至少一个第一类客户的重检任务；
[0037]所述从节点用于：
[0038]基于获取的重检任务集合中的各个第一类客户的信息，获取各个第一类客户的重检任务的重检结果；将重检结果集合反馈至所述主节点，重检结果集合包括所述各个第一类客户的重检结果；
[0039]所述主节点用于：
[0040]获取各个所述从节点反馈的重检结果集合后，基于各个重检结果集合中的所有第一类客户的重检结果，获取批量任务处理结果。
[0041]一种数据处理设备，包括：存储器和处理器；
[0042]所述存储器，用于存储程序；
[0043]所述处理器，用于执行所述程序，实现数据处理方法的各个步骤。
[0044]一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现数据处理方法的各个步骤。
[0045]由上述技术方案可以看出，本申请实施例提供的数据处理方法及系统，主节点获取待处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：主节点获取待处理客户清单，所述待处理客户清单包括批量的待重检客户；所述主节点基于所述待处理客户清单以及自适应经验参数构建任务清单，所述自适应经验参数包括所述待重检客户的重检特征，其中，所述待重检客户的重检特征用于指示所述待重检客户的重建结果发生变化的概率，所述任务清单包括多个第一类客户的重检任务，所述第一类客户指的是重建结果发生变化的概率大于预设阈值的待重检客户；所述主节点基于各个从节点的状态参数，按照预设的任务分配规则获取各个所述从节点的重检任务集合，并将重检任务集合分配至对应的从节点，所述状态参数包括资源占用率，从节点的重检任务集合包括至少一个第一类客户的重检任务；各个所述从节点基于获取的重检任务集合中的各个第一类客户的信息，获取各个第一类客户的重检任务的重检结果；各个所述从节点将重检结果集合反馈至所述主节点，重检结果集合包括所述各个第一类客户的重检结果；所述主节点获取各个所述从节点反馈的重检结果集合后，基于各个重检结果集合中的所有第一类客户的重检结果，获取批量任务处理结果。2.根据权利要求1所述的方法，其特征在于，所述主节点基于所述待处理客户清单以及自适应经验参数构建任务清单，包括：所述主节点获取各个所述待处理客户的重检指标的指标值以及重检指标的预设权重；所述主节点基于所述待处理客户的各个重检指标的预设权重，将所述待处理客户的各个重检指标的指标值加权相加，得到所述待处理客户的重检特征；所述主节点获取所述待处理客户的目标重检任务的重检时间与当前时间的时间间隔，作为所述待处理客户的重检间隔时长，所述目标重检任务为最近一次执行的所述待处理客户的重检任务；所述主节点基于所述待处理客户的重检间隔时长和重检特征，判断所述待处理客户是否满足预设的重检条件，所述重检条件包括重检间隔时长大于预设的时间间隔阈值，和/或重检特征大于预设的特征阈值；若是，将所述待处理客户归为第一类客户，并基于各个第一类客户，构建所述任务清单。3.根据权利要求2所述的方法，其特征在于，所述主节点基于各个从节点的状态参数，按照预设的任务分配规则获取各个所述从节点的重检任务集合，包括：所述主节点基于各个所述从节点的状态参数，按照所述任务分配规则获取各个所述从节点的重检任务集合，所述状态参数还包括剩余任务数量，所述任务分配规则包括从节点的资源占用率与分配的重检任务的数量反相关，且从节点的剩余任务数量与分配的重检任务的数量反相关。4.根据权利要求3所述的方法，其特征在于，所述主节点将重检任务集合分配至对应的从节点，包括：所述主节点为各个所述重检任务集合分配标识并生成所述重检任务集合的任务状态表，所述重检任务集合的任务状态表用于记录所述重检任务集合的标识以及各个重检任务的状态标识的对应关系，重检任务的状态标识用于指示重检任务是否完成；
所述主节...

【专利技术属性】
技术研发人员：魏楚杭，段煜君，金浩宇，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：