一种风险防控决策方法、装置、系统及设备制造方法及图纸

本说明书提供一种风险防控决策方法、装置、系统及设备，所述方法包括：利用风险防控系统调用风险决策模型，进行风险决策。其中，风险决策模型是利用强化学习算法，将历史风险事件数据作为样本数据训练构建获得。将强化学习应用到风险防控系统中，从使用优化算法去求一个满足多目标的决策空间问题，回归到决策问题本身。

A decision-making method, device, system and equipment for risk prevention and control

【技术实现步骤摘要】
一种风险防控决策方法、装置、系统及设备
本说明书属于计算机领域，尤其涉及一种风险防控决策方法、装置、系统及设备。
技术介绍
随着计算机技术和互联网技术的发展，工作、生活中使用互联网的场景越来越多，互联网方便了人们的生活和工作，但对于互联网交流或工作的安全性也越来越被看重，风险防控就显得越来越重要。如：利用互联网进行线上交易的用户逐渐增多，日常流量特别是在大促的流量呈指数式增长，风险形式也日趋复杂多变，风险防控越来越重要。风险防控中核心的功能可以认为是风险的识别和决策，识别是指需要快速并准确识别风险；决策是指依据识别出的风险进行决策如何管控，在需要在风险和体验之间进行平衡，既要防风险又要保体验。
技术实现思路
本说明书实施例的目的在于提供一种风险防控决策方法、装置、系统及设备，提高了风险防控决策的效率和准确性。一方面，本说明书提供了一种风险防控决策方法，包括：获取待防控的风险事件数据；利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，获得所述待防控的风险事件数据的风险决策结果，其中，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得。另一方面，本说明书提供了一种风险防控决策装置，包括：数据获取模块，用于获取待防控的风险事件数据；风险决策模块，用于利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，获得所述待防控的风险事件数据的风险决策结果，其中，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得。又一方面，本说明书实施例提供了业务权限申请系统，包括：不同等级的多个风险防控层，风险决策模型，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得；各个风险防控层按照风险防控层的等级由低到高的次序，依次调用所述风险决策模型，对待防控的风险事件数据进行风险防控，其中，低一等级的风险防控层输出的风险防控结果为非安全事件的风险事件数据，作为高一等级的风险防控层的输入风险事件数据，直至目标风险防控层输出风险防控结果。还一方面，本说明书提供了一种风险防控决策处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述风险防控决策方法。本说明书提供的风险防控决策方法、装置、处理设备、系统，将强化学习应用到风险防控系统中，从使用优化算法去求一个满足多目标的决策空间问题，回归到决策问题本身。通过使用强化学习，管控强度依据环境变化，风险防控决策具有高对抗性，能适应风险形势的变化。利用风险防控系统调用基于强化学习算法构建获得的风险决策模型，进行风险决策，提高了风险决策的适应性和准确性。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本说明书一个实施例中风险防控决策方法的流程示意图；图2是本说明书一个实施例中风险决策的框架示意图；图3是本说明书一些实施例中强化学习奖励值确定示意图；图4是本说明书一个实施例中风险决策的原理示意图；图5是本说明书提供的风险防控决策装置一个实施例的模块结构示意图；图6是本说明书一个实施例中提供的风险防控系统的结构示意图；图7是本说明书一个实施例中风险防控决策处理服务器的硬件结构框图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。人们对计算机安全或互联网安全越来越看重，风险防控也越来与成为互联网安全的关键性技术，用于风险防控的风险防控系统也越来越多。将数据输入到风险防控系统后，系统可以进行风险识别，并基于识别结果决策出对应的管控方法如：进行核身校验、直接失败交易或限权用户等。本说明书中风险防控决策方法可以应用在客户端或服务器中，客户端可以是智能手机、平板电脑、智能可穿戴设备(智能手表等)、智能车载设备等电子设备。图1是本说明书一个实施例中风险防控决策方法的流程示意图，如图1所示，本说明书一个实施例中提供的风险防控决策方法可以包括：步骤102、获取待防控的风险事件数据。在具体的实施过程中，风险事件数据可以表示需要进行风险防控的事件的相关数据，如：对购物网站的交易信息进行风险防控，风险事件数据可以包括交易相关的数据如：交易金额、交易渠道、用户信息、商户信息等。若对某笔转账交易进行风险防控，则风险事件数据可以包括转账金额、交易渠道、转账双方用户的信息。根据不同的风险防控场景，风险事件数据的具体内容不同，具体可以根据实际需要进行设置。如：可以在需要进行风险防控的平台如：支付平台、购物平台中设置风险防控系统，获取在平台上进行交易的数据作为待防控的风险事件数据。步骤104、利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，获得所述待防控的风险事件数据的风险决策结果，其中，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得。风险防控系统可以表示用于进行风险识别、风险决策的计算机处理系统，风险防控系统中可以包括用于进行风险识别、风险决策的算法或机器学习模型。风险防控系统的具体形式可以根据实际需要进行选择，本说明书实施例不作具体限定。可以将获取到的风险事件数据输入到风险防控系统中，利用风险防控系统中的风险决策模型对风险事件数据进行风险防控，风险防控系统可以基于风险决策模型的决策结果，输出待防控的风险事件数据的风险决策结果，即获得待防控的风险事件数据的风险决策结果。其中，风险决策模型可以理解为基于强化学习算法构建的风险决策模型，可以将历史风险事件数据和实际风险结果作为样本数据，利用强化学习算法进行风险决策模型训练，获得的风险决策模型可以根据输入的风险事件数据输出对应的风险决策如：通过、核身校验、失败交易、限权用户等。强化学习是智能体(Agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习不同于连接主义学习中的监督学习，主要表现在强化信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统RLS(reinfor本文档来自技高网...

【技术保护点】
1.一种风险防控决策方法，包括：/n获取待防控的风险事件数据；/n利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，获得所述待防控的风险事件数据的风险决策结果，其中，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得。/n

【技术特征摘要】
1.一种风险防控决策方法，包括：
获取待防控的风险事件数据；
利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，获得所述待防控的风险事件数据的风险决策结果，其中，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得。


2.如权利要求1所述的方法，所述风险防控系统包括多层风险防控层，所述利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，包括：
按照风险防控层的等级由低到高的次序，依次利用所述风险防控系统中各风险防控层调用所述风险决策模型，对所述待防控的风险事件数据进行风险防控，其中，低一等级的风险防控层输出的风险防控结果为非安全事件的风险事件数据，作为高一等级的风险防控层的输入风险事件数据，直至目标风险防控层输出风险防控结果；
将所述目标风险防控层的风险防控结果作为所述待防控的风险事件数据的风险决策结果。


3.如权利要求1所述的方法，所述风险决策模型中包括风险决策约束条件，所述风险决策约束条件的设置方法包括：
基于业务场景、用户分群、交易渠道，设置不同的打扰率、案件率和交易失败率；
基于交易渠道和风险类型，设置不同的风险核身方法。


4.如权利要求3所述的方法，各层风险防控层调用所述风险决策模型对风险事件数据进行风险防控的方法包括：
获取所述风险事件数据对应的业务场景、用户信息、交易渠道以及风险类型；
调用所述风险决策模型，结合所述风险决策约束条件和获取到的业务场景、用户信息、交易渠道以及风险类型，确定出对应的风险防控结果。


5.如权利要求1所述的方法，利用强化学习算法构建所述风险决策模型的过程包括：
设置所述风险决策模型的环境参数、风险防控动作参数、奖励参数，其中：
所述环境参数包括：业务场景、交易渠道、用户分群、风险类型、交易金额、风险分值、当天交易笔数、管控次数；
所述风险防控动作参数包括：放行、风险核身方法、直接失败交易、直接限权用户；
所述奖励参数包括不同大小的奖励值；
将历史风险事件数据输入到所述风险决策模型中，基于所述环境参数、所述风险防控动作参数、所述奖励参数对所述风险决策模型进行训练，根据所述风险决策模型输出的风险防控结果和所述历史风险事件数据对应的风险结果，返回对应的奖励值，直至模型精度达到预设阈值。


6.如权利要求5所述的方法，所述根据所述风险决策模型输出的风险防控结果和所述历史风险事件数据对应的风险结果，返回对应的奖励值，包括：
若所述历史风险事件数据对应的风险结果为安全用户，输出的风险防控结果为管控且核身通过，返回正向的第一奖励值；
若所述历史风险事件数据对应的风险结果为安全用户，输出的风险防控结果为管控且未核身通过管控，返回负向的第二奖励值，其中，所述第二奖励值大于所述第一奖励值；
若所述历史风险事件数据对应的风险结果为安全用户，输出的风险防控结果为不管控，返回正向的第三奖励值，所述第三奖励值大于所述第二奖励值；
若所述历史风险事件数据对应的风险结果为风险用户，输出的风险防控结果为管控且核身通过，返回负向的第二奖励值；
若所述历史风险事件数据对应的风险结果为风险用户，输出的风险防控结果为管控且未核身通过，返回正向的第三奖励值；
若所述历史风险事件数据对应的风险结果为风险用户，输出的风险防控结果为不管控，返回负向的第三奖励值。


7.如权利要求5所述的方法，所述方法还包括：
根据所述待防控的风险事件数据的风险决策结果和所述奖励参数，返回对应的奖励值。


8.一种风险防控决策装置，包括：
数据获取模块，用于获取待防控的风险事件数据；
风险决策模块，用于利用风险防控系统中的风险决策模型对所述风险事件数据进行风险防控，获得所述待防控的风险事件数据的风险决策结果，其中，所述风险决策模型是利用强化学习算法，将历史风险事件数据和所述历史风险事件数据对应的风险结果作为样本数据，进行模型训练构建获得。


9.如权利要求8所述的装置，所述风险防控系统包括多层风险防控层，所述风险决策模块具体用于：
按照风险防控层的等级由低到高的次序，依次利用所述风险防控系统中各风险防控层调用所述风险决策模型，对所述待防控的风险事...

【专利技术属性】
技术研发人员：付大鹏，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33