Flink计算框架的数据处理方法、装置、设备和存储介质制造方法及图纸

本申请涉及一种Flink计算框架的数据处理方法、装置、计算机设备和存储介质。所述方法包括：通过实时获取待处理数据流，所述待处理数据流包括用户行为数据流以及交易订单数据流；根据Flink计算框架中预先设定的多个处理窗口将所述待处理数据流分配至对应的处理窗口；根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。本申请基于Flink计算框对用户行为数据流和交易订单数据流进行实时分析，提高了数据校验的可靠性，通过Flink计算框中的多个处理窗口实现待处理数据的并行处理，提高了数据处理的效率。提高了数据处理的效率。提高了数据处理的效率。

【技术实现步骤摘要】
Flink计算框架的数据处理方法、装置、设备和存储介质


[0001]本申请涉及数据处理
，特别是涉及一种Flink计算框架的数据处理方法、装置、设备和存储介质。

技术介绍

[0002]目前，随着线上购物行为逐渐增多，欺诈风险也随之上升。欺诈者不断优化他们的诈骗手段，想方设法躲避甄别。用户在很多网站上注册的账号密码一致，用户在一个网站丢失的信息可能会被黑客拿过来撞库，如果撞库成功之后，就会对交易有影响。例如，账号被盗导致的不法分子利用被盗账号套现、骗取客户信息进行套现、自己刷单赚取差价的套现等等行为频发。所以对用户的线上各种行为进行风险校验就是业务面对的一个很重要的问题。
[0003]传统技术中，一般采用通过获取用户的离线行为数据，对用户离线申请行为数据进行模型训练，根据训练的模型进行数据分析，以对用户行为的风险性进行校验。然而，这种方案存在检测的准确性不高的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种Flink计算框架的数据处理方法、装置、计算机设备和存储介质。
[0005]一种Flink计算框架的数据处理方法，方法包括：
[0006]实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；
[0007]根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；
[0008]根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
[0009]在其中一个实施例中，上述的实时获取待处理数据流，包括：
[0010]实时采集待处理数据流；
[0011]根据待处理数据流的数据流类型将待处理数据流分类储于预设消息队列的不同分区中；
[0012]从预设消息队列的不同分区中获取待处理数据流。
[0013]在其中一个实施例中，上述的根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口，包括：
[0014]根据各处理窗口的窗口范围描述信息以及待处理数据流的数据流类型对待处理数据流分配至对应的处理窗口，窗口范围描述信息用于描述各处理窗口所处理的数据流类型。
[0015]在其中一个实施例中，上述的风险校验策略包括校验条件，根据预先配置的风险
校验策略对各处理窗口内的待处理数据流流以及交易订单数据流进行并行校验，得到校验结果，包括：
[0016]根据各处理窗口的窗口函数从预设的Redis缓存中并行调用与各处理窗口内的待处理数据流对应的风险校验策略；
[0017]提取处理窗口内的待处理数据流中的元数据；
[0018]当元数据满足风险校验策略中的校验条件时，生成待处理数据流为异常数据的校验结果，以并行校验各处理窗口内的待处理数据流。
[0019]在其中一个实施例中，上述的校验条件包括多个，方法还包括：
[0020]当待处理数据流满足预设数目个校验条件时，生成风险提示信息；
[0021]将风险提示推送至预先设定的目标终端上展示。
[0022]在其中一个实施例中，上述的方法还包括：
[0023]将校验结果存入预设的数据库中；
[0024]实时读取数据库中预设时间段内的校验结果，将预设时间段内的校验结果发送至目标终端展示。
[0025]在其中一个实施例中，上述的方法还包括：
[0026]接收终端发送的风险校验策略的新增请求；
[0027]根据新增请求中的新增校验条件，生成新的风险校验策略；
[0028]将新的校验策略更新至Redis缓存中。
[0029]一种Flink计算框架的数据处理装置，其特征在于，方法包括：
[0030]获取模块，用于实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；
[0031]分配模块，用于根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；
[0032]校验模块，用于根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
[0033]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
[0034]实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；
[0035]根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；
[0036]根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
[0037]一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0038]实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；
[0039]根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；
[0040]根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
[0041]上述Flink计算框架的数据处理方法、装置、计算机设备和存储介质，通过实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。本申请基于Flink计算框对用户行为数据流和交易订单数据流进行实时分析，提高了数据校验的可靠性，通过Flink计算框中的多个处理窗口实现待处理数据的并行处理，提高了数据处理的效率。
附图说明
[0042]图1为一个实施例中Flink计算框架的数据处理方法的应用环境图；
[0043]图2为一个实施例中Flink计算框架的数据处理方法的流程示意图；
[0044]图3为一个实施例中Flink计算框架的数据处理方法的应用环境示意图；
[0045]图4为另一个实施例中Flink计算框架的计算流程图；
[0046]图5为一个实施例中Flink计算框架的数据处理装置的结构框图；
[0047]图6为一个实施例中计算机设备的内部结构图。
具体实施方式
[0048]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0049]请参考图1，图1为本申请一示例性实施例提供的一种Flink计算框架的数据处理方法的应用环境示意图。如图1所示，该应用环境中包括服务器100以及终端101，服务器100与终端101之间可以通过网络102实现可通信的连接，以实现本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Flink计算框架的数据处理方法，所述方法包括：实时获取待处理数据流，所述待处理数据流包括用户行为数据流以及交易订单数据流；根据Flink计算框架中预先设定的多个处理窗口将所述待处理数据流分配至对应的处理窗口；根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。2.根据权利要求1所述的方法，其特征在于，所述实时获取待处理数据流，包括：实时采集所述待处理数据流；根据所述待处理数据流的数据流类型将所述待处理数据流分类储于预设消息队列的不同分区中；从所述预设消息队列的不同分区中获取所述待处理数据流。3.根据权利要求1所述的方法，其特征在于，所述根据Flink计算框架中预先设定的多个处理窗口将所述待处理数据流分配至对应的处理窗口，包括：根据各所述处理窗口的窗口范围描述信息以及所述待处理数据流的数据流类型对所述待处理数据流分配至对应的处理窗口，所述窗口范围描述信息用于描述各处理窗口所处理的数据流类型。4.根据权利要求1所述的方法，其特征在于，所述风险校验策略包括校验条件，所述根据预先配置的风险校验策略对各处理窗口内的待处理数据流流以及交易订单数据流进行并行校验，得到校验结果，包括：根据各所述处理窗口的窗口函数从预设的Redis缓存中并行调用与各所述处理窗口内的待处理数据流对应的风险校验策略；提取所述处理窗口内的待处理数据流中的元数据；当所述元数据满足所述风险校验策略中的校验条件时，生成所述待处理数据流为异常数据的校验结果，以并行校验各所述处...

【专利技术属性】
技术研发人员：汪照阳，
申请(专利权)人：南京星云数字技术有限公司，
类型：发明
国别省市：