数据处理方法、装置、电子设备和介质制造方法及图纸

本公开提供了一种数据处理方法、装置、设备、存储介质和程序产品，涉及计算机技术领域，可以应用于金融技术领域。该方法包括：基于流式处理引擎，确定与交易数据对应的日志在预定时段内是否变化；在确定与交易数据对应的日志在预定时段内变化的情况下，根据发生变化的日志信息生成消息队列；根据消息队列中的日志信息确定第一交易码；遍历检索已存储预设第二交易码的数据结构，确定数据结构中是否存在与第一交易码匹配的第二交易码；以及在确定数据结构中存在与第一交易码匹配的第二交易码的情况下，确定产生交易数据的用户信息。确定产生交易数据的用户信息。确定产生交易数据的用户信息。

【技术实现步骤摘要】
数据处理方法、装置、电子设备和介质


[0001]本公开涉及计算机
，可以应用于金融
，更具体地涉及一种数据处理方法、装置、设备、介质和程序产品。

技术介绍

[0002]批处理就是将一个时间点之前的数据做一个截面处理，如首先读取前一日日期的交易明细表数据，将交易数据导出成文件；读取文件，进行预处理，采用代码分支进行逻辑判断。
[0003]然而，批处理技术很难满足高时效性和低延迟的数据处理要求，并且批处理要对数据进行卸数，多次卸数的操作将增加存储空间的负担。

技术实现思路

[0004]鉴于上述问题，本公开提供了数据处理方法、装置、设备、介质和程序产品，通过上述数据处理方法能够在提升时效性的同时达到减少卸数操作的效果。
[0005]根据本公开的第一个方面，提供了一种数据处理方法，包括：基于流式处理引擎，确定与交易数据对应的日志在预定时段内是否变化；在确定所述与交易数据对应的日志在预定时段内变化的情况下，根据发生变化的日志信息生成消息队列；根据所述消息队列中的日志信息确定第一交易码；遍历检索已存储预设第二交易码的数据结构，确定所述数据结构中是否存在与所述第一交易码匹配的第二交易码；以及在确定所述数据结构中存在与所述第一交易码匹配的第二交易码的情况下，确定产生所述交易数据的用户信息。
[0006]根据本公开实施例，所述数据处理方法还包括：基于所述交易数据和所述用户信息生成黑名单文件。
[0007]根据本公开实施例，所述基于所述交易数据和所述用户信息生成黑名单文件，包括：基于所述交易数据和所述用户信息，记录异常交易次数；以及在所述异常交易次数达到预定阈值时，生成黑名单文件。
[0008]根据本公开实施例，所述数据处理方法还包括：响应于入仓保存请求，发送所述黑名单文件。
[0009]本公开的第二方面提供了一种数据处理装置，包括：第一确定模块，用于基于流式处理引擎，确定与交易数据对应的日志在预定时段内是否变化；生成消息队列模块，用于在确定所述与交易数据对应的日志在预定时段内变化的情况下，根据发生变化的日志信息生成消息队列；第二确定模块，用于根据所述消息队列中的日志信息确定第一交易码；第三确定模块，用于遍历检索已存储预设第二交易码的数据结构，确定所述数据结构中是否存在与所述第一交易码匹配的第二交易码；以及第四确定模块，用于在确定所述数据结构中存在与所述第一交易码匹配的第二交易码的情况下，确定产生所述交易数据的用户信息。
[0010]根据本公开实施例，所述数据处理装置还包括：生成黑名单模块，用于基于所述交易数据和所述用户信息生成黑名单文件。
应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
[0028]本公开的实施例提供了一种数据处理方法和装置，基于流式处理引擎，确定与交易数据对应的日志在预定时段内是否变化；在确定与交易数据对应的日志在预定时段内变化的情况下，根据发生变化的日志信息生成消息队列；根据消息队列中的日志信息确定第一交易码；遍历检索已存储预设第二交易码的数据结构，确定数据结构中是否存在与第一交易码匹配的第二交易码；以及在确定数据结构中存在与第一交易码匹配的第二交易码的情况下，确定产生交易数据的用户信息。
[0029]图1示意性示出了根据本公开实施例的数据处理方法、装置、设备、介质和程序产品的应用场景图。
[0030]如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0031]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0032]终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0033]服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
[0034]需要说明的是，本公开实施例所提供的数据处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
[0035]应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0036]以下将基于图1描述的场景，通过图2对公开实施例的数据处理方法进行详细描述。
[0037]图2示意性示出了根据本公开实施例的数据处理方法的流程图。
[0038]如图2所示，该实施例包括操作S210～操作S250，该数据处理方法可以通过服务器执行。
[0039]在本公开的技术方案中，对用户个人信息的获取、收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
[0040]在操作S210，基于流式处理引擎，确定与交易数据对应的日志在预定时段内是否
变化。
[0041]在操作S220，在确定与交易数据对应的日志在预定时段内变化的情况下，根据发生变化的日志信息生成消息队列。
[0042]在操作S230，根据消息队列中的日志信息确定第一交易码。
[0043]在操作S240，遍历检索已存储预设第二交易码的数据结构，确定数据结构中是否存在与第一交易码匹配的第二交易码。
[0044]在操作S250，在确定数据结构中存在与第一交易码匹配的第二交易码的情况下，确定产生交易数据的用户信息。
[0045]流式处理引擎，可以为Apache Flink；流式处理引擎是一种分布式流数据流引擎，以数据并行和流水线方式执行任意流数据程序；此外，流式处理引擎在运行时也支持迭代算法的执行。流式处理引擎在执行后被映射到流数据流，每一个数据流以一个或多个源(数据输入，例如消息队列或文件系统)开始，并以一个或多个接收器(数据输出，如消息队列、文件系统或数据库等)结束。可以对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：基于流式处理引擎，确定与交易数据对应的日志在预定时段内是否变化；在确定所述与交易数据对应的日志在预定时段内变化的情况下，根据发生变化的日志信息生成消息队列；根据所述消息队列中的日志信息确定第一交易码；遍历检索已存储预设第二交易码的数据结构，确定所述数据结构中是否存在与所述第一交易码匹配的第二交易码；以及在确定所述数据结构中存在与所述第一交易码匹配的第二交易码的情况下，确定产生所述交易数据的用户信息。2.根据权利要求1所述的方法，还包括：基于所述交易数据和所述用户信息生成黑名单文件。3.根据权利要求2所述的方法，其中，所述基于所述交易数据和所述用户信息生成黑名单文件，包括：基于所述交易数据和所述用户信息，记录异常交易次数；以及在所述异常交易次数达到预定阈值时，生成黑名单文件。4.根据权利要求3所述的方法，还包括：响应于入仓保存请求，发送所述黑名单文件。5.一种数据处理装置，包括：第一确定模块，用于基于流式处理引擎，确定与交易数据对应的日志在预定时段内是否变化；生成消息队列模块，用于在确定所述与交易数据对应的日志在预定时段内变化的情况下，根据发生变化的日志信息生成消息队列；第二确定...

【专利技术属性】
技术研发人员：赵天楷，姜楠，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：