业务数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及大数据技术领域，具体公开了一种业务数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：实时获取多个终端设备上同一应用对应的日志文件；基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据；将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。采用本方法能够将分析系统与终端设备分离，对采集的数据进行数据预处理后通过网络发送到分析系统，可以减少服务器端的负担，提高业务数据处理的效率。率。率。

【技术实现步骤摘要】
业务数据处理方法、装置、计算机设备和存储介质


[0001]本申请涉及大数据
，特别是涉及一种业务数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着信息技术的快速发展，互联网产品的业务量也呈现快速增长的趋势。对于海量数据，单台计算机的处理能力已经远远不够，由此推动了分布式系统的研究和进展，将海量数据源进行任务分割，将分割后的任务分发给多台计算机并行处理，并将并行处理的结果合并为最终的结果。
[0003]传统方案中通常将每个业务数据保存到数据库中，再对数据库中的数据进行调取与统计分析等处理。
[0004]但传统方案依赖于数据库，每一个业务数据都需要先登记流水，在对登记后的数据进行处理，业务处理效率低。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种业务数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种业务数据处理方法。所述方法包括：
[0007]实时获取多个终端设备上同一应用对应的日志文件；
[0008]基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；
[0009]基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据；
[0010]将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。
[0011]在其中一个实施例中，基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据，包括：
[0012]获取多个日志文件中业务数据的业务标识；
[0013]当目标业务标识与业务标识一致时，将业务标识对应的业务数据作为目标业务数据。
[0014]在其中一个实施例中，基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，包括：
[0015]获取多个目标业务数据的报文标识；
[0016]当目标报文标识与报文标识一致时，将报文标识对应的目标业务数据作为匹配成功的目标业务数据；
[0017]基于目标报文标识，对多个匹配成功的目标业务数据进行报文解析。
[0018]在其中一个实施例中，通过分析系统对汇总数据进行数据处理，得到数据处理结
果，包括：
[0019]基于预设目标，通过分析系统对汇总数据中的多个业务数据进行分析统计，生成对应预设目标的数据处理结果。
[0020]在其中一个实施例中，上述方法还包括：
[0021]通过分析系统将多个汇总数据记录至数据库。
[0022]第二方面，本申请还提供了一种业务数据处理装置。所述装置包括：
[0023]日志文件获取模块，用于实时获取多个终端设备上同一应用对应的日志文件；
[0024]过滤模块，用于基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；
[0025]匹配模块，用于基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据；
[0026]分析模块，用于将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。
[0027]在其中一个实施例中，过滤模块，包括：
[0028]业务标识获取子模块，用于获取多个日志文件中业务数据的业务标识；
[0029]目标业务数据获取子模块，用于当目标业务标识与业务标识一致时，将业务标识对应的业务数据作为目标业务数据。
[0030]在其中一个实施例中，匹配模块，包括：
[0031]报文标识获取子模块，用于获取多个目标业务数据的报文标识；
[0032]报文匹配子模块，用于当目标报文标识与报文标识一致时，将报文标识对应的目标业务数据作为匹配成功的目标业务数据；
[0033]报文解析子模块，用于基于目标报文标识，对多个匹配成功的目标业务数据进行报文解析。
[0034]在其中一个实施例中，分析模块，包括：
[0035]分析统计子模块，用于基于预设目标，通过分析系统对汇总数据中的多个业务数据进行分析统计，生成对应预设目标的数据处理结果。
[0036]在其中一个实施例中，上述装置还包括：
[0037]记录模块，用于通过分析系统将多个汇总数据记录至数据库。
[0038]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。
[0039]第四方面，本申请还提供了一种计算机设备可读存储介质。所述计算机设备可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述方法的步骤。
[0040]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述方法的步骤。
[0041]上述业务数据处理方法、装置、计算机设备、存储介质和计算机程序产品，首先实时获取多个终端设备上同一应用对应的日志文件。然后基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；基于目标报文标识，对多个目标业务数据进
行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据。最后将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。本申请从终端设备采集日志文件的数据，对采集的数据进行数据预处理后通过网络发送到分析系统，通过将分析系统与终端设备分离，在终端设备和分析系统分步进行数据的处理，可以减少服务器端的负担，提高业务数据处理的效率。
附图说明
[0042]图1为一个实施例中业务数据处理方法的应用环境图；
[0043]图2为一个实施例中业务数据处理方法的流程示意图；
[0044]图3为一个实施例中数据采集系统提取日志文件中数据的流程示意图；
[0045]图4为一个实施例中业务数据处理装置的结构框图；
[0046]图5为一个实施例中计算机设备的内部结构图。
具体实施方式
[0047]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0048]需要说明的是，本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务数据处理方法，其特征在于，所述方法包括：实时获取多个终端设备上同一应用对应的日志文件；基于目标业务标识，对多个所述日志文件中的业务数据进行过滤，得到目标业务数据；基于目标报文标识，对多个所述目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个所述匹配成功的目标业务数据进行解析，得到汇总数据；将所述汇总数据通过网络发送至分析系统，通过所述分析系统对所述汇总数据进行数据处理，得到数据处理结果。2.根据权利要求1所述的方法，其特征在于，所述基于目标业务标识，对多个所述日志文件中的业务数据进行过滤，得到目标业务数据，包括：获取多个所述日志文件中业务数据的业务标识；当所述目标业务标识与所述业务标识一致时，将所述业务标识对应的业务数据作为目标业务数据。3.根据权利要求1所述的方法，其特征在于，所述基于目标报文标识，对多个所述目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个所述匹配成功的目标业务数据进行解析，包括：获取多个所述目标业务数据的报文标识；当所述目标报文标识与所述报文标识一致时，将所述报文标识对应的目标业务数据作为匹配成功的目标业务数据；基于所述目标报文标识，对多个所述匹配成功的目标业务数据进行报文解析。4.根据权利要求1所述的方法，其特征在于，所述通过所述分析系统对所述汇总数据进行数据处理，得到数据处理结果，包括：基于预设目标，通过所述分析系统对所述汇总数据中的多个业务数据进行分析统计，生成对应所述预设目标的数据处理结果。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：通过所述分析系统将多个所述汇总数据记录至数据库。6.一种业务数据处理装置，其特征在于，所述装置包括：日志文件获取模块，用于实时获取多个终端设备上同一应用对应的日志文件；过滤模块，用于基于目标业务标识，对多个所述日志文件中的业务数据进行过滤，得到目标业务数据；匹配...

【专利技术属性】
技术研发人员：赖韬，薛红星，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：