数据处理的方法及系统、设备及存储介质技术方案

本公开涉及大数据技术领域，尤其涉及一种数据处理的方法及系统、设备及存储介质，所述方法包括：响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；收集同一交易请求对应的用于交易的处理流程的结果数据；对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端，能够将一次用户请求对应的所有用于交易的处理流程的结果数据整理为一条消息一次性写入消息队列，能够减小消息队列的压力。息队列的压力。息队列的压力。

【技术实现步骤摘要】
数据处理的方法及系统、设备及存储介质


[0001]本公开涉及大数据
，尤其涉及一种数据处理的方法及系统、设备及存储介质。

技术介绍

[0002]现在互联网系统中，需要对复杂业务产生的数据进行分析，比如分析日志、发生异常时分析其原因、分析某个业务的指标数据等等，以通过对数据进行分析了解系统的运行情况，明确是否存在异常，是否有待优化点，业务的具体运营情况如何等等。
[0003]现有技术方案中，通常通过以下三种方式对业务产生的数据进行分析：第一，对系统日志进行分析，通过关键字查看系统日志进行分析；第二，通过交易数据进行分析，通过对交易数据的分析查看其运营情况；第三，通过探针的方式对数据进行采集并分析，这种方案属于业务无嵌入式，自动对系统接口进行采集并统一展示。
[0004]然而，以上三种方式操作难度大、数据精准度低、门槛高、实用性差、灵活性差。另外，在用户的一次请求对应多个子流程步骤，若对每个流程和步骤都发送消息，则一次用户请求要发送多次消息，对将业务产生的数据传输至数据处理端的消息队列的压力是很大的。

技术实现思路

[0005]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种数据处理的方法及系统、设备及存储介质。
[0006]第一方面，本公开的实施例提供了一种数据处理的方法，包括：
[0007]响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；
[0008]收集同一交易请求对应的用于交易的处理流程的结果数据；
[0009]对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端。
[0010]在一种可能的实施方式中，所述收集同一交易请求对应的用于交易的处理流程的结果数据，包括：
[0011]按照处理流程之间的关联性对同一交易请求对应的所有用于交易的处理流程的结果数据进行分组收集，以对同一请求对应的所有分组收集的结果数据进行整合。
[0012]在一种可能的实施方式中，在所述将整合后得到的用于交易的数据写入消息队列发送至数据处理端之前，所述方法还包括：
[0013]对整合后得到的用于交易的数据进行压缩，以将压缩后用于交易的数据写入消息队列发送至数据处理端。
[0014]在一种可能的实施方式中，所述收集同一交易请求对应的用于交易的处理流程的结果数据通过调用接口的方式实现。第二方面，本公开的实施例提供了一种数据处理的方
法，应用于数据处理端，所述方法包括：
[0015]接收消息队列的消息，并对所述消息中用于交易的数据进行特殊化处理，其中，所述特殊化处理包括关键字提取、数据的二次验证和数据填充；
[0016]将特殊化处理后的用于交易的数据写入数据库中；
[0017]响应于接收到的数据查询请求，根据查询请求中的关键字从所述数据库中提取对应的用于交易的数据，供数据查询请求者查看。
[0018]在一种可能的实施方式中，所述方法还包括：
[0019]监测消息队列中消息的数量，判断所述消息队列中消息的数量是否超过预设阈值：
[0020]当所述消息队列中消息的数量超过预设阈值时，开启异步线程对消息队列中的消息进行处理。
[0021]在一种可能的实施方式中，所述消息中用于交易的数据为压缩数据，在所述对所述消息中用于交易的数据进行特殊化处理之前，所述方法还包括：
[0022]对所述消息中用于交易的数据进行解压，以对解压后用于交易的数据进行特殊化处理。
[0023]第三方面，本公开的实施例提供了一种数据处理的系统，包括：
[0024]数据生成端，用于响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；收集同一交易请求对应的用于交易的处理流程的结果数据；对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端；
[0025]数据处理端，用于接收消息队列的消息。
[0026]在一种可能的实施方式中，所述数据处理端还用于：
[0027]对所述消息中用于交易的数据进行特殊化处理，其中，所述特殊化处理包括关键字提取、数据的二次验证和数据填充；将特殊化处理后的用于交易的数据写入数据库中；响应于接收到的数据查询请求，根据查询请求中的关键字从所述数据库中提取对应的用于交易的数据，供数据查询请求者查看。
[0028]第四方面，本公开的实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
[0029]存储器，用于存放计算机程序；
[0030]处理器，用于执行存储器上所存放的程序时，实现上述的数据处理的方法。
[0031]第五方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的数据处理的方法。
[0032]本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：
[0033]本公开实施例所述的数据处理的方法及系统，响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；收集同一交易请求对应的用于交易的处理流程的结果数据；对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端，能够将一次用户请求对应的所有用于交易的处理流程的结果数据整理为一条消息一次性写
入消息队列，能够减小消息队列的压力。
附图说明
[0034]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0035]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0036]图1示意性示出了根据本公开实施例的数据处理的方法的流程示意图；
[0037]图2示意性示出了根据本公开实施例步骤S2的详细流程示意图；
[0038]图3示意性示出了根据本公开另一实施例的数据处理的方法的流程示意图；
[0039]图4示意性示出了根据本公开又一实施例的数据处理的方法的流程示意图；
[0040]图5示意性示出了现有技术中消息队列的处理流程示意图；
[0041]图6示意性示出了根据本公开实施例的消息队列的处理流程示意图；
[0042]图7示意性示出了根据本公开实施例的数据处理的系统的结构框图；
[0043]图8(a)示意性示出了根据本公开实施例的数据处理的系统的数据生成端的工作流程示意图；
[0044本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，应用于数据生成端，所述方法包括：响应于接收到的交易请求，根据所述交易请求执行与当前交易请求对应的至少一个用于交易的处理流程；收集同一交易请求对应的用于交易的处理流程的结果数据；对同一交易请求对应的用于交易的处理流程的结果数据进行整合，以将整合后得到的用于交易的数据写入消息队列发送至数据处理端。2.根据权利要求1所述的方法，其特征在于，所述收集同一交易请求对应的用于交易的处理流程的结果数据，包括：按照处理流程之间的关联性对同一交易请求对应的所有用于交易的处理流程的结果数据进行分组收集，以对同一请求对应的所有分组收集的结果数据进行整合。3.根据权利要求1所述的方法，其特征在于，在所述将整合后得到的用于交易的数据写入消息队列发送至数据处理端之前，所述方法还包括：对整合后得到的用于交易的数据进行压缩，以将压缩后用于交易的数据写入消息队列发送至数据处理端。4.根据权利要求1所述的方法，其特征在于，所述收集同一交易请求对应的用于交易的处理流程的结果数据通过调用接口的方式实现。5.一种数据处理的方法，其特征在于，应用于数据处理端，所述方法包括：接收消息队列的消息，并对所述消息中用于交易的数据进行特殊化处理，其中，所述特殊化处理包括关键字提取、数据的二次验证和数据填充；将特殊化处理后的用于交易的数据写入数据库中；响应于接收到的数据查询请求，根据查询请求中的关键字从所述数据库中提取对应的用于交易的数据，供数据查询请求者查看。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：监测消息队列中消息的数量，判断所述消息队列中消息的数量是否超过预设阈值：当所述消息队列中消息的数量超过预设阈值时，开启异步线程对消息队列中的...

【专利技术属性】
技术研发人员：黄增荣，陈月华，刘菁菁，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：