数据处理方法、装置、存储介质及处理器制造方法及图纸

本申请公开了一种数据处理方法、装置、存储介质及处理器。该方法包括：采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存采集到的业务数据；在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况。通过本申请，解决了相关技术中客户端及后端系统越来越多，难以对业务的整体执行情况进行监控和跟踪的问题。

【技术实现步骤摘要】
数据处理方法、装置、存储介质及处理器
本申请涉及数据处理
，具体而言，涉及一种数据处理方法、装置、存储介质及处理器。
技术介绍
互联网爆炸时代,随着业务迅速发展，为了满足业务需求,app会快速迭代，新版本发布迅速，为了支撑日益增长的庞大业务量，app的后端系统会不断新增,并对对应的服务器进行整合、拆分，使服务不仅能通过集群部署抵挡流量的冲击，又能得以灵活地扩展。但这就造成后端系统的数量和所属服务器的数量也爆炸式增长，一次业务请求少则经过三四次服务器调用得以完成，多则跨越几十个甚至是上百个服务节点，系统间调用链复杂。为了监测每个系统及服务器，在发现问题后定位问题进行告警，并从业务维度查看业务的完整生命周期，相关技术中主要有以下解决方法：在监测问题和告警方面，在发现异常的情况下,猜测出现问题的服务器，手动去各台服务器搜索日志,查看异常，该方式准确性低，随着服务量增大，定位问题缓慢，效率低下，而且是被动的发现问题,无法主动做预防。关于查看业务的生命周期，相关技术中大多是对请求维度进行追踪，串联起单个请求在各个系统的流转，由于一次业务可能包含多次请求，比如一笔支付订单可能包含多次业务请求，在请求维度进行分析并不能满足从业务维度查看业务的完整生命周期的需求。针对相关技术中客户端及后端系统越来越多，难以对业务的整体执行情况进行监控和跟踪的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请提供一种数据处理方法、装置、存储介质及处理器，以解决相关技术中客户端及后端系统越来越多，难以对业务的整体执行情况进行监控和跟踪的问题。根据本申请的一个方面，提供了一种数据处理方法。该方法包括：采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存采集到的业务数据；在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况。进一步地，采集执行业务的过程中产生的业务数据包括：后端系统对应的服务器上部署的采集模块将服务器上产生的业务数据采集至消息队列，其中，消息队列用于在数据传输的过程中保存数据；前端系统通过http协议将前端系统上产生的业务数据实时发送至消息队列；客户端通过http协议定期将客户端上产生的业务数据发送至消息队列。进一步地，保存采集到的业务数据包括：将业务数据从消息队列保存至本地存储器；创建业务数据的索引数据，并将索引数据保存至目标搜索服务器，其中，索引数据用于索引业务数据。进一步地，在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况包括：调取包含目标ID的业务数据，其中，目标ID为请求执行目标业务的ID；分析包含目标ID的业务数据中是否存在异常数据；在包含目标ID的业务数据中存在异常数据的情况下，确定异常数据所属的业务环节发生异常。进一步地，该方法还包括：分析消息队列中保存的业务数据中是否存在异常数据，其中，异常数据为不符合预设规则的数据；在消息队列中保存的业务数据中存在异常数据的情况下，确定执行业务的过程中发生异常。进一步地，在确定执行业务的过程中发生异常之后，该方法还包括：确定异常业务，其中，异常业务为执行业务的过程中发生异常的业务；向目标对象发送异常业务的告警信息。根据本申请的另一方面，提供了一种数据处理装置。该装置包括：采集单元，用于采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存单元，用于保存采集到的业务数据；调取单元，用于在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况。进一步地，采集单元包括：采集模块，用于后端系统对应的服务器上部署的采集模块将服务器上产生的业务数据采集至消息队列，其中，消息队列用于在数据传输的过程中保存数据；发送模块，用于前端系统通过http协议将前端系统上产生的业务数据实时发送至消息队列；客户端通过http协议定期将客户端上产生的业务数据发送至消息队列。为了实现上述目的，根据本申请的另一方面，提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述任意一种数据处理方法。为了实现上述目的，根据本申请的另一方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一种数据处理方法。通过本申请，采用以下步骤：采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存采集到的业务数据；在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况，解决了相关技术中客户端及后端系统越来越多，难以对业务的整体执行情况进行监控和跟踪的问题。通过从业务关联的客户端的前端系统、后端系统以及服务器采集业务数据，进而达到了在客户端的系统及服务器越来越多，也能对客户端相关的目标业务的执行情况进行有效监控和跟踪的效果。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例提供的数据处理方法的流程图；以及图2是根据本申请实施例提供的数据处理装置的示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本申请的实施例，提供了一种数据处理方法。图1是根据本申请实施例的数据处理方法的流程图。如图1所示，该方法包括以下步骤：步骤S101，采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务。需要说明的是，用户在执行一项业务时可能通过多个客户端来实现，例如，用户在购物APP上购买商品，付款时会跳转到支付APP输密码进行支付，则该项购买业务关联的客户端为购物APP和支付APP。由于在客户端上进行操作时，通过客户端的前端系统输入指令，客户端的后端系统基于指令本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：采集执行业务的过程中产生的业务数据，其中，所述业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，所述前端系统、所述客户端以及所述后端系统配合以执行业务；保存采集到的所述业务数据；在保存的所述业务数据中调取目标业务关联的业务数据，并基于所述目标业务关联的业务数据分析所述目标业务的执行情况。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：采集执行业务的过程中产生的业务数据，其中，所述业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，所述前端系统、所述客户端以及所述后端系统配合以执行业务；保存采集到的所述业务数据；在保存的所述业务数据中调取目标业务关联的业务数据，并基于所述目标业务关联的业务数据分析所述目标业务的执行情况。2.根据权利要求1所述的方法，其特征在于，采集执行业务的过程中产生的业务数据包括：所述后端系统对应的服务器上部署的采集模块将所述服务器上产生的业务数据采集至消息队列，其中，所述消息队列用于在数据传输的过程中保存数据；所述前端系统通过http协议将所述前端系统上产生的业务数据实时发送至所述消息队列；所述客户端通过http协议定期将所述客户端上产生的业务数据发送至所述消息队列。3.根据权利要求2所述的方法，其特征在于，保存采集到的所述业务数据包括：将所述业务数据从所述消息队列保存至本地存储器；创建所述业务数据的索引数据，并将所述索引数据保存至目标搜索服务器，其中，所述索引数据用于索引所述业务数据。4.根据权利要求1所述的方法，其特征在于，在保存的所述业务数据中调取目标业务关联的业务数据，并基于所述目标业务关联的业务数据分析所述目标业务的执行情况包括：调取包含目标ID的业务数据，其中，所述目标ID为请求执行所述目标业务的ID；分析所述包含目标ID的业务数据中是否存在异常数据；在所述包含目标ID的业务数据中存在异常数据的情况下，确定所述异常数据所属的业务环节发生异常。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：分析所述消息队列中保存...

【专利技术属性】
技术研发人员：曾金怀，宋纪成，周欢云，姚开，
申请(专利权)人：北京互金新融科技有限公司，
类型：发明
国别省市：北京,11