数据处理系统、方法及装置制造方法及图纸

本说明书实施例提供了一种数据处理系统、方法及装置，该系统包括：数据聚合节点和数据统计节点；该数据聚合节点，用于接收对目标应用调用各服务接口的接口调用数据进行聚合的数据聚合指令，根据该指令对存储在分布式数据库的各分区内的接口调用数据进行聚合，得到各服务接口所对应的接口调用数据，并将各服务接口所对应的接口调用数据发送给数据统计节点；数据统计节点，用于接收数据聚合节点发送的各服务接口所对应的接口调用数据，并根据各服务接口所对应的接口调用数据的应用场景对各服务接口所对应的接口调用数据进行统计。

Data Processing System, Method and Device

【技术实现步骤摘要】
数据处理系统、方法及装置
本申请涉及数据处理
，尤其涉及一种数据处理系统、方法及装置。
技术介绍
随着信息技术和互联网技术的快速发展，各类应用程序在人们的生活、工作中得到了广泛的应用和快速的普及。越来越多的用户通过使用安装在终端设备上的各种应用程序进行在线业务办理，如在线购物、在线支付等，给人们带来了极大的便利。一般的，在通过各应用程序进行业务办理时，应用程序需要调用服务接口(包括应用程序内部的服务接口和外部服务接口)完成业务的办理。若是服务接口出现异常或者应用程序内部发生异常，如内部规则错误变更、调用下游系统异常等，都会影响业务的办理，因此，需要定期对应用程序进行健康分析。一般的，当通过应用程序在进行业务办理时，通过中间件收集应用程序对各服务接口进行调用的调用日志信息，然后将收集的调用日志信息存储在分布式数据库中。后续可以依据在分布式数据库中存储的调用日志信息对应用程序进行异常分析。因此，如何依据存储在分布式系统中的接口调用日志对应用程序进行异常分析成为当前亟需解决的技术问题。
技术实现思路
本说明书实施例的目的是提供一种数据处理系统、方法及装置，通过对存储在分布式数据库的各分区内的接口调用数据进行聚合，得到各服务接口所对应的接口调用数据，实现了将各服务接口所对应的接口调用数据聚合在一起，从而便于根据每个服务接口所对应的接口调用数据对该接口进行健康分析，可以及时发现各服务接口所对应的异常状况；另外，在本说明书实施例中，通过根据各服务接口所对应的接口调用数据的应用场景对各服务接口所对应的接口调用数据进行统计分析，可以确定各服务接口在各应用场景下所对应的数据量，从而根据各服务接口在各应用场景下所对应的数据量实现了对应用程序内部问题的分析，从而在应用程序内部出现问题时，可以及时处理。为解决上述技术问题，本说明书实施例是这样实现的：本说明书实施例提供了一种数据处理系统，包括：数据聚合节点和数据统计节点；所述数据聚合节点，用于接收对目标应用调用各服务接口的接口调用数据进行聚合的数据聚合指令，根据所述数据聚合指令对存储在分布式数据库的各分区内的所述接口调用数据进行聚合，得到所述各服务接口所对应的接口调用数据，并将所述各服务接口所对应的接口调用数据发送给所述数据统计节点；所述数据统计节点，用于接收所述数据聚合节点发送的所述各服务接口所对应的接口调用数据，并根据所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。本说明书实施例还提供了一种数据处理方法，应用于数据聚合节点，所述方法包括：接收对目标应用调用各服务接口的接口调用数据进行聚合的数据聚合指令；根据所述数据聚合指令对存储在分布式数据库中的各分区内的所述接口调用数据进行聚合，得到各服务接口所对应的接口调用数据；将各服务接口所对应的接口调用数据发送给数据统计节点，以使所述数据统计节点根据所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。本说明书实施例还提供了一种数据处理方法，应用于数据统计节点，所述方法包括：接收数据聚合节点发送的目标应用的各服务接口所对应的接口调用数据，以及接收任务触发节点发送的数据统计指令；所述数据统计指令用于指示所述数据统计节点对所述接口调用数据进行统计；根据所述数据统计指令以及所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。本说明书实施例还提供了一种数据处理装置，应用于数据聚合节点，所述装置包括：接收模块，用于接收对目标应用调用各服务接口的接口调用数据进行聚合的数据聚合指令；聚合模块，用于根据所述数据聚合指令对存储在分布式数据库中的各分区内的所述接口调用数据进行聚合，得到各服务接口所对应的接口调用数据；发送模块，用于将各服务接口所对应的接口调用数据发送给数据统计节点，以使所述数据统计节点根据所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。本说明书实施例还提供了一种数据处理装置，应用于数据统计节点，所述装置包括：接收模块，用于接收数据聚合节点发送的目标应用的各服务接口所对应的接口调用数据，以及接收任务触发节点发送的数据统计指令；所述数据统计指令用于指示所述数据统计节点对所述接口调用数据进行统计；统计模块，用于根据所述数据统计指令以及所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。本说明书实施例还提供了一种数据处理设备，应用于数据聚合节点，所述设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：接收对目标应用调用各服务接口的接口调用数据进行聚合的数据聚合指令；根据所述数据聚合指令对存储在分布式数据库中的各分区内的所述接口调用数据进行聚合，得到各服务接口所对应的接口调用数据；将各服务接口所对应的接口调用数据发送给数据统计节点，以使所述数据统计节点根据所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。本说明书实施例还提供了一种数据处理设备，应用于数据统计节点，所述设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：接收数据聚合节点发送的目标应用的各服务接口所对应的接口调用数据，以及接收任务触发节点发送的数据统计指令；所述数据统计指令用于指示所述数据统计节点对所述接口调用数据进行统计；根据所述数据统计指令以及所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。本说明书实施例还提供了一种存储介质，应用于数据聚合节点，所述存储介质用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：接收对目标应用调用各服务接口的接口调用数据进行聚合的数据聚合指令；根据所述数据聚合指令对存储在分布式数据库中的各分区内的所述接口调用数据进行聚合，得到各服务接口所对应的接口调用数据；将各服务接口所对应的接口调用数据发送给数据统计节点，以使所述数据统计节点根据所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。本说明书实施例还提供了一种存储介质，应用于数据统计节点，所述存储介质用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：接收数据聚合节点发送的目标应用的各服务接口所对应的接口调用数据，以及接收任务触发节点发送的数据统计指令；所述数据统计指令用于指示所述数据统计节点对所述接口调用数据进行统计；根据所述数据统计指令以及所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。本实施例中的技术方案，通过对存储在分布式数据库的各分区内的接口调用数据进行聚合，得到各服务接口所对应的接口调用数据，实现了将各服务接口所对应的接口调用数据聚合在一起，从而便于根据每个服务接口所对应的接口调用数据对该接口进行健康分析，可以及时发现各服务接口所对应的异常状况；另外，在本说明书实施例中，通过根据各服务接口所对应的接口调用数据的应用场景对各服务接口所对应的接口调用数据进行统计分析，可以确定各服务接口在各应用场景下所对应的数据本文档来自技高网...

【技术保护点】
1.一种数据处理系统，包括：数据聚合节点和数据统计节点；所述数据聚合节点，用于接收对目标应用调用各服务接口的接口调用数据进行聚合的数据聚合指令，根据所述数据聚合指令对存储在分布式数据库的各分区内的所述接口调用数据进行聚合，得到所述各服务接口所对应的接口调用数据，并将所述各服务接口所对应的接口调用数据发送给所述数据统计节点；所述数据统计节点，用于接收所述数据聚合节点发送的所述各服务接口所对应的接口调用数据，并根据所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。

【技术特征摘要】
1.一种数据处理系统，包括：数据聚合节点和数据统计节点；所述数据聚合节点，用于接收对目标应用调用各服务接口的接口调用数据进行聚合的数据聚合指令，根据所述数据聚合指令对存储在分布式数据库的各分区内的所述接口调用数据进行聚合，得到所述各服务接口所对应的接口调用数据，并将所述各服务接口所对应的接口调用数据发送给所述数据统计节点；所述数据统计节点，用于接收所述数据聚合节点发送的所述各服务接口所对应的接口调用数据，并根据所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。2.如权利要求1所述的系统，所述数据聚合节点包括多个数据聚合子节点；所述数据聚合子节点，用于根据接收到的所述数据聚合指令，对指定分区内存储的所述目标应用对所述各服务接口进行调用的接口调用数据进行聚合；其中，所述数据聚合指令用于指示所述数据聚合子节点对所述分布式数据库中的指定分区内存储的所述目标应用所对应的接口调用数据进行聚合。3.如权利要求2所述的系统，所述数据聚合节点还包括多个数据处理子节点；所述数据聚合子节点，用于从所述指定分区内查询所述目标应用对所述各服务接口进行调用的接口调用数据，并对查询到的所述接口调用数据进行聚合，得到所述各服务接口所对应的接口调用数据，并将同一个服务接口所对应的接口调用数据发送给同一个所述数据处理子节点；所述数据处理子节点，用于缓存所述数据聚合子节点发送的所述接口调用数据。4.如权利要求3所述的系统，所述系统还包括任务触发节点；所述任务触发节点，用于在确定每个所述数据聚合子节点完成对所述指定分区内存储的所述目标应用所对应的接口调用数据的聚合后，向所述数据处理子节点发送数据存储指令；所述数据处理子节点，用于接收所述数据存储指令，对所缓存的所述接口调用数据进行格式转换，并将格式转换后的接口调用数据存储在所述分布式数据库中。5.如权利要求2所述的系统，所述系统还包括控制节点；所述控制节点，用于在接收到数据聚合任务后，确定执行所述数据聚合任务的多个所述数据聚合子节点以及各所述数据聚合子节点所对应的数据聚合子任务，根据所述聚合子任务向对应的所述数据聚合子节点下发数据聚合指令。6.如权利要求4所述的系统，所述任务触发节点，还用于：向所述数据统计节点发送数据统计指令；其中，所述数据统计指令用于指示所述数据统计节点对指定数据处理子节点发送的所述接口调用数据进行统计。7.如权利要求1-6任一项所述的系统，所述数据统计节点，还用于：将对所述接口调用数据进行统计的统计结果进行格式转换，并将格式转换后的统计结果存储在所述分布式数据库中。8.一种数据处理方法，应用于数据聚合节点，所述方法包括：接收对目标应用调用各服务接口的接口调用数据进行聚合的数据聚合指令；根据所述数据聚合指令对存储在分布式数据库中的各分区内的所述接口调用数据进行聚合，得到各服务接口所对应的接口调用数据；将各服务接口所对应的接口调用数据发送给数据统计节点，以使所述数据统计节点根据所述各服务接口所对应的接口调用数据的应用场景对所述各服务接口所对应的接口调用数据进行统计。9.如权利要求8所述的方法，所述根据所述数据聚合指令对存储在分布式数据库中的各分区内的所述接口调用数据进行聚合，得到各服务接口所对应的接口调用数据，包括：根据所述数据聚合指令从指定分区内查询所述目标应用对各服务接口进行调用的接口调用数据，并对查询到的所述接口调用数据进行聚合，得到所述各服务接口所对应的接口调用数据。10.如权利要求8或9所述的方法，所述方法还包括：将各服务接口所对应的接口调用数据进行格式转换，并将格式转换后的接口调用数据存储在所述分布式数据库中。11.一种数据处理方法，应用...

【专利技术属性】
技术研发人员：曹峻，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY