数据处理系统的监测方法、装置以及计算机设备制造方法及图纸

本申请提出一种数据处理系统的监测方法、装置，数据处理系统包括至少两个层级，其中，方法包括：通过将测试数据输入数据处理系统，以使数据处理系统中的各层级顺序对测试数据进行数据处理；获取测试数据经过各层级进行处理输出的中间数据；当各层级输出的中间数据为相应层级对应的标准数据时，确定各层级输出标准数据的时刻；根据测试数据输入数据处理系统的时刻，与各层级输出标准数据的时刻之间的时间差，监测各层级的时延。该方法通过数据处理系统的各层级对测试数据进行数据处理，监测各层级对测试数据处理的过程，实现了实时监测数据处理系统的性能，以便当系统出现异常时，能够及时发现问题并准确定位到故障位置。

Monitoring method, device and computer equipment of data processing system

【技术实现步骤摘要】
数据处理系统的监测方法、装置以及计算机设备
本申请涉及互联网
，尤其涉及一种数据处理系统的监测方法、装置以及计算机设备。
技术介绍
目前，在大数据背景下，基于业务场景、客户需求等原因，对数据处理及产出报表的时效性要求越来越高，处理数据的系统也越来越复杂，因此，对数据处理系统的监控，实现故障问题预警是至关重要的。但是，对于数据处理系统的故障监控大多采用通用性的运维监控方案来解决，例如在机器层面监控实现对中央处理器、内存、网络、磁盘等的监控；在系统层面实现对进程、端口等监控。现有技术中，监控内容较为片面，导致当数据处理系统出现异常情况时，无法及时的定位到异常环节。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。本申请提出一种数据处理系统的监测方法，通过对数据处理过程进行监控，以实现实时监测数据处理系统的性能，以便当系统出现异常时，能够及时发现问题并准确定位到故障位置。本申请一方面实施例提出了一种数据处理系统的监测方法，所述数据处理系统包括至少两个层级，所述监控方法包括以下步骤：将测试本文档来自技高网...

【技术保护点】
1.一种数据处理系统的监测方法，其特征在于，所述数据处理系统包括至少两个层级，所述监测方法包括以下步骤：/n将测试数据输入所述数据处理系统，以使所述数据处理系统中的各层级顺序对所述测试数据进行数据处理；/n获取所述测试数据经过各层级进行处理输出的中间数据；/n当各层级输出的中间数据为相应层级对应的标准数据时，确定各层级输出所述标准数据的时刻；/n根据所述测试数据输入所述数据处理系统的时刻，与各层级输出所述标准数据的时刻之间的时间差，监测各层级的时延。/n

【技术特征摘要】
1.一种数据处理系统的监测方法，其特征在于，所述数据处理系统包括至少两个层级，所述监测方法包括以下步骤：
将测试数据输入所述数据处理系统，以使所述数据处理系统中的各层级顺序对所述测试数据进行数据处理；
获取所述测试数据经过各层级进行处理输出的中间数据；
当各层级输出的中间数据为相应层级对应的标准数据时，确定各层级输出所述标准数据的时刻；
根据所述测试数据输入所述数据处理系统的时刻，与各层级输出所述标准数据的时刻之间的时间差，监测各层级的时延。


2.根据权利要求1所述的监测方法，其特征在于，所述数据处理系统的每一层级设置有并行运行的多台物理机；
所述将测试数据输入所述数据处理系统，以使所述数据处理系统中的各层级顺序对所述测试数据进行数据处理之前，还包括：
根据每一层级包含的物理机数量和所述测试数据的字段个数，生成相应组数的测试数据；
其中，所述数据处理系统中的每一个层级与至少一个字段具有对应关系，各层级根据具有对应关系的字段的取值，从相应层级内的多台物理机中选定一台物理机进行数据处理。


3.根据权利要求2所述的监测方法，其特征在于，所述根据每一层级包含的物理机数量和所述测试数据的字段个数，生成相应组数的测试数据，包括：
对每一个字段，预测从对应层级的多台物理机中分别选定每一台物理机进行数据处理时相应字段的取值；
根据各字段预测出的取值进行组合，得到相应组数的测试数据；其中，所述层级与所述字段一一对应情况下，所述测试数据的组数是根据单个层级的最大物理机数量确定的。


4.根据权利要求1-3任一项所述的监测方法，其特征在于，所述获取所述测试数据经过各层级进行处理输出的中间数据，包括：
从各层级的日志文件中读取在输入所述测试数据之后生成的部分；
从读取到的日志文件中，根据所述测试数据中设定的目标字段，识别得到所述中间数据。


5.根据权利要求4所述的监测方法，其特征在于，所述测试数据为多组，不同组测试数据中...

【专利技术属性】
技术研发人员：徐光耀，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11