一种数据处理方法和装置制造方法及图纸

本申请提供一种数据处理方法和装置。方法包括：根据配置的监控项，连接与所述监控项相关联的至少一台服务器；依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据；将获取到的所述至少一组数据整合后得到一条监控数据；将所述监控数据存储至数据库。本申请将与监控项对应的存储在不同服务器上的多组数据整合后得到的监控数据存储至数据库，当出现问题时，无需用户人工手动依次查看每台服务器硬盘上的日志数据，只需依据监控项，即可从数据库中将与监控项相关联的监控数据及时快速地查找出来，关键的日志数据的抓取更加快速、便捷，问题定位更加及时，大大地缩减了排查问题的时间成本，效率提高。

Data processing method and device

The present application provides a data processing method and apparatus. The method includes: according to the monitoring configuration, connected with the monitoring items associated with at least one server; according to predetermined rules and the monitoring item, from the at least one server to obtain at least one set of data and the monitoring item; will get to the at least one group after a data integration monitoring data; the monitoring data to the database. The monitoring data obtained will correspond to the application and monitoring items stored multiple sets of data integration on different servers after stored to the database, when there is a problem, without requiring the user to manually check the log data in each server on the hard disk, only for monitoring, monitoring data from the database, and can monitor items the association quickly and timely find out log data key to grab more fast and convenient, positioning more timely, reduce troubleshooting time cost, improve efficiency.

【技术实现步骤摘要】
一种数据处理方法和装置
本申请涉及通信
，尤其涉及一种数据处理方法和装置。
技术介绍
服务器在运行过程中会生成日志，生成的日志存储在服务器的硬盘上。当某个或多个服务器在运行过程中发生异常时，只能由用户查看发生异常的服务器硬盘上的日志数据，通过日志数据的分析来确定问题发生、发生原因等。然而由于服务器集群的数量非常之大，用户不可能精确地获知每一条日志数据分别存储在哪一台服务器上，而且在海量的日志数据中更不可能及时查找到关键的日志数据。因此当出现问题时，只能由用户人工手动依次查看每台服务器硬盘上的日志数据来排查问题，这种方式非常浪费时间成本，效率很低。
技术实现思路
有鉴于此，本申请提供一种数据处理方法和装置，以解决现有由用户人工手动依次查看每台服务器硬盘上的日志数据来排查问题的方式，非常浪费时间成本，效率很低的问题。技术方案如下：基于本申请的一方面，本申请提供一种数据处理方法，包括：根据配置的监控项，连接与所述监控项相关联的至少一台服务器；依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据；将获取到的所述至少一组数据整合后得到一条监控数据；将所述监控数据存储至数据库。优选地，所述将所述监控数据存储至数据库之后，所述方法还包括：当接收到页面展示请求时，所述页面展示请求包括待监控项，从所述数据库中查找与所述待监控项相关联的第一监控数据；将所述第一监控数据以预设展示方式进行展示。优选地，所述将所述监控数据存储至数据库之后，所述方法还包括：周期性从所述数据库中获取第二监控数据；判断所述第二监控数据是否满足报警条件；如果满足，执行报警。优选地，所述执行报警的报警方式包括如下至少一种：发送短信和/或拨打电话至预设终端、控制前端页面展示报警信息、控制报警灯处于报警状态，所述报警状态包括报警灯常亮状态或报警灯闪烁状态。优选地，所述根据配置的监控项，连接与所述监控项相关联的至少一台服务器包括：根据配置的监控项，通过JavaSSH客户端连接与所述监控项相关联的至少一台服务器。基于本申请的另一方面，本申请还提供一种数据处理装置，包括：连接单元，用于根据配置的监控项，连接与所述监控项相关联的至少一台服务器；数据获取单元，用于依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据；数据整合单元，用于将获取到的所述至少一组数据整合后得到一条监控数据；存储单元，用于将所述监控数据存储至数据库。优选地，还包括：页面展示请求接收单元，用于接收页面展示请求，所述页面展示请求包括待监控项；监控数据查找单元，用于当所述页面展示请求接收单元接收到页面展示请求时，从所述数据库中查找与所述待监控项相关联的第一监控数据；展示单元，用于将所述第一监控数据以预设展示方式进行展示。优选地，还包括：监控数据获取单元，用于周期性从所述数据库中获取第二监控数据；判断单元，用于判断所述第二监控数据是否满足报警条件；报警单元，用于当所述判断单元判断所述第二监控数据满足报警条件时，执行报警。优选地，所述报警单元的报警方式包括如下至少一种：发送短信和/或拨打电话至预设终端、控制前端页面展示报警信息、控制报警灯处于报警状态，所述报警状态包括报警灯常亮状态或报警灯闪烁状态。优选地，所述连接单元具体用于，根据配置的监控项，通过JavaSSH客户端连接与所述监控项相关联的至少一台服务器。本申请根据配置的监控项，连接与所述监控项相关联的至少一台服务器，进而依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据，并将获取到的所述至少一组数据整合后得到一条监控数据，将所述监控数据存储至数据库。本申请将与监控项对应的存储在不同服务器上的多组数据整合后得到的监控数据存储至数据库，当出现问题时，无需用户人工手动依次查看每台服务器硬盘上的日志数据，只需依据监控项，即可从数据库中将与监控项相关联的监控数据及时快速地查找出来，关键的日志数据的抓取更加快速、便捷，问题定位更加及时，大大地缩减了排查问题的时间成本，效率提高。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请提供的一种数据处理方法的流程图；图2为本申请提供的另一种数据处理方法的流程图；图3为本申请提供的再一种数据处理方法的流程图；图4为本申请提供的一种数据处理装置的结构示意图；图5为本申请提供的另一种数据处理装置的结构示意图；图6为本申请提供的再一种数据处理装置的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。请参阅图1，其示出了本申请提供的一种数据处理方法的流程图，本申请提供的数据处理方法可具体应用于一监控平台，方法具体包括：步骤101，根据配置的监控项，连接与所述监控项相关联的至少一台服务器。其中监控项可以是业务中任何一个依赖的第三方服务，也可以是自身业务处理的耗时、请求数量统计、返回结果统计等。本申请的监控平台包括供用户操作的前端页面，用户可以在前端页面根据自身不同的服务自行添加监控项。监控平台根据用户在前端页面配置的监控项，自动连接与所述监控项相关联的至少一台服务器。本申请支持用户在前端页面灵活动态地添加监控项，监控平台可以兼容不同业务的接入。在实际应用过程中，每一个业务就是一个服务器集群，服务器集群是指为同一个业务提供服务的服务器组成的集群，一个服务器集群包括至少一台服务器。如微信业务，该微信业务的底层由多台服务器为其提供服务，该多台服务器便组成一个服务器集群。本申请中，用户在前端页面配置好监控项后，监控平台根据该监控项，查找到与所述监控项(即业务)对应的服务器集群，连接该服务器集群中的至少一台服务器。具体地，监控平台可以根据配置的监控项，通过JavaSSH(SecureShell，专为远程登录会话和其他网络服务提供安全性的协议)客户端连接与所述监控项相关联的至少一台服务器。步骤102，依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据。对于不同的监控项，监控平台设置有对应不同监控项的不同预设规则，即监控项与预设规则一一对应。例如监控项为接口A的耗时，那么对应接口A的耗时的预设规则可以是，抓取过去5分钟内调用接口A的总请求数量、平均处理耗时、最大耗时、最小耗时、耗时在0到50毫秒的数量、50到200毫秒的数量、200到500毫秒的数量、500到1000毫秒的数量、1000到2000毫秒的数量、2000到3000毫秒的数量、3000毫秒以上的数量等。又例如监控项为接口A的请求数量，那么对应接口A的请求数量的预设规则可以是，抓取过去5分钟内调用接口A的总请求数量、最大请求数量、最小请求数量、平均请求数量等。监控平台根据用户本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：根据配置的监控项，连接与所述监控项相关联的至少一台服务器；依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据；将获取到的所述至少一组数据整合后得到一条监控数据；将所述监控数据存储至数据库。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据配置的监控项，连接与所述监控项相关联的至少一台服务器；依据与所述监控项对应的预设规则，从所述至少一台服务器上获取与所述监控项对应的至少一组数据；将获取到的所述至少一组数据整合后得到一条监控数据；将所述监控数据存储至数据库。2.根据权利要求1所述的方法，其特征在于，所述将所述监控数据存储至数据库之后，所述方法还包括：当接收到页面展示请求时，所述页面展示请求包括待监控项，从所述数据库中查找与所述待监控项相关联的第一监控数据；将所述第一监控数据以预设展示方式进行展示。3.根据权利要求1所述的方法，其特征在于，所述将所述监控数据存储至数据库之后，所述方法还包括：周期性从所述数据库中获取第二监控数据；判断所述第二监控数据是否满足报警条件；如果满足，执行报警。4.根据权利要求3所述的方法，其特征在于，所述执行报警的报警方式包括如下至少一种：发送短信和/或拨打电话至预设终端、控制前端页面展示报警信息、控制报警灯处于报警状态，所述报警状态包括报警灯常亮状态或报警灯闪烁状态。5.根据权利要求1所述的方法，其特征在于，所述根据配置的监控项，连接与所述监控项相关联的至少一台服务器包括：根据配置的监控项，通过JavaSSH客户端连接与所述监控项相关联的至少一台服务器。6.一种数据处理装置，其特征在于，包括：连接单元，用于根据配置的...

【专利技术属性】
技术研发人员：温雷，李顺龙，冷晓林，赵文博，王辉，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11