针对分布式服务集群系统数据更新的实时监控装置及方法制造方法及图纸

本发明专利技术公开了一种针对分布式服务集群系统数据更新的实时监控装置，其包括：数据采集部，其通过分布式服务集群系统中各个节点的服务控制端口，实时获取多种任务类型的更新信息；智能分析部，根据上述更新信息的不同任务类型，实施不同的分析算法，生成与各节点的数据更新相关的统计数据；和分级报警部，根据在上述智能分析部中生成的统计数据，进行分级报警。由此，可以实现主动实时监控数据的效果。

Real time monitoring device and method for data update of distributed service cluster system

The invention discloses a device for distributed real-time monitoring, data update service cluster system includes: data acquisition, through each node of distributed service cluster system services control port access to updated information various types of real-time tasks; intelligent analysis, according to the different types of tasks that update information, implementation analysis different algorithms, each node of the data generation and update the related statistical data; and grading alarm, according to the statistical data generated in the intelligent analysis of the classification, alarm. Thus, the effect of active real-time monitoring of data can be realized.

【技术实现步骤摘要】
针对分布式服务集群系统数据更新的实时监控装置及方法
本专利技术涉及一种针对分布式服务集群系统数据更新的实时监控装置及方法。
技术介绍
当今电子商务领域，越来越多的用户通过使用搜索引擎查询想要购买的商品等，而用户在使用过程中也不断提升对搜索结果的要求，搜索结果必须符合用户的搜索意图且越来越精准，这也要求搜索引擎对于数据的更新越来越实时。与此同时，搜索系统为了应对用户的海量搜索请求，普遍采用分布式集群的服务系统架构。在实际中应用集群系统时，为便于对集群进行管理维护，需要能对构成集群的各个结点以及相关设备的数据状态进行实时监控，以达到数据一致性的目的。数据更新异常的监控有几种常见的办法，比如通过对搜索前端的异常显示定位数据更新状态，进而捕捉到集群中数据未及时更新的机器。现有技术一般所采用的方法的步骤如下：a)用户使用搜索功能获取商品结果；b)搜索结果页商品信息(如价格、库存)与单品页信息不一致；c)查看搜索全量数据更新；d)查看搜索实时数据更新；e)若发现数据非最新，则判断为数据更新异常。上述的现有技术存在的缺点如下：·数据更新异常只能通过搜索前端的结果数据不一致进一步跟踪发现；·用户对于价格及促销相对敏感，实时数据未及时更新会使得用户体验下降；·数据差异较大时，引起用户投诉，损失用户。
技术实现思路
在分布式服务集群系统中，各个节点的数据一致性，与用户的服务体验密切相关。在当前分布式集群服务的节点服务器数以百台为单位来计量的情况下，如果各节点数据的一致性和有效性只能通过终端用户的反馈来感知的话，显然已不能满足系统服务的监控需求。为了解决上述现有技术所存在的问题，为了提升服务体验，本专利技术提供一种针对分布式服务集群系统数据更新的实时监控装置及方法，其针对分布式集群系统中的各节点数据，可以实现主动实时监控数据的效果。本专利技术的针对分布式服务集群系统数据更新的实时监控装置，其包括：数据采集部，其通过分布式服务集群系统中各个节点的服务控制端口，实时获取多种任务类型的更新信息；智能分析部，根据上述更新信息的不同任务类型，自动选择不同的分析算法，使得不同数据的异常判断标准不同，并生成与各节点的数据更新相关的统计数据；和分级报警部，根据在上述智能分析部中生成的统计数据，进行分级报警。本专利技术的针对分布式服务集群系统数据更新的实时监控方法，包括以下步骤：解析步骤，从固定的配置文件中解析集群服务对外提供的域名、任务类型、各任务约束条件；采集步骤，根据上述解析步骤解析出的任务类型，分别调用该任务类型特有的数据采集和数据预处理过程，生成有效的数据更新时间信息；分析步骤，针对上述采集步骤中出现的不同任务类型，采用不同的分析算法，根据所生成的上述有效的数据更新时间信息以及任务所对应的约束条件，生成与各节点的数据更新相关的统计数据；和分级报警步骤，根据在上述分析步骤中生成的统计数据，进行分级报警。专利技术的效果根据本专利技术所提供的实时监控分布式集群系统中各节点数据有效性和一致性的装置和方法，能够有效、快速地识别数据有问题的服务节点，从而在电商领域拥有巨大的价值。附图说明图1是示意性表示本专利技术的针对分布式服务集群系统数据更新的实时监控装置的框架的图。图2是表示本专利技术的针对分布式服务集群系统数据更新的实时监控方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。本专利技术是涉及的分布式系统各节点数据更新行为的实时监控装置及方法，其最重要特征在于，脱离人工工作，定期自动采集分布式集群系统各节点数据更新信息，通过智能分析，对于异常的更新行为进行分级报警，从而解决了传统方式需要通过人工关注识别出数据更新异常后再上报所带来的效率非常低下、不及时的问题。下面，参照图1对本专利技术的实时监控装置进行说明。图1是示意性表示本专利技术的针对分布式服务集群系统数据更新的实时监控装置100的框架的图。本专利技术的实时监控装置100主要包括数据采集部101、智能分析部102和分级报警部103。数据采集部101通过分布式服务集群系统中各个节点1、2、3……N的服务控制端口，实时获取多种任务类型数据的更新信息，对采集过程出现的多种异常进行容错处理，提高准确率，产出的数据格式如下：服务器启动时间：2016-03-2315：45：48上次全量更新数据的时间：2016-03-2316：20：10上次增量更新数据的时间：2016-03-2414：52：46上次敏感数据更新时间：2016-03-2414：53：19当前全量：20160323000051最新INC：20160324145240最新co1flag：20160324145310最新commentcount_table：20160324145233最新ico_table：20160324145159最新redisprice：20160324145257最新salestate：20160324145239最新store_info：20160324145312智能分析部102根据不同任务类型，自动选择不同的分析算法，从而做到不同数据的异常判断标准不同。任务类型分为全量数据、增量数据、多种敏感数据。针对全量数据更新，首先比较“上次全量更新数据的时间”与“当前全量”是否为同一天数据，如果不是则表明服务集群使用的并不是最新数据，即数据更新异常；如果是同一天数据，还要检查“上次全量更新数据的时间”与当前时间进行对比，如果时间间隔超过该任务类型对应的阈值，则表明在设定时间内没有更新，记为更新异常。针对增量更新，首先比较“上次增量更新数据的时间：”是否在“最新INC：”之后，如果不是则表明服务使用的不是最新数据，更新异常；如果是则检查“上次增量更新数据的时间”与当前时间的间隔是否超过该任务类型对应的阈值，如果超过则为异常。对于敏感数据，由于敏感数据种类比较多，采用的策略是一致的，此处只介绍采用colflag，直接计算“最新colflag”与当前时间的间隔，对比此间隔与该任务类型对应的阈值来判断是否异常。最后进行综合分析，根据上面的策略分析结果统计出各个集群各种数据更新异常的比例，根据数据仓库中记录的各个节点的各种数据类型更新的时间和当前时间计算出异常持续时间，综合计算出异常的影响程度。最后这些节点的各种类型数据的更新时间会更新存储仓库中的数据，为监控装置下次运行提供基础数据。分级报警部103根据在智能分析部102中产出的统计数据，进行报警分级分析，例如，异常程度较重进行短信报警，其他邮件报警。下面，参照图2对本专利技术的实时监控方法进行说明。图2是表示本专利技术的针对分布式服务集群系统数据更新的实时监控方法的流程图。图2所示的实时监控方法的各步骤如下。步骤S1：从固定的配置文件中解析集群服务对外提供的域名(不会发生变化)，任务类型、各任务约束条件。步骤S2：监控装置动态解析出各域名对应的VIP集合，再根据VIP解析集群服务对应的IP集合，自动生成一份完整的配置文件。对上述完整的配置文件进行正确性判断，防止配置文件被篡改或者服务器硬件异常影响监控准确率。步骤S3：根据任务类型，分别调用该类型特有的数据采集和数据预处理过程，生成有效的数据更新时间信息。此处数据采集涵盖多种容错，如网本文档来自技高网...

【技术保护点】
一种针对分布式服务集群系统数据更新的实时监控装置，其包括：数据采集部，其通过分布式服务集群系统中各个节点的服务控制端口，实时获取多种任务类型的更新信息；智能分析部，根据上述更新信息的不同任务类型，自动选择不同的分析算法，使得不同数据的异常判断标准不同，并生成与各节点的数据更新相关的统计数据；和分级报警部，根据在上述智能分析部中生成的统计数据，进行分级报警。

【技术特征摘要】
1.一种针对分布式服务集群系统数据更新的实时监控装置，其包括：数据采集部，其通过分布式服务集群系统中各个节点的服务控制端口，实时获取多种任务类型的更新信息；智能分析部，根据上述更新信息的不同任务类型，自动选择不同的分析算法，使得不同数据的异常判断标准不同，并生成与各节点的数据更新相关的统计数据；和分级报警部，根据在上述智能分析部中生成的统计数据，进行分级报警。2.根据权利要求1所述的针对分布式服务集群系统数据更新的实时监控装置，其特征在于，数据采集部还对采集过程出现的多种异常进行容错处理。3.根据权利要求1所述的针对分布式服务集群系统数据更新的实时监控装置，其特征在于，上述与各节点的数据更新相关的统计数据是指各节点的数据更新是否异常、异常持续的时间及程度。4.根据权利要求1所述的针对分布式服务集群系统数据更新的实时监控装置，其特征在于，在分级报警部中，若异常程度较重则进行短信报警，若异常程度较清则进行邮件报警。5.一种针对分布式服务集群系统数据更新的实时监控方法，包括以下步骤：解析步骤，从固定的配置文件中解析集群服务对外提供的域名、任务类型、各任务约束条件；采集步骤，根据上述解析步骤解析出的任务类型，分别调用该任务类型特...

【专利技术属性】
技术研发人员：李增辉，郭安安，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11