基于流式计算生成服务拓扑与服务监控的方法及系统技术方案

本发明专利技术公开了一种基于流式计算生成服务拓扑与服务监控的方法及系统，方法为：接收源数据流，根据源数据流生成所有的服务层级的关联关系；接收到所有的服务层级的逻辑和物理名称以及关联关系，并存储到RDBMS，生成所有服务层级的逻辑和物理服务数据；接收所有服务层级的逻辑和物理服务数据，计算出年、日、分钟这三个时间索引值以及分钟索引值的取模结果值，在对应的分钟槽中计算监控指标值。本方案通过流式计算准实时算出时间槽内的监控指标值、通过定义逻辑/物理服务与服务实例的对应关系建立面向业务和技术视角的服务拓扑关系，使得运维人员能从业务和技术视角全局监控复杂电信系统的运行状态。

Method and System of Generating Service Topology and Service Monitoring Based on Flow Computing

The invention discloses a method and system for generating service topology and service monitoring based on stream computing. The method includes: receiving source data streams, generating all service levels'association relations according to source data streams, receiving all service levels' logical and physical names and association relations, and storing them in RDBMS to generate all service levels'logical and physical service data; The logical and physical service data of all service levels are collected, and the three time index values of year, day and minute and the modular result value of minute index value are calculated. The monitoring index value is calculated in the corresponding minute slot. This scheme calculates the monitoring index value in the time slot in quasi-real-time by flow calculation, and establishes service topology relationship oriented to business and technical perspectives by defining the corresponding relationship between logical/physical services and service instances, so that operators and maintenance personnel can monitor the operation status of complex telecommunication systems globally from the business and technical perspectives.

【技术实现步骤摘要】
基于流式计算生成服务拓扑与服务监控的方法及系统
本专利技术涉及到电信服务监控领域，特别是涉及到一种基于流式计算生成服务拓扑与服务监控的方法及系统。
技术介绍
由于电信系统的业务量大、应用服务多且应用服务大多采用集群部署方案，以往多使用各服务独立监控的方式，难以从业务和技术视角全局准实时监控整个系统运行状态。
技术实现思路
为了解决上述现有技术的缺陷，本专利技术的目的是提供一种基于流式计算生成服务拓扑与服务监控的方法及系统。为达到上述目的，本专利技术的技术方案是：一种基于流式计算生成服务拓扑与服务监控的方法，包括以下步骤：接收源数据流，根据源数据流生成所有的服务层级的关联关系；接收到所有的服务层级的逻辑和物理名称以及关联关系，并存储到RDBMS，生成所有服务层级的逻辑和物理服务数据；接收所有服务层级的逻辑和物理服务数据，计算出年、日、分钟这三个时间索引值以及分钟索引值的取模结果值，在对应的分钟槽中计算监控指标值。进一步地，所述接收源数据流，根据源数据流生成所有服务层级的关联关系步骤，包括，从源数据流中提取出Span数据项；识别Span数据项中是否含有所有服务层级的逻辑服务名称以及物理服务名称；若含有，则生成所有服务层级的关联关系；若不含有，则配置有缺失服务层级的逻辑服务名称以及物理服务名称，并生成所有服务层级的关联关系。进一步地，所述接收到所有的服务层级的逻辑和物理名称以及关联关系，并存储到RDBMS，生成所有服务层级的逻辑和物理服务数据步骤，包括，设定逻辑和物理服务数据的更新时间，并判断更新时间是否达到；若更新时间到达，则将服务层级的逻辑和物理名称以及关联关系存储到RDBMS中。进一步地，所述接收所有服务层级的逻辑和物理服务数据，计算出年、日、分钟这三个时间索引值以及分钟索引值的取模结果值，在对应的分钟槽中计算监控指标值步骤，包括，根据接收到的逻辑和物理服务数据的时间戳计算出年、日、分钟这三个时间索引值以及分钟索引值的取模结果值；将计算后的时间索引值分别与三个时间槽的时间索引值比较，并判断是否相同；若计算后的时间索引值等于对应任一时间槽的时间索引值，则以分钟索引值取模；若计算后的时间索引值大于最大的时间槽的索引值，则将对应序号的分钟槽的监控指标值存入数据库，并重新初始化该序号的分钟槽。进一步地，所述以分钟索引值取模步骤，包括，识别取模结果值，并对监控指标值进行累加和计算。一种基于流式计算生成服务拓扑与服务监控的系统，包括：服务分析生成器，用于接收源数据流，根据源数据流生成所有的服务层级的关联关系；服务数据存储器，用于接收到所有的服务层级的逻辑和物理名称以及关联关系，并存储到RDBMS，生成所有服务层级的逻辑和物理服务数据；监控指标值计算器与存储器，用于接收所有服务层级的逻辑和物理服务数据，计算出年、日、分钟这三个时间索引值以及分钟索引值的取模结果值，在对应的分钟槽中计算监控指标值。进一步地，所述服务分析生成器包括提取模块，识别模块和生成模块，所述提取模块，用于从源数据流中提取出Span数据项；所述识别模块，用于识别Span数据项中是否含有所有服务层级的逻辑服务名称以及物理服务名称；所述生成模块，若识别模块判断含有，则生成所有服务层级的关联关系，若判断不含有，则配置有缺失服务层级的逻辑服务名称以及物理服务名称，并生成所有服务层级的关联关系。进一步地，所述服务数据存储器包括定时更新模块，用于设定逻辑和物理服务数据的更新时间，并判断更新时间是否达到；若更新时间到达，则将服务层级的逻辑和物理名称以及关联关系存储到RDBMS中。进一步地，所述监控指标值计算器与存储器包括计算模块、对比模块、取模模块和初始化模块，所述计算模块，用于根据接收到的逻辑和物理服务数据的时间戳计算出年、日、分钟这三个时间索引值以及分钟索引值的取模结果值；所述对比模块，用于将计算后的时间索引值分别与三个时间槽的时间索引值比较，并判断是否相同；所述取模模块，用于在计算后的时间索引值等于对应任一时间槽的时间索引值之后，以分钟索引值取模；所述初始化模块，用于在计算后的时间索引值大于最大的时间槽的索引值之后，将对应序号的分钟槽内的监控指标值存入数据库，并重新初始化该序号分钟槽。进一步地，所述取模模块，用于识别取模结果值，并对监控指标值进行累加和计算。本专利技术的有益效果是：方案通过流式计算准实时算出时间槽内的监控指标值、通过定义逻辑/物理服务与服务实例的对应关系建立面向业务和技术视角的服务拓扑关系，使得运维人员能从业务和技术视角全局监控复杂电信系统的运行状态；采用时间槽的方式计算监控指标值，使得监控指标值的准确度更高、使得监控指标值限定在较少的存储空间内。附图说明图1为本专利技术一实施例一种基于流式计算生成服务拓扑与服务监控的方法流程图；图2为本专利技术一实施例一种生成所有的服务层级的关联关系的方法流程图；图3为本专利技术一实施例一种定时更新逻辑和物理服务数据的方法流程图；图4为本专利技术一实施例一种监控指标值计算方法的方法流程图；图5为本专利技术另一实施例一种监控指标值计算方法的方法流程图；图6为本专利技术一实施例一种时间槽中的监控指标值示例图；图7为本专利技术一实施例一种基于流式计算生成服务拓扑与服务监控的系统的架构图；图8为本专利技术一实施例一种基于流式计算生成服务拓扑与服务监控的系统的逻辑流程图；图9为本专利技术一实施例一种服务分析器的结构框图；图10为本专利技术一实施例一种服务数据存储器的结构框图；图11为本专利技术一实施例一种监控指标值计算器与存储器的结构框图。具体实施方式为阐述本专利技术的思想及目的，下面将结合附图和具体实施例对本专利技术做进一步的说明。RDBMS，英文全称：relationaldatabasemanagementsystem，中文名称：关系型数据库管理系统。RDBMS通过数据、关系和对数据的约束三者组成的数据模型来存放和管理数据。实时计算，强调的是实时。比如小明要查看他去年一年的消费总额度，那么当小明点下统计按钮的时候，服务器集群就在噼里啪啦的赶紧计算了，必须在小明能够忍耐的时间范围内得出结果。这种计算的背后实现，一般都是冗余+各种高性能部件在做支撑，算法也对实时性做了优化，但实时计算并没有强调用那种算法，只要能保证高实时性的就行。实时计算与离线计算的最大区别，就是离线计算是人无法忍耐的时间进行计算，因此人不需要等待，把任务丢给计算机。流式计算，比实时计算要稍微迟钝些，但比离线计算又实时的多，而且主要强调的是计算方法。比如，服务器端，有一个值，是记录小明订单数量。当小明每买一件东西后，服务端立即发出一个交易成功的事件，该值接收到这个事件后就立即加1。如果用离线计算的方式来做，估计是在查询时，才慢腾腾的从低速存储中，把小明的所有订单取出来，统计数量。流式计算有点像数据库领域的触发器，又有些像事件总线、中间件之类的计算模式。参照图1至图6，提出本专利技术一具体实施例，一种基于流式计算生成服务拓扑与服务监控的方法，包括以下步骤：S10、接收源数据流，根据源数据流生成所有的服务层级的关联关系。S20、接收到所有的服务层级的逻辑和物理名称以及关联关系，并存储到RDBMS，生成所有服务层级的逻辑和物理服务数据。S30、接收所有服务层级的逻辑和物理服务数据，计算出年、日、分钟这三个时间索引值本文档来自技高网...

【技术保护点】
1.一种基于流式计算生成服务拓扑与服务监控的方法，其特征在于，包括以下步骤：接收源数据流，根据源数据流生成所有的服务层级的关联关系；接收到所有的服务层级的逻辑和物理名称以及关联关系，并存储到RDBMS，生成所有服务层级的逻辑和物理服务数据；接收所有服务层级的逻辑和物理服务数据，计算出年、日、分钟这三个时间索引值以及分钟索引值的取模结果值，在对应的分钟槽中计算监控指标值。

【技术特征摘要】
1.一种基于流式计算生成服务拓扑与服务监控的方法，其特征在于，包括以下步骤：接收源数据流，根据源数据流生成所有的服务层级的关联关系；接收到所有的服务层级的逻辑和物理名称以及关联关系，并存储到RDBMS，生成所有服务层级的逻辑和物理服务数据；接收所有服务层级的逻辑和物理服务数据，计算出年、日、分钟这三个时间索引值以及分钟索引值的取模结果值，在对应的分钟槽中计算监控指标值。2.如权利要求1所述的基于流式计算生成服务拓扑与服务监控的方法，其特征在于，所述接收源数据流，根据源数据流生成所有服务层级的关联关系步骤，包括，从源数据流中提取出Span数据项；识别Span数据项中是否含有所有服务层级的逻辑服务名称以及物理服务名称；若含有，则生成所有服务层级的关联关系；若不含有，则配置有缺失服务层级的逻辑服务名称以及物理服务名称，并生成所有服务层级的关联关系。3.如权利要求1所述的基于流式计算生成服务拓扑与服务监控的方法，其特征在于，所述接收到所有的服务层级的逻辑和物理名称以及关联关系，并存储到RDBMS，生成所有服务层级的逻辑和物理服务数据步骤，包括，设定逻辑和物理服务数据的更新时间，并判断更新时间是否达到；若更新时间到达，则将服务层级的逻辑和物理名称以及关联关系存储到RDBMS中。4.如权利要求1所述的基于流式计算生成服务拓扑与服务监控的方法，其特征在于，所述接收所有服务层级的逻辑和物理服务数据，计算出年、日、分钟这三个时间索引值以及分钟索引值的取模结果值，在对应的分钟槽中计算监控指标值步骤，包括，根据接收到的逻辑和物理服务数据的时间戳计算出年、日、分钟这三个时间索引值以及分钟索引值的取模结果值；将计算后的时间索引值分别与三个时间槽的时间索引值比较，并判断是否相同；若计算后的时间索引值等于对应任一时间槽的时间索引值，则以分钟索引值取模；若计算后的时间索引值大于最大的时间槽的索引值，则将对应序号的分钟槽的监控指标值存入数据库，并重新初始化该序号分钟槽。5.如权利要求1所述的基于流式计算生成服务拓扑与服务监控的方法，其特征在于，所述以分钟索引值取模步骤，包括，识别取模结果值，并对监控指标值进行累加和计算。6.一种基于...

【专利技术属性】
技术研发人员：周宏江，骆建斌，廖小文，钟坚，
申请(专利权)人：广东亿迅科技有限公司，
类型：发明
国别省市：广东,44