基于服务器应用逻辑的大型数据中心业务子系统发现方法技术方案

本发明专利技术涉及服务器运维管理技术领域，尤其涉及一种基于服务器应用逻辑的大型数据中心业务子系统发现方法。所述方法通过构建数据中心系统架构图，有效克服了传统运维方法的缺陷，无须耗费大量人力物力财力去采集、统计数据；无须运维人员对数据中心的应用的系统架构有充分的经验知识；能自动构建基于应用的业务逻辑网络，有效辅助运维人员掌握数据中心的服务器架构及使用情况。

Discovery method of large data center business subsystem based on server application logic

The invention relates to the field of server operation and maintenance management technology, in particular to a method for finding business sub system of large data centers based on server application logic. Through the construction of the data center system architecture, the proposed method effectively overcomes the shortcomings of the traditional methods of operation and maintenance, and does not need to consume a large amount of manpower and material resources to collect and statistical data. It is not necessary for the operators to have sufficient experience knowledge of the system architecture of the application of the data center, and can automatically construct the application based business logic network. Effective assistant operation personnel should master the server architecture and usage of the data center.

【技术实现步骤摘要】
基于服务器应用逻辑的大型数据中心业务子系统发现方法
本专利技术涉及服务器运维管理
，尤其涉及一种基于服务器应用逻辑的大型数据中心业务子系统发现方法。
技术介绍
近年来，大型数据中心的服务器数量的快速增长给其运维管理部门带来了巨大压力。运维管理人员越来越难以掌握数据中心内部的服务器的实际使用情况，及各项业务应用涉及的服务器和服务器之间的应用逻辑关系等情况。目前，面对运行着复杂业务系统的数据中心，传统的运维方案是单纯依靠人工统计与一些初级运维工具，将数据中心的服务器使用情况存入CMDB(ConfigurationManagementDatabase，配置管理数据库)进行登记和统计，然后基于统计结果，人工绘制服务器的业务应用逻辑网络。这样的方式存在很多缺陷。一方面，数据中心在实际运行的过程中，业务系统架构变化快，业务系统复杂度高，CMDB中的服务器使用情况记录往往不完整或已经过时，导致运维人员很难准确把握系统的真实架构，人工统计也需要各部门协调，耗费大量人力和物力；另一方面，基于人工统计数据，依靠运维人员个人经验绘制出的服务器业务应用逻辑网络不具有可继承性，一旦发生人员调动，新的人员由于对业务系统不够了解，缺乏经验知识很难更新业务应用逻辑网络。
技术实现思路
针对上述现有技术存在的不足，本专利技术提供了一种基于服务器应用逻辑的大型数据中心业务子系统发现方法，以实现对大型数据中心服务器进行有效的运维管理。本专利技术提供了如下方案，一种基于服务器应用逻辑的大型数据中心业务子系统发现方法，该方法包括一下步骤：S1从大型数据中心服务器的原始日志数据中解析聚合出服务器数据、TCP连接数据以及引入外部CMDB业务系统信息数据，具体包括一下步骤：S1.1将一定时间段内的大型数据中心服务器的原始日志数据进行解析聚合，从原始日志数据中提取出服务器数据，该服务器数据中至少包括服务器名称、服务器的IP列表、出度和入度、平均权重、用户数、进程数、内存和CPU使用情况、每小时的连接分布、服务器的分类以及一系列CPU、VSZ、I/O、IPCS的top10进程信息等；S1.2从原始日志数据中提取出TCP连接数据，该TCP连接数据至少包含了TCP连接两端的服务器名、连接的类别、连接的权重、连接的小时分布、发送以及接收队列等信息；S1.3从CMDB获取业务系统信息数据，该业务系统信息数据至少包含了业务系统名、业务系统与服务器的映射关系、业务系统负责人等信息；S2基于S1提取出的数据聚合出业务系统的数据信息和业务系统之间的关联关系数据信息；其中，业务系统的数据信息具体包括：业务系统名、业务系统负责人、业务系统包含的服务器数量、连接数Sedge_sum、外部连接数Soutside_edge、内部连接数Sinside_edge、出度Sout_degree和入度Sin_degree、平均连接数Savg_edge、平均权重Savg_weight等信息；连接数Sedge_sum等于外部连接数Soutside_edge与内部连接数Sinside_edge之和，公式如下：Sedge_sum＝Soutside_edge+Sinside_edge外部连接数Soutside_edge表示TCP连接的一端服务器在业务系统内部，另一端服务器不属于该业务系统；内部连接数Sinside_edge表示TCP连接的两端服务器都在业务系统内部；出度Sout_degree表示被该业务系统访问过的其他业务系统的数量；Sin_degree表示访问过该业务系统的其他业务系统的数量；平均连接数Savg_edge表示业务系统内部连接数Sinside_edge和业务系统内部存在连接的服务器数量的一个比值；平均权重Savg_weight表示业务系统内部连接权重之和的平均值，公式如下：Savg_weight＝Sum(Win_degree)/Sin_degree其中，业务系统之间的关联关系数据信息包括：关联服务端业务系统、关联客户端业务系统、关联权重Sweight等信息；业务系统间关联权重Sweight等于位于两个业务系统之间的TCP连接权重累加之和；S3基于S1和S2数据信息对业务系统内部服务器进行层次划分；S3.1找出业务系统内部的边界服务器bordervm，边界服务器bordervm定义为与公网IP有过连接的或和外部非监控业务系统有过连接的非数据库类型的服务器；将边界服务器bordervm的层次Level标记为0；S3.2从0层边界服务器为起点，根据服务器的TCP连接数据，在业务系统内尚未划分层次的服务器中找出被0层边界服务器访问过的服务器作为0层边界服务器的下一层，层次Level标记为1，其中，若服务器不再访问其他服务器而只作为服务端给其他服务器提供服务的，称为根服务器rootvm，根服务器rootvm的Level标记为-1；S3.3再以标记为1的服务器为起点重复S3.2，直至业务系统内所有服务器都完成层次划分；S4基于S3业务系统内部层次划分结果，再根据S1提取出的TCP连接数据对每层服务器进行分组；通过计算每层服务器中任意两个服务器之间的相似度是否达到阈值，达到则可划分到同一组，否则不同组；两个服务器vm1和vm2之间的相似度similarityvm1&vm2定义为客户端雅克比系数clientcoef加上服务端雅克比系数servercoef之和，公式如下：similarityvm1&vm2＝clientcoef+servercoef客户端雅克比系数clientcoef等于服务器vm1作为客户端访问过的服务器集合servervm1与服务器vm2作为客户端访问过的服务器集合servervm2的交集与servervm1和servervm2并集的比，公式如下：clientcoef＝(servervm1∩servervm2)/(servervm1∪servervm2)服务端雅克比系数servercoef等于服务器vm1作为服务端服务过的服务器集合clientvm1与服务器vm2作为服务端服务过的服务器集合clientvm2的交集与clientvm1和clientvm2并集的比，公式如下：servercoef＝(clientvm1∩clientvm2)/(clientvm1∪clientvm2)S5基于S3和S4的分组发现的业务子系统结果建立分组的数据信息以及分组的关联关系数据信息；S6基于S5建立的分组关联关系构建出数据中心业务系统架构图。本专利技术具有以下技术效果：本专利技术提出的基于服务器应用逻辑的大型数据中心业务子系统发现方法，通过构建数据中心系统架构图，有效克服了传统运维方法的缺陷，无须耗费大量人力物力财力去采集、统计数据；无须运维人员对数据中心的应用的系统架构有充分的经验知识；能自动构建基于应用的业务逻辑网络，有效辅助运维人员掌握数据中心的服务器架构及使用情况。附图说明图1为本专利技术提出的基于服务器应用逻辑的大型数据中心业务子系统发现方法构建业务系统架构图的流程图；图2为本专利技术最终得到的基于服务器应用逻辑的大型数据中心业务子系统发现方法构建业务系统架构图。具体实施方式本专利技术实施例提出的一种基于服务器应用逻辑的大型数据中心业务子系统发现方法，来构建业务系统架构图的处理流程包括本文档来自技高网...

【技术保护点】
1.一种基于服务器应用逻辑的大型数据中心业务子系统发现方法，其特征在于，该方法包括一下步骤：S1从大型数据中心服务器的原始日志数据中解析聚合出服务器数据、TCP连接数据以及引入外部CMDB业务系统信息数据，具体包括一下步骤：S1.1将一定时间段内的大型数据中心服务器的原始日志数据进行解析聚合，从原始日志数据中提取出服务器数据，该服务器数据中至少包括服务器名称、服务器的IP列表、出度和入度、平均权重、用户数、进程数、内存和CPU使用情况、每小时的连接分布、服务器的分类以及一系列CPU、VSZ、I/O、IPCS的top10进程信息等；S1.2从原始日志数据中提取出TCP连接数据，该TCP连接数据至少包含了TCP连接两端的服务器名、连接的类别、连接的权重、连接的小时分布、发送以及接收队列等信息；S1.3从CMDB获取业务系统信息数据，该业务系统信息数据至少包含了业务系统名、业务系统与服务器的映射关系、业务系统负责人等信息；S2基于S1提取出的数据聚合出业务系统的数据信息和业务系统之间的关联关系数据信息；其中，业务系统的数据信息具体包括：业务系统名、业务系统负责人、业务系统包含的服务器数量、连接数Sedge_sum、外部连接数Soutside_edge、内部连接数Sinside_edge、出度Sout_degree和入度Sin_degree、平均连接数Savg_edge、平均权重Savg_weight等信息；连接数Sedge_sum等于外部连接数Soutside_edge与内部连接数Sinside_edge之和，公式如下：Sedge_sum＝Soutside_edge+Sinside_edge外部连接数Soutside_edge表示TCP连接的一端服务器在业务系统内部，另一端服务器不属于该业务系统；内部连接数Sinside_edge表示TCP连接的两端服务器都在业务系统内部；出度Sout_degree表示被该业务系统访问过的其他业务系统的数量；Sin_degree表示访问过该业务系统的其他业务系统的数量；平均连接数Savg_edge表示业务系统内部连接数Sinside_edge和业务系统内部存在连接的服务器数量的一个比值；平均权重Savg_weight表示业务系统内部连接权重之和的平均值，公式如下：Savg_weight＝Sum(W in_degree)/Sin_degree其中，业务系统之间的关联关系数据信息包括：关联服务端业务系统、关联客户端业务系统、关联权重Sweight等信息；业务系统间关联权重Sweight等于位于两个业务系统之间的TCP连接权重累加之和；S3基于S1和S2数据信息对业务系统内部服务器进行层次划分；S3.1找出业务系统内部的边界服务器bordervm，边界服务器bordervm定义为与公网IP有过连接的或和外部非监控业务系统有过连接的非数据库类型的服务器；将边界服务器bordervm的层次Level标记为0；S3.2从0层边界服务器为起点，根据服务器的TCP连接数据，在业务系统内尚未划分层次的服务器中找出被0层边界服务器访问过的服务器作为0层边界服务器的下一层，层次Level标记为1，其中，若服务器不再访问其他服务器而只作为服务端给其他服务器提供服务的，称为根服务器rootvm，根服务器rootvm的Level标记为‑1；S3.3再以标记为1的服务器为起点重复S3.2，直至业务系统内所有服务器都完成层次划分；S4基于S3业务系统内部层次划分结果，再根据S1提取出的TCP连接数据对每层服务器进行分组；通过计算每层服务器中任意两个服务器之间的相似度是否达到阈值，达到则可划分到同一组，否则不同组；两个服务器vm1和vm2之间的相似度similarityvm1&vm2定义为客户端雅克比系数clientcoef加上服务端雅克比系数servercoef之和，公式如下：similarityvm1&vm2＝clientcoef+servercoef客户端雅克比系数clientcoef等于服务器vm1作为客户端访问过的服务器集合servervm1与服务器vm2作为客户端访问过的服务器集合servervm2的交集与servervm1和servervm2并集的比，公式如下：clientcoef＝(servervm1∩servervm2)/(servervm1∪servervm2)服务端雅克比系数servercoef等于服务器vm1作为服务端服务过的服务器集合clientvm1与服务器vm2作为服务端服务过的服务器集合clientvm2的交集与clientvm1和clientvm2并集的比，公式如下：servercoef＝(clientvm1∩clientvm2)/(clientvm1∪clientvm2)S5基于S3和S4的分组发...

【技术特征摘要】
1.一种基于服务器应用逻辑的大型数据中心业务子系统发现方法，其特征在于，该方法包括一下步骤：S1从大型数据中心服务器的原始日志数据中解析聚合出服务器数据、TCP连接数据以及引入外部CMDB业务系统信息数据，具体包括一下步骤：S1.1将一定时间段内的大型数据中心服务器的原始日志数据进行解析聚合，从原始日志数据中提取出服务器数据，该服务器数据中至少包括服务器名称、服务器的IP列表、出度和入度、平均权重、用户数、进程数、内存和CPU使用情况、每小时的连接分布、服务器的分类以及一系列CPU、VSZ、I/O、IPCS的top10进程信息等；S1.2从原始日志数据中提取出TCP连接数据，该TCP连接数据至少包含了TCP连接两端的服务器名、连接的类别、连接的权重、连接的小时分布、发送以及接收队列等信息；S1.3从CMDB获取业务系统信息数据，该业务系统信息数据至少包含了业务系统名、业务系统与服务器的映射关系、业务系统负责人等信息；S2基于S1提取出的数据聚合出业务系统的数据信息和业务系统之间的关联关系数据信息；其中，业务系统的数据信息具体包括：业务系统名、业务系统负责人、业务系统包含的服务器数量、连接数Sedge_sum、外部连接数Soutside_edge、内部连接数Sinside_edge、出度Sout_degree和入度Sin_degree、平均连接数Savg_edge、平均权重Savg_weight等信息；连接数Sedge_sum等于外部连接数Soutside_edge与内部连接数Sinside_edge之和，公式如下：Sedge_sum＝Soutside_edge+Sinside_edge外部连接数Soutside_edge表示TCP连接的一端服务器在业务系统内部，另一端服务器不属于该业务系统；内部连接数Sinside_edge表示TCP连接的两端服务器都在业务系统内部；出度Sout_degree表示被该业务系统访问过的其他业务系统的数量；Sin_degree表示访问过该业务系统的其他业务系统的数量；平均连接数Savg_edge表示业务系统内部连接数Sinside_edge和业务系统内部存在连接的服务器数量的一个比值；平均权重Savg_weight表示业务系统内部连接权重之和的平均值，公式如下：Savg_weight＝Sum(Win_degree)/Sin_degree其中，业务系统之间的关联关系数据信息包括：关联服务端业务系统、关联客...

【专利技术属性】
技术研发人员：林友芳，武志昊，万怀宇，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京,11