一种面向云服务基础设施的业务监测方法及系统技术方案

本发明专利技术提出一种面向云服务基础设施的业务监测方法及系统，属于云服务的基础设施领域。包括控制中心服务器以及布置在各地区的拨测服务器。其中，在各拨测服务器上布置有云服务拨测模块，在控制中心服务器上布置有拨测任务下发模块、数据采集模块、拨测数据分析模块、拨测告警模块和数据库；通过在不同地区设置拨测服务器，在控制中心服务器的WEB界面配置监测任务、拨测任务下发模块将监测任务的配置文件下发到各拨测服务器验证任务的目的IP正确性，采用了大范围异步拨测的监测方法，针对路由器、提供服务的DNS递归服务器，实现了对云服务基础设施的监测，减少数据包的丢失，实现负载均衡，具有较高的鲁棒性和稳定性。

【技术实现步骤摘要】
一种面向云服务基础设施的业务监测方法及系统
本专利技术属于云服务的基础设施领域，涉及一种云服务基础设施网络通连性的测试验证的方法和系统。
技术介绍
随着云计算和移动互联网的高速发展，越来越多的企业业务在云端开展，云服务在我们的工作中不可或缺，而云服务中的基础设施更是重中之重，只有基础完善才能保证系统的健壮性、数据的准确性。云服务是计算机发展到互联网时代所产生的商业流通过程。云服务主要表现为计算机与网络、信息资源的存储、读取、下载、信息安全监控、分析等多个层面的服务。由于具有安全稳定、海量存储的特点，云服务开始为当前社会企业与个人所青睐。随之而来，如何保证云服务的稳定性也成为关注焦点，而如何在云服务的大环境下解决云服务连通性，验证云服务的安全稳定、数据的完整性是其中重要的一项。云服务厂商在多个局点存在大范围的网络，并且在不同地区存在多台服务器，而网络状况不好、线路不佳会造成云服务的不稳定，从而造成数据的丢失，对用户、对企业来说是非常大的损失。当前监测方法大多是黑盒测试，只能根据最终的结果知道有问题，但是并不能确定问题。不同的应用场景有不同的方法，当数据出现问题时，精准的定位到问题所在是高效解决云服务的故障的关键。因此可通过对路由器、DNS(域名系统)服务器、业务模块进行拨测，从而对云服务厂商基础设施的网络通连性进行测试。现有的采用组织特定TCP/IP协议(传输控制协议/因特网互联协议)的网络报文进行主动探测的方式来对不同业务系统的运行状态进行监测的相关技术主要包括：1)国家应用网络研究实验室(NLANER)，关于分布式、关注于高性能连接的研究[参考文件1：McgregorT,BraunHW,BrownJ.TheNLANRNetworkAnalysisInfrastructure[J].CommunicationsMagazineIEEE,2000,38(5):122-128]，NLANER支持被动流量监测、主动测量及控制信息监控三种监控模式，其中AMP(ActiveMeasurementProgram)为主动测量项目，主要测量站点间的往返时间(RTT)、丢包率、拓扑结构、吞吐量等。在AMP中，监测器每分钟互相发送ICMP(InternetControlMessageProtocol)报文，每十分钟traceroute到其他监测器的路由。吞吐量测试可以通过大量TCP数据传输、大量UDP(用户数据报协议)数据传输、ping-F和treno进行测量。2)EthernetOAM信息探测[参考文件2：张瀚之.以太网OAM中实现故障检测及故障隔离[C].中国科协年会信息化与社会发展学术讨论会分会场.2008]，使用连续性检查消息(ContinuityCheckmessages)作为心跳信号，以检测终端间的连通情况；使用链路跟踪消息(LinkTracemessages)用于记录端到端之间的hop(跳)路径，与IP层的Traceroute工具相似；环回消息(Loopbackmessages)与ICMP的Ping功能相似，用于探测终端之间的连通性。3)思科服务保证代理(CiscoServiceAssuranceAgent)/思科IOSIP服务水平协议(IOSIPServiceLevelAgreements)，内置于CiscoIOS设备，允许主动探测及主动监控，可以配置大量选项，例如UDP/TCP端口号、ToS字段、VRF实例、源IP、目的IP和webURL等。该工具可以测量下述性能参数：单向延迟、往返延迟、延迟变化、丢包率、包次序、声音质量评分、网络资源可获得性、应用性能、服务器响应时间。在以上的技术中，均无法满足云服务基础设施业务测试的要求。针对云服务网络大、范围广、局点多的特点，需要针对云服务厂商在多局点进行大范围拨测，针对不同协议(UDP、TCP、HTTP)、不同局点、不同运营商进行精准的异步测试，实现拨测系统与数据分析系统分离，针对异常可以精确的找到其问题的原因，帮助工作人员定位云服务系统问题所在。
技术实现思路
针对上述需求，为了实现云服务环境下，面向云服务基础设施的业务监测，本专利技术提供了一种面向云服务基础设施的业务监测方法及系统，以对路由器、DNS递归服务器的数据进行监测，并针对云服务范围广、局点多的特点，实现异步大范围分时拨测。本专利技术提供了一种面向云服务基础设施的业务监测系统，包括控制中心服务器以及布置在各地区的拨测服务器。其中，在各拨测服务器上布置有云服务拨测模块，在控制中心服务器上布置有拨测任务下发模块、数据采集模块、拨测数据分析模块、拨测告警模块和数据库。用户通过拨测任务下发模块配置监测任务，并将配置文件下发给相应的拨测服务器；配置文件中记载用户配置的多个源IP、多目的IP、多种协议的监测任务。所述的拨测任务下发模块对配置文件中的目的IP进行验证，对验证不通过的任务不下发。所述的云服务拨测模块接收到配置文件后，遍历配置文件中的任务，验证任务的目的IP的正确性，对验证通过的任务，配置符合规则的数据包，采用异步分时拨测方式进行数据拨测。所述的云服务拨测模块包括两种拨测数据：一种是对云服务内提供服务的DNS递归服务器发送制定格式域名的数据包；一种是根据获得的云服务流量经过的路由器列表及路由器的采样比设置拨测的数据包数量，对目的IP发送数据包。云服务拨测模块在向目的IP以及提供服务的DNS递归服务器发送数据包后，记录发包日志S-Log并发送给控制中心服务器的拨测数据分析模块。所述的数据采集模块根据发包日志S-Log获取数据指纹信息，遍历局点数据库，在数据查询前先验证局点数据库的连接，如果连接失败或者查询超时，将问题记录到问题日志E-Log中，如果连接成功，则查询局点数据库的入库数据，当局点数据库遍历完成后，生成数据采集文件及数据采集文件日志R-Log。所述的数据指纹信息表示为一个六元组信息(源IP、目的IP、源端口、目的端口、协议号、规则ID)。所述的拨测数据分析模块获取某个任务对应的数据采集文件的日志R-Log、问题日志E-Log以及发包日志S-Log，首先遍历问题日志E-Log，对有问题的局点数据库在数据库中进行标记，并记录相应的局点数据库问题；其次遍历发包日志S-Log，与日志R-Log进行比对，若拨测数据为向目的IP发送的流数据，根据数据指纹信息，计算所经过路由器的平均采样比，计算任务的入库率；若拨测数据是向DNS递归服务器发送的数据，根据数据指纹信息进行对比，计算任务的入库率。所述的拨测告警模块针对路由器的流监测与针对提供服务的DNS递归服务器的监测，都预设有阈值，将拨测数据分析模块计算的任务的入库率与阈值比较，对入库率低于阈值的任务进行告警提示。本专利技术提出的一种面向云服务基础设施的业务监测方法，分以下步骤：步骤1：在不同地区设置拨测服务器，设置拨测服务器采用异步分时拨测方式；所述的异步分时拨测方式是指设置拨测数据发送不同步，每隔设定时间发送设定数量的数据包；步骤2：用户在控制中心服务器的WEB界面配置监测任务，拨测任务下发模块验证任务的目的IP正确性，如果正确生成监测任务的配置文件；通过在IP库中查询IP的信息(国家、省、市、运营商)是否正确，来验证目的IP的正确性；步骤3：拨测任务下发模块本文档来自技高网...

【技术保护点】
1.一种面向云服务基础设施的业务监测系统，其特征在于，包括控制中心服务器以及布置在各地区的拨测服务器；其中，在各拨测服务器上布置有云服务拨测模块，在控制中心服务器上布置有拨测任务下发模块、数据采集模块、拨测数据分析模块、拨测告警模块和数据库；用户通过拨测任务下发模块配置监测任务，并将配置文件下发给相应的拨测服务器；配置文件中记载用户配置的多个源IP、多目的IP、多种协议的监测任务；所述的拨测任务下发模块对配置文件中的目的IP进行验证，对验证不通过的任务不下发；所述的云服务拨测模块接收到配置文件后，遍历配置文件中的任务，验证任务的目的IP的正确性，对验证通过的任务，配置符合规则的数据包，采用异步分时拨测方式进行数据拨测；所述的云服务拨测模块包括两种拨测数据：一种是对云服务内提供服务的DNS递归服务器发送制定格式域名的数据包；一种是根据获得的云服务流量经过的路由器列表及路由器的采样比设置拨测的数据包数量，对目的IP发送数据包；云服务拨测模块在向目的IP以及提供服务的DNS递归服务器发送数据包后，记录发包日志S‑Log并发送给控制中心服务器的拨测数据分析模块；所述的数据采集模块根据发包日志S‑Log获取数据指纹信息，遍历局点数据库，在数据查询前先验证局点数据库的连接，如果连接失败或者查询超时，将问题记录到问题日志E‑Log中，如果连接成功，则查询局点数据库的入库数据，当局点数据库遍历完成后，生成数据采集文件及数据采集文件日志R‑Log；所述的拨测数据分析模块获取某个任务对应的数据采集文件的日志R‑Log、问题日志E‑Log以及发包日志S‑Log，首先遍历问题日志E‑Log，对有问题的局点数据库在数据库中进行标记，并记录相应的局点数据库问题；其次遍历发包日志S‑Log，与日志R‑Log进行比对，若拨测数据为向目的IP发送的流数据，根据数据指纹信息，计算所经过路由器的平均采样比，计算任务的入库率；若拨测数据是向DNS递归服务器发送的数据，根据数据指纹信息进行对比，计算任务的入库率；所述的拨测告警模块针对路由器的流监测与针对提供服务的DNS递归服务器的监测，都预设有阈值，将拨测数据分析模块计算的任务的入库率与阈值比较，对入库率低于阈值的任务进行告警提示。...

【技术特征摘要】
1.一种面向云服务基础设施的业务监测系统，其特征在于，包括控制中心服务器以及布置在各地区的拨测服务器；其中，在各拨测服务器上布置有云服务拨测模块，在控制中心服务器上布置有拨测任务下发模块、数据采集模块、拨测数据分析模块、拨测告警模块和数据库；用户通过拨测任务下发模块配置监测任务，并将配置文件下发给相应的拨测服务器；配置文件中记载用户配置的多个源IP、多目的IP、多种协议的监测任务；所述的拨测任务下发模块对配置文件中的目的IP进行验证，对验证不通过的任务不下发；所述的云服务拨测模块接收到配置文件后，遍历配置文件中的任务，验证任务的目的IP的正确性，对验证通过的任务，配置符合规则的数据包，采用异步分时拨测方式进行数据拨测；所述的云服务拨测模块包括两种拨测数据：一种是对云服务内提供服务的DNS递归服务器发送制定格式域名的数据包；一种是根据获得的云服务流量经过的路由器列表及路由器的采样比设置拨测的数据包数量，对目的IP发送数据包；云服务拨测模块在向目的IP以及提供服务的DNS递归服务器发送数据包后，记录发包日志S-Log并发送给控制中心服务器的拨测数据分析模块；所述的数据采集模块根据发包日志S-Log获取数据指纹信息，遍历局点数据库，在数据查询前先验证局点数据库的连接，如果连接失败或者查询超时，将问题记录到问题日志E-Log中，如果连接成功，则查询局点数据库的入库数据，当局点数据库遍历完成后，生成数据采集文件及数据采集文件日志R-Log；所述的拨测数据分析模块获取某个任务对应的数据采集文件的日志R-Log、问题日志E-Log以及发包日志S-Log，首先遍历问题日志E-Log，对有问题的局点数据库在数据库中进行标记，并记录相应的局点数据库问题；其次遍历发包日志S-Log，与日志R-Log进行比对，若拨测数据为向目的IP发送的流数据，根据数据指纹信息，计算所经过路由器的平均采样比，计算任务的入库率；若拨测数据是向DNS递归服务器发送的数据，根据数据指纹信息进行对比，计算任务的入库率；所述的拨测告警模块针对路由器的流监测与针对提供服务的DNS递归服务器的监测，都预设有阈值，将拨测数据分析模块计算的任务的入库率与阈值比较，对入库率低于阈值的任务进行告警提示。2.根据权利要求1所述的一种面向云服务基础设施的业务监测系统，其特征在于，所述的控制中心服务器是一个服务集群，所述布置在控制中心服务器的各模块用单独的服务器来实现。3.根据权利要求1所述的一种面向云服务基础设施的业务监测系统，其特征在于，所述的拨测任务下发模块对监测任务的目的IP，通过IP库查询IP的信息(国家、省、市、运营商)是否正确，若正确则验证通过。4.根据权...

【专利技术属性】
技术研发人员：严寒冰，李佳，马莉雅，李志辉，温森浩，姚力，朱芸茜，王小群，张腾，陈阳，李世淙，徐剑，王适文，饶毓，肖崇蕙，贾子骁，张帅，吕志泉，韩志辉，雷君，周彧，周昊，高川，楼书逸，文静，杜飞，
申请(专利权)人：国家计算机网络与信息安全管理中心，北京锐驰信安技术有限公司，
类型：发明
国别省市：北京,11