基于跨站切换采集实现业务数据恢复的方法技术

本发明专利技术公开了基于跨站切换采集实现业务数据恢复的方法，所述方法通过数据采集系统生成性能数据采集任务，将采集任务下发给各个采集机，同时部署一个监控采集任务下发目录的监控服务，定时监控采集任务下发目录的状态，判断采集机是否运行异常，将异常采集机的采集任务切换到备用的正常采集机上进行。本发明专利技术实现了性能数据采集的连续性，进而保证了指标数据分析、问题定位、故障排除时依赖的性能数据的连续性，为网络运营人员分析性能数据、定位网络问题提供了可靠、稳定的数据保障。

【技术实现步骤摘要】
基于跨站切换采集实现业务数据恢复的方法
本专利技术涉及电信运营商网络性能管理系统
，具体涉及一种基于跨站切换采集实现业务数据恢复的方法。
技术介绍
随着电信运营商网络的演进和网络环境日益复杂，为了更加实时和有效的监控网络性能和变化趋势，支撑网络运营，网络性能管理系统的数据采集至关重要。现实的网络环境具有多厂商、多网络域、多
的特点，需要采集性能数据、配置数据、参数数据、存量数据等原始数据，提供给Report、Dashboard、InstanceQuery、TroubleShooting等上层应用进行网络性能问题根因分析和故障解决。数据采集面临以下实际情况的约束：1）数据源种类多种多样，包括网管系统（EMS）上的数据采集，如M2000，U2000等EMS系统；Flow流数据，各种厂商的流数据包括sFlow,netFlow,cFlow等；直连网元MIB节点的数据；2）数据源数量众多，单位时间内每个数据源输出的原始数据量很大，直接导致采集节点采集到的数据量巨大，最终汇总到数据采集系统的原始数据为海量数据；3）数据源分部地域广阔，各数据源和数据采集系统在不同的局域网内，他们之间的Internet网络连接存在网络不稳定、带宽有限等情况，对原始数据的传输会有很大影响；4）远端采集机与数据采集系统在不同局域网，如果远端采集机出现异常，将无法正常采集数据，直接导致业务数据的中断。由于不同采集机分布部署在不同区域位置的站点，当远端采集机宕机或者异常时，无法通过VCS切换完成恢复，这样会导致无法正常采集，业务数据中断。因此，需要一种数据采集机制来解决远程跨网络采集业务数据恢复的问题。
技术实现思路
本专利技术要解决的技术问题是：本专利技术针对运营商网络部署在不同地域、数据源数量庞大、数据实时性、完整性要求高的特点，提供一种基于跨站切换采集实现业务数据恢复的方法。本专利技术所采用的技术方案为：基于跨站切换采集实现业务数据恢复的方法，所述方法通过数据采集系统生成性能数据采集任务，将采集任务下发给各个采集机，同时部署一个监控采集任务下发目录的监控服务，定时监控采集任务下发目录的状态，判断采集机是否运行异常，将异常采集机的采集任务切换到备用的正常采集机上进行。所述方法具体的执行步骤如下：步骤1：数据采集系统根据采集规则、采集对象和属性生成性能数据采集任务；步骤2：数据采集系统根据各采集机的分布式部署情况协调分配各采集机的采集任务，将采集任务下发到事先定义好的任务下发目录；步骤3：数据采集系统部署一个监控服务，定时扫描、遍历、监控任务下发目录下的所有采集类型的采集机目录的状态，并根据任务下发目录的时间戳来判断各采集机是否按时过来获取采集任务：如果任务下发的时间戳超时，则进入步骤4；如果没有超时，则进入步骤7；步骤4：发送短信和邮件给管理员进行通知和提醒，短信和邮件内容需要确定；步骤5：管理员人工确认采集机是否真的有问题，如果该采集机确实有问题，则将问题采集机A机的采集任务切换到备用采集机B机上；同时记录问题采集机A机的哪些采集任务切换给了B机；步骤6：当采集机A机恢复正常时，将B采集机上原本属于A采集机的采集任务重新切回到A采集机；步骤7：各采集机将采集到的性能数据文件打包压缩，并通过SFTP协议上传到数据采集系统的指定目录下；步骤8：数据采集系统检测到新上传的性能数据压缩文件后，进行解压和数据解析，将文件和数据存放到系统指标目录以及入库，供其它上层应用使用。所述采集系统能对接不同的网管系统，提供数据采集和解析的能力，包括性能数据、配置数据、参数数据、存量数据，输出标准的数据采集接口格式的文件，供采集平台入库，为各个上层应用模块提供原始数据的支持。所述采集系统为适配各种网管系统，对底层的采集协议进行了公共组件化的抽象，以公共组件的方式提供了通用的采集协议接口，并统一规定了所有EAM包的工作目录的结构、用途和方法，各个EAM包根据需要设置个性化参数，EAM包通过EAM包管理程序进行统一安装部署；在安装EAM包的过程中，除了做EAM程序拷贝部署以外，还会执行EAM包提供的初始化SQL脚本，实现对EAM包相关数据的初始化。所述系统通过采集机监控模块定时监控采集任务下发目录，通过crontab定时执行。所述采集主机获取到采集任务后，从中解析出脚本采集任务，调用脚本采集任务执行子模块执行，并根据任务执行结果生成结果文件，然后将结果文件压缩，上传到特定IP地址的指定目录。采集系统输出的原始性能文件由数据处理平台处理，包括网元汇总、时间汇总、忙时计算、数据质量计算，给上层应用提供各个维度的性能数据。本专利技术的有益效果为：本专利技术实现了性能数据采集的连续性，进而保证了指标数据分析、问题定位、故障排除时依赖的性能数据的连续性，为网络运营人员分析性能数据、定位网络问题提供了可靠、稳定的数据保障。附图说明图1为本专利技术方法流程图。具体实施方式下面结合具体实施方式对本专利技术进一步说明：实施例1：基于跨站切换采集实现业务数据恢复的方法，所述方法通过数据采集系统生成性能数据采集任务，将采集任务下发给各个采集机，同时部署一个监控采集任务下发目录的监控服务，定时监控采集任务下发目录的状态，判断采集机是否运行异常，将异常采集机的采集任务切换到备用的正常采集机上进行。实现了性能数据采集的连续性，进而保证了指标数据分析、问题定位、故障排除时依赖的性能数据的连续性，为网络运营人员分析性能数据、定位网络问题提供了可靠、稳定的数据保障。实施例2：如图1所示，在实施例1的基础上，本实施例所述方法具体的执行步骤如下：步骤1：数据采集系统根据采集规则、采集对象和属性生成性能数据采集任务；步骤2：数据采集系统根据各采集机的分布式部署情况协调分配各采集机的采集任务，将采集任务下发到事先定义好的任务下发目录；步骤3：数据采集系统部署一个监控服务，定时扫描、遍历、监控任务下发目录下的所有采集类型的采集机目录的状态，并根据任务下发目录的时间戳来判断各采集机是否按时过来获取采集任务：如果任务下发的时间戳超过10分钟，则进入步骤4；如果没有超过10分钟，则进入步骤7；步骤4：发送短信和邮件给管理员进行通知和提醒，短信和邮件内容需要确定；步骤5：管理员人工确认采集机是否真的有问题，如果该采集机确实有问题，则将问题采集机A机的采集任务切换到备用采集机B机上；同时记录问题采集机A机的哪些采集任务切换给了B机；步骤6：当采集机A机恢复正常时，将B采集机上原本属于A采集机的采集任务重新切回到A采集机；步骤7：各采集机将采集到的性能数据文件打包压缩，并通过SFTP协议上传到数据采集系统的指定目录下；步骤8：数据采集系统检测到新上传的性能数据压缩文件后，进行解压和数据解析，将文件和数据存放到系统指标目录以及入库，供其它上层应用使用。实施例3：在实施例1或2的基础上，本实施例所述采集系统能对接不同的网管系统，比如U2000、M2000、I2000、N2000等，提供数据采集和解析的能力，包括性能数据、配置数据、参数数据、存量数据，输出标准的数据采集接口格式的文件，供采集平台入库，为各个上层应用模块提供原始数据的支持。实施例4：在实施例3的基础上，本实施例所述采集系统为适配各种网管系统，对底层的采集协议进行了公共本文档来自技高网...

【技术保护点】
基于跨站切换采集实现业务数据恢复的方法，其特征在于，所述方法通过数据采集系统生成性能数据采集任务，将采集任务下发给各个采集机，同时部署一个监控采集任务下发目录的监控服务，定时监控采集任务下发目录的状态，判断采集机是否运行异常，将异常采集机的采集任务切换到备用的正常采集机上进行。

【技术特征摘要】
1.基于跨站切换采集实现业务数据恢复的方法，其特征在于，所述方法通过数据采集系统生成性能数据采集任务，将采集任务下发给各个采集机，同时部署一个监控采集任务下发目录的监控服务，定时监控采集任务下发目录的状态，判断采集机是否运行异常，将异常采集机的采集任务切换到备用的正常采集机上进行。2.根据权利要求1所述的基于跨站切换采集实现业务数据恢复的方法，其特征在于，所述方法具体的执行步骤如下：步骤1：数据采集系统根据采集规则、采集对象和属性生成性能数据采集任务；步骤2：数据采集系统根据各采集机的分布式部署情况协调分配各采集机的采集任务，将采集任务下发到事先定义好的任务下发目录；步骤3：数据采集系统部署一个监控服务，定时扫描、遍历、监控任务下发目录下的所有采集类型的采集机目录的状态，并根据任务下发目录的时间戳来判断各采集机是否按时过来获取采集任务：如果任务下发的时间戳超时，则进入步骤4；如果没有超时，则进入步骤7；步骤4：发送短信和邮件给管理员进行通知和提醒，短信和邮件内容需要确定；步骤5：管理员人工确认采集机是否真的有问题，如果该采集机确实有问题，则将问题采集机A机的采集任务切换到备用采集机B机上；同时记录问题采集机A机的哪些采集任务切换给了B机；步骤6：当采集机A机恢复正常时，将B采集机上原本属于A采集机的采集任务重新切回到A采集机；步骤7：各采集机将采集到的性能数据文件打包压缩，并通过SFTP协议上传到数据采集系统的指定目录下；步骤8：数据采集系统检测到新上传的性能数据压缩文件后，进行解压和数据解析，将文件和数据存放到系统指标目录以及入...

【专利技术属性】
技术研发人员：王程英，李建明，
申请(专利权)人：山东浪潮商用系统有限公司，
类型：发明
国别省市：山东,37