一种面向海量异构设备的智能补采系统及方法技术方案

本发明专利技术公开了一种面向海量异构设备的智能补采系统及方法，属于通信设备技术领域，包括采集调度框架服务模块、采集服务模块、分布式缓存。本发明专利技术能够将采集过程中的任务实例ID、采集结果标识、采集设备ID等保存在分布式缓存中，避免了程序异常退出数据丢失的情况，也避免了频繁读写数据库增加数据库压力；没有采用周期补采策略，而是根据当前采集服务的性能，安排合理的时间进行补采，避免了补采影响正常采集的服务；支持按照设备重要程度优先补采，通过给采集设备设置优先级标签，优先级数字越大采集失败任务就插入到补采队列的头部，这样在执行补采的时候，位于头部的补采任务被优先执行，值得被推广使用。

【技术实现步骤摘要】
一种面向海量异构设备的智能补采系统及方法
本专利技术涉及通信设备
，具体涉及一种面向海量异构设备的智能补采系统及方法。
技术介绍
随着5G建设进程的加快，国内各大运营商均已明确表示，要在短期内完成5G基站建设，大建设势必带来4G/5G互操作相关网元升级改造以及云网络相关专业的改造。改造之后的设备量更大，对设备的采集实时性、采集完整性都会有更高的要求。而现有的统一采集系统，只能够满足海量设备的实时采集要求，因为海量设备分布式调度技术问题、地域问题、网络问题、设备问题等多方面的原因，造成设备采集周期任务调度失败，部分数据采集缺失，导致了采集数据的不完整，因此需要引入智能的数据补采机制，以保障设备采集数据的完整性。未解决上述问题，提出一种面向海量异构设备的智能补采系统及方法。
技术实现思路
本专利技术所要解决的技术问题在于：如何解决现有补采机制中难以保障设备采集数据的完整性，提供了一种面向海量异构设备的智能补采系统。本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括采集调度框架服务模块、采集服务模块、分布式缓存；所述采集服务模块，用于启动采集服务，同时注册一个全局唯一的采集服务实例ID到所述采集调度框架服务模块中；发送心跳信息并将采集服务所在设备的性能上报给所述采集调度框架服务模块；并接收由所述采集调度框架服务模块下发的采集任务，将接收到的采集信息插入到所述分布式缓存中，到指定的采集设备去采集相应的指标；所述采集调度框架服务模块，用于将采集任务下发给所述采集服务模块，将服务实例ID、采集服务存活信息、采集服务性能信息存储在所述分布式缓存中；并检测采集服务所在设备的性能，根据性能负荷检测结果下发补采任务给所述采集服务模块；所述分布式缓存，用于存储采集任务数据。更进一步地，采集服务存活信息判断以所述采集调度框架服务模块2分钟之内是否接收到所述采集服务的心跳信息为标准，是则表示采集服务存活正常，否则表示采集服务已下线。更进一步地，所述采集服务模块所述接收的采集任务为常规采集任务或补采任务。更进一步地，当接收的采集任务为常规采集任务时，所述采集信息包括采集任务实例ID、采集设备ID、采集设备的连接信息、采集设备的优先级、采集时间段、采集指标信息。更进一步地，当接收的采集任务为补采任务时，所述采集信息包括补采任务实例ID、原采集任务实例ID、补采集时间段、采集指标信息。更进一步地，所述采集调度框架服务模块下发补采任务时根据当采集服务所能承载的补采任务数，并按补采任务的优先级从高到低来确定。更进一步地，所述采集服务模块采集到指标正确并有结果时，更新采集到的指标值到分布式缓存中，并将采集任务实例ID的采集状态置为成功；所述采集服务模块没有采集到结果或者采集过程中出现异常，则将采集任务实例ID的采集状态置为失败，标识该采集任务需要进行补采，并将补采任务信息缓存到补采队列中。更进一步地，在缓存至补采队列时按照优先级从高到低将各补采任务依次从补采队列的头部排列至尾部。本专利技术还提供了一种面向海量异构设备的智能补采方法，包括以下步骤：S1：下发常规采集任务采集调度框架服务模块根据系统配置的周期执行任务计划，定时将常规采集任务下发给采集服务模块；S2：接收并进行采集任务采集服务模块收到采集请求，将接收到的采集任务信息保存到分布式缓存中，根据采集设备的连接信息登录设备，执行指定时间段的相关指令进行相应的指标采集，当采集指标正确并有结果时，更新采集到的指标值到分布式缓存中，并将采集任务实例ID的采集状态置为成功；若没有采集到结果或者采集过程中出现异常，则将采集任务实例ID的采集状态置为失败，标识该采集任务是要需要进行补采，并将该采集任务信息缓存到补采队列中；S3：选取补采任务进行补采定期根据当采集服务所能承载的补采任务数，并按补采任务的优先级从高到低来选取下发补采任务至采集服务模块，重复步骤S2执行补采任务。本专利技术相比现有技术具有以下优点：该面向海量异构设备的智能补采系统及方法，能够将采集过程中的任务实例ID、采集结果标识、采集设备ID等保存在分布式缓存中，避免了程序异常退出数据丢失的情况，也避免了频繁读写数据库增加数据库压力；没有采用周期补采策略，而是根据当前采集服务的性能，安排合理的时间进行补采，避免了补采影响正常采集的服务；支持按照设备重要程度优先补采，通过给采集设备设置优先级标签，优先级数字越大采集失败任务就插入到补采队列的头部，这样在执行补采的时候，位于头部的补采任务被优先执行，值得被推广使用。附图说明图1是本专利技术实施例一中智能补采系统的流程示意图；图2是本专利技术实施例二中采集服务注册、发送心跳信息、上报服务性能的流程示意图；图3是本专利技术实施例二中采集调度框架服务模块定时调度采集任务的流程示意图；图4是本专利技术实施例二中采集调度框架服务模块智能调度补采任务的流程示意图。具体实施方式下面对本专利技术的实施例作详细说明，本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。本实施例提供一种技术方案：一种面向海量异构设备的智能补采系统，包括采集调度框架服务模块、采集服务模块、分布式缓存；所述采集服务模块，用于启动采集服务，同时注册一个全局唯一的采集服务实例ID到所述采集调度框架服务模块中；发送心跳信息并将采集服务所在设备的性能上报给所述采集调度框架服务模块；并接收由所述采集调度框架服务模块下发的采集任务，将接收到的采集信息插入到所述分布式缓存中，到指定的采集设备去采集相应的指标；所述采集调度框架服务模块，用于将采集任务下发给所述采集服务模块，将服务实例ID、采集服务存活信息、采集服务性能信息存储在所述分布式缓存中；并检测采集服务所在设备的性能，根据性能负荷检测结果下发补采任务给所述采集服务模块；所述分布式缓存，用于存储采集任务数据。采集服务存活信息判断以所述采集调度框架服务模块2分钟之内是否接收到所述采集服务的心跳信息为标准，是则表示采集服务存活正常，否则表示采集服务已下线。所述采集服务模块所述接收的采集任务为常规采集任务或补采任务。当接收的采集任务为常规采集任务时，所述采集信息包括采集任务实例ID、采集设备ID、采集设备的连接信息、采集设备的优先级、采集时间段、采集指标信息。当接收的采集任务为补采任务时，所述采集信息包括补采任务实例ID、原采集任务实例ID、补采集时间段、采集指标信息。所述采集调度框架服务模块下发补采任务时根据当采集服务所能承载的补采任务数，并按补采任务的优先级从高到低来确定。所述采集服务模块采集到指标正确并有结果时，更新采集到的指标值到分布式缓存中，并将采集任务实例ID的采集状态置为成功；所述采集服务模块没有采集到结果或者采集过程中出现异常，则将采集任务实例ID的采集状态置为本文档来自技高网...

【技术保护点】
1.一种面向海量异构设备的智能补采系统，其特征在于：包括采集调度框架服务模块、采集服务模块、分布式缓存；/n所述采集服务模块，用于启动采集服务，同时注册一个采集服务实例ID到所述采集调度框架服务模块中；发送心跳信息并将采集服务所在设备的性能上报给所述采集调度框架服务模块；并接收采集任务，将接收到的采集信息插入到所述分布式缓存中，到指定的采集设备去采集相应指标；/n所述采集调度框架服务模块，用于将采集任务下发给所述采集服务模块，将服务实例ID、采集服务存活信息、采集服务性能信息存储在所述分布式缓存中；并检测采集服务所在设备的性能，根据性能负荷检测结果下发补采任务给所述采集服务模块；/n所述分布式缓存，用于存储采集任务数据。/n

【技术特征摘要】
1.一种面向海量异构设备的智能补采系统，其特征在于：包括采集调度框架服务模块、采集服务模块、分布式缓存；
所述采集服务模块，用于启动采集服务，同时注册一个采集服务实例ID到所述采集调度框架服务模块中；发送心跳信息并将采集服务所在设备的性能上报给所述采集调度框架服务模块；并接收采集任务，将接收到的采集信息插入到所述分布式缓存中，到指定的采集设备去采集相应指标；
所述采集调度框架服务模块，用于将采集任务下发给所述采集服务模块，将服务实例ID、采集服务存活信息、采集服务性能信息存储在所述分布式缓存中；并检测采集服务所在设备的性能，根据性能负荷检测结果下发补采任务给所述采集服务模块；
所述分布式缓存，用于存储采集任务数据。


2.根据权利要求1所述的一种面向海量异构设备的智能补采系统，其特征在于：采集服务存活信息判断以所述采集调度框架服务模块2分钟之内是否接收到所述采集服务的心跳信息为标准，是则表示采集服务存活正常，否则表示采集服务已下线。


3.根据权利要求1所述的一种面向海量异构设备的智能补采系统，其特征在于：所述采集服务模块所述接收的采集任务为常规采集任务或补采任务。


4.根据权利要求3所述的一种面向海量异构设备的智能补采系统，其特征在于：当接收的采集任务为常规采集任务时，所述采集信息包括采集任务实例ID、采集设备ID、采集设备的连接信息、采集设备的优先级、采集时间段、采集指标信息。


5.根据权利要求3所述的一种面向海量异构设备的智能补采系统，其特征在于：当接收的采集任务为补采任务时，所述采集信息包括补采任务实例ID、原采集任务实例ID、补采集时间段、采集指标信息。


6.根据权利要求1所述的一种面向海量异构设备的智能补采...

【专利技术属性】
技术研发人员：唐银春，熊钰才，洪伟，
申请(专利权)人：科大国创云网科技有限公司，
类型：发明
国别省市：安徽;34