【技术实现步骤摘要】
一种报警数据处理系统和方法
本专利技术涉及一种数据处理
,特别地,涉及一种报警数据处理系统和方法。
技术介绍
计算机软硬件的发展使得并行与分布式计算越来越流行,然而计算机硬件资源利用不均衡的现象时有发生,负载均衡技术是提高系统资源利用率和并行计算性能的一项关键技术。负载均衡技术可分为静态和动态两类。如果负载可以在运行之前确定并在运行前进行完负载划分,则属于静态负载均衡问题;若只能在运行时测量负载并动态确定负载划分,则属于动态负载均衡问题。报警数据是众多机器数据中的一种,具有时效性要求高、上下文依赖性强及数据量大等特点。尤其在数据中心场景中,需要接收多来源的报警数据信息,为了提高报警接收服务器的资源利用率,往往采用动态负载均衡技术,搭建软件或者硬件的负载均衡服务器来解决本类问题。但是传统负载均衡技术中采用的负载均衡算法,如轮询算法、随机算法、最小负载优先算法及最长处理时间优先算法等,并不能解决报警数据时效性高、上下文依赖性强等问题;在资源共享方面上,传统负载均衡技术的数据同步和共享往往依赖数据中心,各个节点在处理报警数据时,需要通过数据中心得到所需的上下文数据 ...
【技术保护点】
1.一种报警数据处理系统,其中包括:负载均衡服务器,经配置按照负载均衡策略将接入的报警数据负载到调度服务器;调度服务器组,经配置按照粒度规则为接收到的报警数据划分粒度并确定粒度路由,将所述报警数据及其粒度信息转发到粒度路由信息中的业务服务器;以及业务服务器组,经配置在接收到的报警数据及其粒度信息后,根据所述粒度信息加载所述报警数据的上下文数据,根据所述上下文数据实时处理所述报警数据。
【技术特征摘要】
1.一种报警数据处理系统,其中包括:负载均衡服务器,经配置按照负载均衡策略将接入的报警数据负载到调度服务器;调度服务器组,经配置按照粒度规则为接收到的报警数据划分粒度并确定粒度路由,将所述报警数据及其粒度信息转发到粒度路由信息中的业务服务器;以及业务服务器组,经配置在接收到的报警数据及其粒度信息后,根据所述粒度信息加载所述报警数据的上下文数据,根据所述上下文数据实时处理所述报警数据。2.根据权利要求1所述的报警数据处理系统,其中,所述负载均衡服务器包括两个采用双机热备机制的服务器,经配置分别为主、备负载均衡服务器。3.根据权利要求1所述的报警数据处理系统,其中,所述调度服务器组包括多个调度服务器,其中,所述调度服务器包括:粒度划分模块,经配置用于根据所述粒度规则及所述报警数据的原始信息确定所述报警数据的粒度;粒度路由模块,经配置用于确定对应所述粒度的粒度路由,粒度路由信息包括粒度及与其对应的业务服务器;和数据转发模块,经配置用于将接收到报警数据转发到粒度路由信息中的业务服务器。4.根据权利要求3所述的报警数据处理系统,其中,所述粒度路由模块还包括:第一查询单元,经配置用于根据当前粒度,查询内存中的粒度路由信息,获取与当前粒度对应的业务服务器;和计算单元,经配置在内存中没有获取到与当前粒度对应的业务服务器时,根据业务服务器的负载资源计算得到新路由,从而获得与当前粒度对应的业务服务器。5.根据权利要求4所述的报警数据处理系统,其中,所述计算单元经配置用以完成以下步骤:计算每一个业务服务器的负载分数;根据负载分数的数值大小进行聚类,得到多个聚类值;对所述多个聚类值进行最小负载优先计算,确定多个候选业务服务器;以及根据随机算法,从所述多个候选业务服务器中确定一个业务服务器。6.根据权利要求5所述的报警数据处理系统,其中,所述计算单元经配置,通过以下步骤计算每一个业务服务器的负载分数:根据业务服务器的基础资源信息计算所述业务服务器的最大处理能力值;根据所述业务服务器的运行资源信息计算所述业务服务器当前能力空闲比例;和计算所述业务服务器的最大处理能力值和当前能力空闲比例的乘积,得到所述业务服务器的负载分数。7.根据权利要求6所述的报警数据处理系统,其中,所述计算单元经配置,周期性地获取业务服务器的运行资源信息,根据最新的运行资源信息计算所述业务服务器当前能力空闲比例及所述业务服务器的负载分数。8.根据权利要求4所述的报警数据处理系统,其中,所述调度服务器组中的至少一个调度服务器包括:粒度路由调整模块,经配置用于计算业务服务器组中每一个业务服务器的负载资源,根据所述负载资源调整粒度路由。9.根据权利要求1所述的报警数据处理系统,其中,所述业务服务器包括:上下文数据加载模块,用于根据所述粒度信息加载所述报警数据的上下文数据;和报警数据处理模块,用于根据加载所述报警数据的上下文数据处理所述报警数据。10.根据权利要求9所述的报警数据处理系统,其中,所述上下文数据加载模块包括:第二查询单元,用于根据所述粒度信息查询业务服务器内部存储模块中的上下文数据;第一加载单元,用于在所述内部存储模块中有与接收到的所述粒度信息匹配的上下文数据时,从内部存储模块中加载所述上下文数据;第二加载单元,用于在所述内部存储模块中没有与接收到的所述粒度信息匹配的上下文数据时,从数据库集群中获取与接收到的所述粒度信息匹配的上下文数据。11.根据权利要求9所述的报警数据处理系统,其中,所述业务服务器还包括:资源监控模块,用于监测所述业务服务器中的业务资源是否与当前运行资源相匹配;和粒度变更请求模块,用于在当前运行资源和业务资源不相匹配时,向调度服务器发送粒度变更请求。12.根据权利要求9所述的报警数据处理系统,其中,所述业务服务器还包括:内部存储模块,用于存储与粒度对应的报警数据的上下文数据。13.根据权利要求1所述的报警数据处理系统,其中,还包括:数据同步集群服务器,经配置用于同步系统内各个服务器进程的数据状态和维护粒度数据;以及数据库集群,用于存于存储报警数据的上下文数据。14.一种报警数据处理方法,其中包括:负载均衡服务器将接入的报警数据负载到调度服务器;所述调度服务器按照粒度规则为接收到的报警数据划分粒度并确定粒度路由,并将所述报警数据及其粒度信息转发到粒度路由信息中的业务服务器;以及所述业务服务器接收到所述报警数据及其粒度信息后,根据所述粒度信息加载所述报警数据的上下文数据,并根据所述上下文数据实时处理所述报警数据。15.根据权利要求14所述的报警数据处理方法,其中,所述负载均衡服务器将接入的报警数据负载到调度服务器时,按照配置的负载均衡策略,或采用随机的方式,将接入的报警数据负载到调度服务器组中的一个调度服务器。16.根据权利要求14或15所述的报警数据处理方法,其中,所述负载均衡服务器包括两个采用双机热备机制的服务器,当主负载均衡服务器发生故障时,...
【专利技术属性】
技术研发人员:黄守凯,
申请(专利权)人:北京善义善美科技有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。