【技术实现步骤摘要】
面向实时流处理的负载均衡方法、电子设备及存储介质
本专利技术涉及工作站负载均衡
，尤其涉及一种面向实时流处理的负载均衡方法、电子设备及存储介质。
技术介绍
随着监控对象、监控数据量日益巨量化，如何实时处理海量数据是最为核心的问题。我们面临的问题是必须依据数据消息做完整事务处理，而每个消息的块包括的监控指标数量存在巨大差异，从而导致并发数据处理负载不均衡，有的工作者处理超负荷宕机，有的工作者实际处理量非常少，浪费了大量cpu和内存的宝贵资源
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种面向实时流处理的负载均衡方法，其能按最小指标单元进行消息重分配，使并发的多个计算工作站之间的任务相当，实现多个并发工作站的数据处理负载均衡。本专利技术的目的之二在于提供一种电子设备，其能按最小指标单元进行消息重分配，使并发的多个计算工作站之间的任务相当，实现多个并发工作站的数据处理负载均衡。本专利技术的目的之三在于提供一种计算机可读存储介质，该存储介质中的程序运行时能实现按最小指...
【技术保护点】
1.一种面向实时流处理的负载均衡方法，其特征在于，包括以下步骤：/n使根消费者将原始消息按资源/子资源指标组进行切片以形成多个消息片，一个消息片包含多个资源/子资源指标消息；/n将所述消息片汇总到消息池，当消息处理间隙时间达到预设时间段时或者消息池中的消息片总量达到第一预设阈值时，进行第一次消息池负载均衡计算以根据消息池中的消息片总量和根消费者数量进行动态平均分配；/n将负载均衡好的消息片均匀返回给本次参与的所有根消费者，以使所述根消费者将所述消息片传递给业务消费者进而所述业务消费者将每个所述消息片按单个资源/子资源指标进行拆分以形成多个消息块；/n将所拆分得到的所有消息块...
【技术特征摘要】
1.一种面向实时流处理的负载均衡方法，其特征在于，包括以下步骤：
使根消费者将原始消息按资源/子资源指标组进行切片以形成多个消息片，一个消息片包含多个资源/子资源指标消息；
将所述消息片汇总到消息池，当消息处理间隙时间达到预设时间段时或者消息池中的消息片总量达到第一预设阈值时，进行第一次消息池负载均衡计算以根据消息池中的消息片总量和根消费者数量进行动态平均分配；
将负载均衡好的消息片均匀返回给本次参与的所有根消费者，以使所述根消费者将所述消息片传递给业务消费者进而所述业务消费者将每个所述消息片按单个资源/子资源指标进行拆分以形成多个消息块；
将所拆分得到的所有消息块汇总到消息池，当消息处理间隙时间达到预设时间段时或者消息池中的消息块总量达到第二预设阈值时，进行第二次消息池负载均衡计算以根据消息块总量和业务消费者数量进行动态分配；
按照预设数量，将负载均衡好的消息按批量传送给对应的业务消费者进行处理。
2.如权利要求1所述的面向实时流处理的负载均衡方法，其特征在于，所述将负载均衡好的消息按批量传送给对应的业务消费者进行处理具体为：将负载均衡好的消息按批量上传至数据库，然后调度对应的业务消费者处理各自的消息。
3.如权利要求1所述的面向实时流处理的负载均衡方法，其特征在于，所述根据消息片总量和根消费者数量进行动态平均分配具体为：当消息池中的消息片总量达到第一预设阈值时，每个根消费者对应的消息片数量等于消息片总量除以根消费者数量；当消息池中的消息片总量未超过第一预设阈值而所述消息处理间隙时间已经达到...
【专利技术属性】
技术研发人员：詹岭，刘晓华，蔡幼忠，
申请(专利权)人：广州赢领信息科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。