一种用于分布式计费日志回传的柔性反压方法技术

技术编号:41223296 阅读:22 留言:0更新日期:2024-05-09 23:42
本发明专利技术公开了一种用于分布式计费日志回传的柔性反压方法,涉及大数据云计算领域技术领域,包括以下步骤:S1、采集器接受上游应用系统写入的日志,并分发到各日志处理集群;S2、采集器根据历史发送记录,维护每个日志处理集群的状态:对于日志处理集群i,在收到预设量的日志或超时事件发生后,采集器对日志处理集群i发送日志,本次发送日志的速率r<subgt;si</subgt;为:本发明专利技术能够避免启停式反压机制对系统的冲击与雪崩风险,允许系统冗余度较低时也能快速恢复。

【技术实现步骤摘要】

本专利技术涉及大数据云计算领域,具体为一种用于分布式计费日志回传的柔性反压方法


技术介绍

1、日志为计算机系统响应特定输入时记录响应行为与请求信息的数据,可用于统计分析、定位异常以及计费等领域。采集并处理大规模日志一直是计算机系统领域的传统需求,如基于广泛应用的elasticsearch、logstash以及kibana组件构造的通用采集、处理以及展示方案。

2、不同于通用解决方案,细分领域要求更高性能,更可靠的日志采集解决方案,如计费或安全验证等领域。与通用日志采集场景相比,云计算领域中,大规模计费日志的特点如下:1.日志来源服务多样,覆盖范围大,与小规模内网互联的业务系统相比,大量节点遍布世界各地,通过互联网相连,人工管理困难,网络条件多样;2.日志准确性要求高,由于涉及计费业务,不允许出现大量重传、漏传;3.日志实时性要求强,用户需要近实时查询计费信息,并了解用量情况。

3、因此,对于计费日志回传业务,要求系统具有足够的鲁棒性,能够安全应对网络与设备的故障降级,保障计费业务的时效性与准确性。这基本上通过添加冗余处理能力实现。本文档来自技高网...

【技术保护点】

1.一种用于分布式计费日志回传的柔性反压方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,所述日志处理集群具有健康检查接口或日志传输接口,健康检查接口用于返回该日志处理集群当前的队列剩余容量ci,日志传输接口用于接收处理传入的日志并返回该日志处理集群当前的队列剩余容量ci。

3.根据权利要求2所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,通过定时健康检查和/或上次回传请求获得的队列剩余容量ci,若健康检查失败或回传请求失败,则使ci=0,直到下一次定时健康检查或回传请求时刷新。

...

【技术特征摘要】

1.一种用于分布式计费日志回传的柔性反压方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,所述日志处理集群具有健康检查接口或日志传输接口,健康检查接口用于返回该日志处理集群当前的队列剩余容量ci,日志传输接口用于接收处理传入的日志并返回该日志处理集群当前的队列剩余容量ci。

3.根据权利要求2所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,通过定时健康检查和/或上次回传请求获得的队列剩余容量ci,若健康检查失败或回传请求失败,则使ci=0,直到下一次定时健康检查或回传请求时刷新。

4.根据权利要求3所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,当日志处理集群检测到内部错误而需要退出服务,则拒绝一切回传请求,并返回ci=0。

5.根据权利要求1所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,所述网络传输速度si由请求体大小除以请求响应时间获得。

6.根据权利要求1所述的一种用于分布式计费...

【专利技术属性】
技术研发人员:肖立超李川平郑飞虎
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1