【技术实现步骤摘要】
本专利技术涉及大数据云计算领域,具体为一种用于分布式计费日志回传的柔性反压方法。
技术介绍
1、日志为计算机系统响应特定输入时记录响应行为与请求信息的数据,可用于统计分析、定位异常以及计费等领域。采集并处理大规模日志一直是计算机系统领域的传统需求,如基于广泛应用的elasticsearch、logstash以及kibana组件构造的通用采集、处理以及展示方案。
2、不同于通用解决方案,细分领域要求更高性能,更可靠的日志采集解决方案,如计费或安全验证等领域。与通用日志采集场景相比,云计算领域中,大规模计费日志的特点如下:1.日志来源服务多样,覆盖范围大,与小规模内网互联的业务系统相比,大量节点遍布世界各地,通过互联网相连,人工管理困难,网络条件多样;2.日志准确性要求高,由于涉及计费业务,不允许出现大量重传、漏传;3.日志实时性要求强,用户需要近实时查询计费信息,并了解用量情况。
3、因此,对于计费日志回传业务,要求系统具有足够的鲁棒性,能够安全应对网络与设备的故障降级,保障计费业务的时效性与准确性。这基本上通过添
...【技术保护点】
1.一种用于分布式计费日志回传的柔性反压方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,所述日志处理集群具有健康检查接口或日志传输接口,健康检查接口用于返回该日志处理集群当前的队列剩余容量ci,日志传输接口用于接收处理传入的日志并返回该日志处理集群当前的队列剩余容量ci。
3.根据权利要求2所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,通过定时健康检查和/或上次回传请求获得的队列剩余容量ci,若健康检查失败或回传请求失败,则使ci=0,直到下一次定时健康检查或回传请求
...
【技术特征摘要】
1.一种用于分布式计费日志回传的柔性反压方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,所述日志处理集群具有健康检查接口或日志传输接口,健康检查接口用于返回该日志处理集群当前的队列剩余容量ci,日志传输接口用于接收处理传入的日志并返回该日志处理集群当前的队列剩余容量ci。
3.根据权利要求2所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,通过定时健康检查和/或上次回传请求获得的队列剩余容量ci,若健康检查失败或回传请求失败,则使ci=0,直到下一次定时健康检查或回传请求时刷新。
4.根据权利要求3所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,当日志处理集群检测到内部错误而需要退出服务,则拒绝一切回传请求,并返回ci=0。
5.根据权利要求1所述的一种用于分布式计费日志回传的柔性反压方法,其特征在于,所述网络传输速度si由请求体大小除以请求响应时间获得。
6.根据权利要求1所述的一种用于分布式计费...
【专利技术属性】
技术研发人员:肖立超,李川平,郑飞虎,
申请(专利权)人:天翼云科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。