基于窗口计算的流量过滤方法、装置、设备及存储介质制造方法及图纸

技术编号:42070147 阅读:21 留言:0更新日期:2024-07-19 16:52
本申请涉及一种基于窗口计算的流量过滤方法、装置、设备及存储介质,所述方法包括:确定上游系统待发送至下游系统的至少一条消息,生成预设时长的滑动窗口,滑动窗口是不间断生成的,基于滑动窗口利用预设的业务维度对消息进行分组得到至少一个消息组,对滑动窗口内的至少一个消息组进行过滤和聚合处理得到聚合消息,将聚合消息发送至下游系统。本申请可以大幅减少下游系统的消息吞吐量,从而降低下游系统的加锁频率,减少了下游系统资源的耗费,使得下游系统仅通过少数的服务实例即可处理消息,适配了下游系统实际的数据处理能力,提升了系统的整体性能。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种基于窗口计算的流量过滤方法、装置、设备及存储介质


技术介绍

1、目前,基于消息驱动的应用系统中,往往会存在上下游系统的流量不匹配情况,例如上游系统在1分钟内产生了10万条消息,下游系统会对这10万条消息进行处理。下游系统收到大量的消息之后,通常需要频繁地对消息对应的数据进行查询、加锁、更新等后续操作,下游系统需通过大量的服务实例处理消息,极其耗费下游系统资源,降低了系统的整体性能。

2、因此,如何减少下游系统的消息吞吐量以适配下游系统实际的数据处理能力,已成为本领域技术人员亟待解决的技术问题。


技术实现思路

1、鉴于以上内容,本申请提供一种基于窗口计算的流量过滤方法、装置、设备及存储介质,其目的在于解决上述技术问题。

2、第一方面,本申请提供一种基于窗口计算的流量过滤方法,所述方法包括:

3、确定上游系统待发送至下游系统的至少一条消息;

4、生成预设时长的滑动窗口,其中,所述滑动窗口不间断生成;

5、基于所述滑动窗口利本文档来自技高网...

【技术保护点】

1.一种基于窗口计算的流量过滤方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于窗口计算的流量过滤方法,其特征在于,所述基于所述滑动窗口利用预设的业务维度对所述消息进行分组,得到至少一个消息组,包括:

3.如权利要求1所述的基于窗口计算的流量过滤方法,其特征在于,所述确定上游系统待发送至下游系统的至少一条消息,包括:

4.如权利要求1或3所述的基于窗口计算的流量过滤方法,其特征在于,所述对所述滑动窗口内的至少一个消息组进行过滤和聚合处理,得到聚合消息,包括:

5.如权利要求4所述的基于窗口计算的流量过滤方法,其特征在于,所述根据下...

【技术特征摘要】

1.一种基于窗口计算的流量过滤方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于窗口计算的流量过滤方法,其特征在于,所述基于所述滑动窗口利用预设的业务维度对所述消息进行分组,得到至少一个消息组,包括:

3.如权利要求1所述的基于窗口计算的流量过滤方法,其特征在于,所述确定上游系统待发送至下游系统的至少一条消息,包括:

4.如权利要求1或3所述的基于窗口计算的流量过滤方法,其特征在于,所述对所述滑动窗口内的至少一个消息组进行过滤和聚合处理,得到聚合消息,包括:

5.如权利要求4所述的基于窗口计算的流量过滤方法,其特征在于,所述根据下游系统的业务方的业务规则,对去重后的消息进行...

【专利技术属性】
技术研发人员:顾伟
申请(专利权)人:北京奇艺世纪科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1