一种数据流处理方法和装置制造方法及图纸

技术编号:39929791 阅读:13 留言:0更新日期:2024-01-08 21:43
本发明专利技术公开了一种数据流处理方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括监听目标接口的数据流,以对每个数据:识别对应的数据来源和数据类型,以确定窗口标识,并判断是否存在相应的窗口算子;若是,则将该数据分发至所述窗口算子;若否,则根据所述窗口标识生成对应的窗口算子,将该数据分发至生成的窗口算子;计算每个窗口算子在相应的每个运行时段中分别分发得到的总数据量,并和相应的阈值进行比较,响应于确定某个总数据量为较大值,发出数据量异常告警。从而,本发明专利技术的实施方式能够解决现有无法针对相同数据流中的多类数据生成多个窗口算子、并同时进行多维度统计处理的技术问题。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种数据流处理方法和装置


技术介绍

1、目前,流式处理框架的应用十分普遍,为用户提供了方便、快捷的数据实时处理,可以极大提升数据处理的吞吐量和效率。

2、在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题:

3、在以flink为代表的主流流式处理框架中,普遍存在自带窗口算子的处理逻辑过于简单、刻板的技术问题,即无法针对一个数据流中的多源、多类别数据进行拆分处理,也无法基于多个统计算法分别对拆分得到的多类数据同时进行处理,仅仅能够针对一个数据流配置一个窗口算子,因而无法满足现有对业务数据流进行精细化拆分、监控的业务需求。


技术实现思路

1、有鉴于此,本专利技术实施例提供一种数据流处理方法和装置,能够解决现有无法针对相同数据流中的多类数据生成多个窗口算子、并同时进行多维度统计处理的技术问题。

2、为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据流处理方法,包括监听目标接口的数据流,以对每个数据:识别对应的数据来源和数据本文档来自技高网...

【技术保护点】

1.一种数据流处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,监听指定接口的数据流之前,包括:

3.根据权利要求2所述的方法,其特征在于,查询所述数据类型相应的约束条件,以确定对应的运行时间,包括:

4.根据权利要求2所述的方法,其特征在于,根据所述窗口标识、运行时间和阈值生成对应的窗口算子之前,包括:

5.根据权利要求1所述的方法,其特征在于,发出数据量异常告警,包括:

6.一种数据流处理装置,其特征在于,包括:

7.根据权利要求6所述的装置,其特征在于,监听指定接口的数据流之前,包括:...

【技术特征摘要】

1.一种数据流处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,监听指定接口的数据流之前,包括:

3.根据权利要求2所述的方法,其特征在于,查询所述数据类型相应的约束条件,以确定对应的运行时间,包括:

4.根据权利要求2所述的方法,其特征在于,根据所述窗口标识、运行时间和阈值生成对应的窗口算子之前,包括:

5.根据权利要求1所述的方法,其特征在于,发出数据量异常告警,包括:

6.一种数据流处理装置,其特征在于,包括:

7.根据权利要求6所述的装置,其特征在于,监听指定接口的数据流之前,包括:

8.根据权利...

【专利技术属性】
技术研发人员:赵延杰
申请(专利权)人:建信金融科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1