【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种数据流处理方法和装置。
技术介绍
1、目前,流式处理框架的应用十分普遍，为用户提供了方便、快捷的数据实时处理，可以极大提升数据处理的吞吐量和效率。
2、在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
3、在以flink为代表的主流流式处理框架中，普遍存在自带窗口算子的处理逻辑过于简单、刻板的技术问题，即无法针对一个数据流中的多源、多类别数据进行拆分处理，也无法基于多个统计算法分别对拆分得到的多类数据同时进行处理，仅仅能够针对一个数据流配置一个窗口算子，因而无法满足现有对业务数据流进行精细化拆分、监控的业务需求。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种数据流处理方法和装置，能够解决现有无法针对相同数据流中的多类数据生成多个窗口算子、并同时进行多维度统计处理的技术问题。
2、为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据流处理方法，包括监听目标接口的数据流，以对每个数据：识别对应的数据来源和数据类型，以合并得到窗口标识，并判断是否存在相应的窗口算子；若是，则将该数据分发至所述窗口算子；若否，则查询所述数据类型相应的约束条件，以确定对应的运行时间和阈值，并根据所述窗口标识、运行时间和阈值生成对应的窗口算子，将该数据分发至生成的窗口算子；计算每个窗口算子在每个运行时间中分别分发得到的总数据量，并和相应的阈值进行比较，响应于确定某个总数据量为较大值，发出数据量异常告警。p>
3、可选地，监听指定接口的数据流之前，包括：
4、获取流处理指令，解析得到对应的目标接口和活动有效时间范围，以分别作为对应的监听对象和监听时限。
5、可选地，查询所述数据类型相应的约束条件，以确定对应的运行时间，包括：
6、根据所述约束条件，确定相应的窗口步长和窗口长度；
7、根据所述窗口步长和窗口长度，对所述活动有效时间范围进行切分，得到对应的多个运行时间。
8、可选地，根据所述窗口标识、运行时间和阈值生成对应的窗口算子之前，包括：
9、读取所述流处理指令，解析得到相应的业务标识，查询是否存在所述业务标识对应的窗口算子；
10、响应于存在，则对所述窗口算子进行复制，得到目标窗口算子，并建立所述目标窗口算子和所述窗口标识之间的对应关系；
11、并将该数据分发至所述目标窗口算子。
12、可选地，发出数据量异常告警，包括：
13、对每个大于相应阈值的总数据量进行异常标记；
14、确定每个具有异常标记的总数据量相应的运行时间和数据来源，合并生成对应的数据量异常告警信息，并发送给指定端口。
15、另外，本专利技术还提供了一种数据流处理装置，包括分发处理模块，用于监听目标接口的数据流，以对每个数据：识别对应的数据来源和数据类型，以合并得到窗口标识，并判断是否存在相应的窗口算子；若是，则将该数据分发至所述窗口算子；若否，则查询所述数据类型相应的约束条件，以确定对应的运行时间和阈值，并根据所述窗口标识、运行时间和阈值生成对应的窗口算子，将该数据分发至生成的窗口算子；告警处理模块，用于计算每个窗口算子在每个运行时间中分别分发得到的总数据量，并和相应的阈值进行比较，响应于确定某个总数据量为较大值，发出数据量异常告警。
16、上述专利技术中的一个实施例具有如下优点或有益效果：首先，本专利技术通过监听目标接口的数据流，以对每个数据：识别对应的数据来源和数据类型，以合并得到窗口标识，并判断是否存在相应的窗口算子，能够将一个不断传输新数据的流式结构的数据体，实时拆解为多类数据，其中，每类数据分别对应于不同的数据来源以及数据类型；并对拆解得到的多类数据分别配置相应的窗口算子以进行统计计算；并且，本专利技术通过若是，则将该数据分发至所述窗口算子，能够将该数据划分入适配的窗口算子，以达到通过所述窗口算子计算相应运行时间的总数据量的技术目的；同时，本专利技术通过若否，则查询所述数据类型相应的约束条件，以确定对应的运行时间和阈值，并根据所述窗口标识、运行时间和阈值生成对应的窗口算子，将该数据分发至生成的窗口算子，能够根据对应的数据类型生成相应的窗口算子，从而达到使用新生成的窗口算子对该数据，以及与该数据具有相同窗口标识的多个数据进行流量统计的技术目的；此外，本专利技术通过计算每个窗口算子在每个运行时间中分别分发得到的总数据量，并和相应的阈值进行比较，响应于确定某个总数据量为较大值，发出数据量异常告警，能够将一个数据流拆解入多个窗口算子，并同时进行流量监管，并在该数据流中部分数据流量异常时及时告警，从而提高了数据流监听的精细化程度和响应效率。
17、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
本文档来自技高网...【技术保护点】
1.一种数据流处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，监听指定接口的数据流之前，包括：
3.根据权利要求2所述的方法，其特征在于，查询所述数据类型相应的约束条件，以确定对应的运行时间，包括：
4.根据权利要求2所述的方法，其特征在于，根据所述窗口标识、运行时间和阈值生成对应的窗口算子之前，包括：
5.根据权利要求1所述的方法，其特征在于，发出数据量异常告警，包括：
6.一种数据流处理装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，监听指定接口的数据流之前，包括：
8.根据权利要求7所述的装置，其特征在于，查询所述数据类型相应的约束条件，以确定对应的运行时间，包括：
9.根据权利要求7所述的装置，其特征在于，根据所述窗口标识、运行时间和阈值生成对应的窗口算子之前，包括：
10.根据权利要求6所述的装置，其特征在于，发出数据量异常告警，包括：
11.一种电子设备，其特征在于，包括：
12.一种计算机程序
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
...【技术特征摘要】
1.一种数据流处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，监听指定接口的数据流之前，包括：
3.根据权利要求2所述的方法，其特征在于，查询所述数据类型相应的约束条件，以确定对应的运行时间，包括：
4.根据权利要求2所述的方法，其特征在于，根据所述窗口标识、运行时间和阈值生成对应的窗口算子之前，包括：
5.根据权利要求1所述的方法，其特征在于，发出数据量异常告警，包括：
6.一种数据流处理装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，监听指定接口的数据流之前，包括：
8.根据权利...
【专利技术属性】
技术研发人员：赵延杰，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。