一种基于Flink实时计算的自动化流控制方法技术

本发明专利技术公开了一种基于Flink实时计算的自动化流控制方法，包括以下步骤：S1、对业务系统的日志数据进行实时采集；S2、利用Kafka队列对采集的日志数据进行传输，其中不同的业务日志数据作为一个单独的topic数据流；S3、使用Flink的各种算子组合对数据流进行实时解析和对数据流解析进行实时控制；S4、将解析出的数据流进行存储。本发明专利技术提供一种基于Flink实时计算的自动化流控制方法，利用Flink的并行性和内存效率，以便能够在分布式基础设施上有效地处理大容量数据流，根据不同的需求将解析的数据输出到相应的存储空间，灵活地适配各种日志格式，从而减少同类解析代码的开发，将不同的数据解析进行集中式的管理，有效地提高了现在Flink框架集群的吞吐量。

【技术实现步骤摘要】
一种基于Flink实时计算的自动化流控制方法
本专利技术涉及数据处理
，具体涉及一种基于Flink实时计算的自动化流控制方法。
技术介绍
由于Flink框架的优势，现在有很多关于Flink应用的相关研究。Flink的概念、生态系统和相关技术等理论基础并对Hadoop和Flink在处理大批量数据上的耗时和准确率进行了对比分析，针对不同的流式处理平台，分析总结了Flink所面临的一些挑战，为Flink的进一步研究提供了参考。基于Flink的计算框架，设计了对大规模轨迹数据进行实时运动模式检测的算法，弥补了对于当前大规模轨迹数据只能做范围查询、近邻查询的简单处理的不足，很好地应用了Flink实时计算的优势。随着业务越来越复杂，需要采集和存储的数据越来越多，由于存在着不同的业务系统，日志的存储格式多种多样，如何灵活快速根据不同的需求将解析的数据输出到相应的存储空间的问题迫在眉睫。
技术实现思路
本专利技术提出一种基于Flink实时计算的自动化流控制方法，利用Flink的并行性和内存效率，以便能够在分布式基础设施上有效地本文档来自技高网...

【技术保护点】
1.一种基于Flink实时计算的自动化流控制方法，其特征在于，包括以下步骤：/nS1、对业务系统的日志数据进行实时采集；/nS2、利用Kafka队列对采集的日志数据进行传输，其中不同的业务日志数据作为一个单独的topic数据流；/nS3、使用Flink的各种算子组合对数据流进行实时解析和对数据流解析进行实时控制；/nS4、将解析出的数据流进行存储。/n

【技术特征摘要】
1.一种基于Flink实时计算的自动化流控制方法，其特征在于，包括以下步骤：
S1、对业务系统的日志数据进行实时采集；
S2、利用Kafka队列对采集的日志数据进行传输，其中不同的业务日志数据作为一个单独的topic数据流；
S3、使用Flink的各种算子组合对数据流进行实时解析和对数据流解析进行实时控制；
S4、将解析出的数据流进行存储。


2.如权利要求1所述的一种基于Flink实时计算的自动化流控制方法，其特征在于：步骤S1中采用Filebeat采集工具，所述Filebeat采集工具包括Apache模块、System模块及MySQL模块。


3.如权利要求1所述的一种基于Flink实时计算的自动化流控制方法，其特征在于：步骤S2中Kafka队列还包括一用于进行流控制的空流。


4.如权利要求1所述的一种基于Flink实时计算的自动化流控制方法，其特征在于，步骤S3中数据流解析的步骤包括：
A1、将每个要处理的数据流的名称通过哈希图谱进行存储，假设＜主键，数值＞＝＜stream1，datastream1＞，同时将需要对数据流处理的算子存储到链表中；
A2、按照对datastream1的流处理算子得到流处理结果dataset1；
A3、更新哈希图谱中stream1的数值为dataset1；
A4、遍历下一个需要处理的算子，直接读取主键＝stream1的数值，对s...

【专利技术属性】
技术研发人员：陈思恩，
申请(专利权)人：科技谷厦门信息技术有限公司，
类型：发明
国别省市：福建;35