一种流数据处理方法、系统、装置及计算机可读存储介质制造方法及图纸

本申请公开了一种流数据处理方法，从消息型队列中获取流数据，即此时消息型队列的输出数据为Flink的输入数据，借助消息型队列对初始流数据进行了一次处理，接着利用预设的数据解析规则将接收到的流数据一一解析成键值对事件，以充分结合现今被广泛使用的关系型数据库实现对数据和其对应关系的保存，便于后续基于SQL实现对数据的处理，同时还利用数据分析引擎从多方面、多角度进行数据分析，提升分析结果的准确程度，在应用了本申请提供的数据流处理方法的Flink框架上，可实现对传统流数据业务的快速展开，与现有工具结合更加紧密，效率更高。本申请还同时公开了一种流数据处理系统、装置及计算机可读存储介质，具有上述有益效果。

A Stream Data Processing Method, System, Device and Computer Readable Storage Media

This application discloses a stream data processing method, which obtains stream data from message queue, that is, the output data of message queue is Flink's input data at this time. The initial stream data is processed once by message queue, and then the received stream data is parsed into key-value pair events one by one by using preset data analysis rules, so as to fully integrate with the widely used nowadays. The relational database realizes the preservation of data and its corresponding relationship, which facilitates the subsequent processing of data based on SQL. At the same time, the data analysis engine is used to analyze data from many aspects and angles, so as to improve the accuracy of the analysis results. On the Flink framework, which applies the data stream processing method provided in this application, the traditional data stream business can be rapidly expanded. Closer integration with existing tools and more efficient. The application also discloses a stream data processing system, a device and a computer readable storage medium, which have the above beneficial effects.

【技术实现步骤摘要】
一种流数据处理方法、系统、装置及计算机可读存储介质
本申请涉及数据处理
，特别涉及一种流数据处理方法、系统、装置及计算机可读存储介质。
技术介绍
在数据处理领域，数据在某种划分方式下可被划分内批数据和流数据两类，相较于静态的存储于固定地点的、有界的批数据，流数据因其源源不断的特性在处理的过程中明显区别于批数据，且处理难度较大。现存在多种可用于处理流数据的框架，例如仅用处理流数据的Storm和Samza流处理框架，以及不仅能够处理流数据还能够实现对小规模批数据进行处理的Flink框架，这是因为Flink能够大规模执行，具有非常高的吞吐量，即使在无序或者数据延迟的情况下也能提供正确的结果，并且它是拥有状态和容错能力，可以从故障中恢复。单纯的Flink的功能较为单一，FlinkSQL在实际应用中功能有限，FlinkCEP使用较为复杂功能也不够完备，不便于快速的对基于诸如系统日志、文件调动、设备状态监控等流数据展开相关业务。因此，如何克服现有仅单一的使用Flink来实现对流数据的处理和业务展开过程存在的缺陷，提供一种功能更丰富、业务展开速度更快、分析效率更高、与实际应用场景结合更紧密的本文档来自技高网...

【技术保护点】
1.一种流数据处理方法，其特征在于，应用于Flink框架，包括：从消息型队列中获取流数据；利用预设的数据解析规则解析所述流数据，得到各键值对事件，并为各所述键值对事件增加类型信息，得到各Schema信息；接收输入的SQL流指令，并利用数据分析引擎按所述SQL流指令对各所述Schema信息进行分析，得到分析结果；通过第一预设路径输出所述分析结果；其中，所述SQL流指令中的各指令基于类SQL语法编写得到，所述类SQL语法为遵循ANSI SQL标准的SQL语法。

【技术特征摘要】
1.一种流数据处理方法，其特征在于，应用于Flink框架，包括：从消息型队列中获取流数据；利用预设的数据解析规则解析所述流数据，得到各键值对事件，并为各所述键值对事件增加类型信息，得到各Schema信息；接收输入的SQL流指令，并利用数据分析引擎按所述SQL流指令对各所述Schema信息进行分析，得到分析结果；通过第一预设路径输出所述分析结果；其中，所述SQL流指令中的各指令基于类SQL语法编写得到，所述类SQL语法为遵循ANSISQL标准的SQL语法。2.根据权利要求1所述的流数据处理方法，其特征在于，在从消息型队列中获取流数据之前，还包括：利用Kafka以主题的方式处理初始流数据，得到所述流数据；对应的，从消息型队列中获取流数据，具体为：从所述Kafka中获取所述流数据。3.根据权利要求1所述的流数据处理方法，其特征在于，接收输入的SQL流指令，包括：利用QueryService通过RestfulAPI接收用户输入的SQL流指令。4.根据权利要求1所述的流数据处理方法，其特征在于，通过第一预设路径输出所述分析结果，包括：将所述分析结果输出至ElasticSearch，以利用所述ElasticSearch解析所述分析结果中包含的数据文档，并通过第二预设路径发送携带有所述数据文档的分析报告或告警信息。5.根据权利要求1至4任一项所述的流数据处理方法，其特征在于，所述数据分析引擎包括：统计分析引擎、正则匹配引擎、机器学习引擎、数据预处理引擎中的至少一项。6.一种流数据处理系统，其特征在于，应用于Fli...

【专利技术属性】
技术研发人员：朱彦安，范渊，龙文洁，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：浙江,33