一种流式数据处理方法、系统、计算机设备及存储介质技术方案

本发明专利技术实施例公开了一种流式数据处理方法、系统、计算机设备及存储介质，方法包括：对待建立流数据任务的关联任务节点进行可视化配置，得到可视化流数据任务；其中，所述关联任务节点包括数据输入节点和数据输出节点；从所述数据输入节点获取源数据，并对所述源数据进行处理，得到输出数据；将所述输出数据输出至数据输出节点，以使所述数据输出节点输出目标数据；其中，所述源数据为流式数据。本发明专利技术实施例的技术方案能够实现流式数据处理流程的可视化管理，并降低流式数据处理的学习成本。

【技术实现步骤摘要】
一种流式数据处理方法、系统、计算机设备及存储介质
本专利技术实施例涉及数据处理
，尤其涉及一种流式数据处理方法、系统、计算机设备及存储介质。
技术介绍
大规模数据分析处理系统的任务就是对海量数据进行处理，从大量数据中分析挖掘出有价值的知识。通常的数据处理系统需要读取来自各个数据源的数据，并对读取的数据进行分析和处理。常用的数据处理方式有四种：传统ETL(Extract,transform,load，抽取、清洗、转换、装载)工具、MapReduce(一种编程模型)、Hive(一个数据仓库工具)及Spark(一种计算引擎)，用户一般会选择特定场景来选择数据处理方式。ETL作为一种数据处理工具，能够将业务系统的源数据经过抽取、清洗转换之后加载到数据仓库，从而将分散、零乱、标准不统一的数据进行整合。MapReduce作为一种数据处理工具，能够进行大规模数据集(大于1TB)的并行运算。Hive作为基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql(StructuredQueryLanguage，本文档来自技高网...

【技术保护点】
1.一种流式数据处理方法，其特征在于，包括：/n对待建立流数据任务的关联任务节点进行可视化配置，得到可视化流数据任务；其中，所述关联任务节点包括数据输入节点和数据输出节点；/n从所述数据输入节点获取源数据，并对所述源数据进行处理，得到输出数据；/n将所述输出数据输出至数据输出节点，以使所述数据输出节点输出目标数据；/n其中，所述源数据为流式数据。/n

【技术特征摘要】
1.一种流式数据处理方法，其特征在于，包括：
对待建立流数据任务的关联任务节点进行可视化配置，得到可视化流数据任务；其中，所述关联任务节点包括数据输入节点和数据输出节点；
从所述数据输入节点获取源数据，并对所述源数据进行处理，得到输出数据；
将所述输出数据输出至数据输出节点，以使所述数据输出节点输出目标数据；
其中，所述源数据为流式数据。


2.根据权利要求1所述的方法，其特征在于，所述关联任务节点还包括至少一个数据转换节点；
所述从所述数据输入节点获取源数据，并对所述源数据进行处理，得到输出数据，包括：
从所述数据输入节点获取源数据，通过所述数据转换节点对所述源数据进行数据转换操作，得到所述输出数据。


3.根据权利要求2所述的方法，其特征在于，所述数据输入节点的类型为多个；所述输出节点的类型为多个；
从所述数据输入节点获取源数据，并对所述源数据进行处理，得到输出数据，包括：
从所述数据输入节点获取至少一种源数据，并对所述源数据进行处理，得到输出数据；
所述将所述输出数据输出至数据输出节点，以使数据输出节点设定输出需求输出目标数据，包括：
将所述输出数据输出至至少一个所述数据输出节点，以使所述数据输出节点输出对应的目标数据。


4.根据权利要求3所述的方法，其特征在于，所述源数据为单一流式数据；
所述对所述源数据进行处理，包括：
根据各所述数据转换节点的执行逻辑顺序对所述单一流式数据依次进行数据转换操作，得到所述输出数据。


5.根据权利要求3所述的方法，其特征在于，所述源数据为混合流式数据；
所述对所述源数据进行处理，包括：
根据数据匹配条件对所述混合流式数据进行条件匹配；所述数据匹配条件包括至少一个数据匹配子条件；所述数据匹配子条件对应不同的数据转换操作；
确定与所述混合流式数据相匹配的多个目标数据匹配子条件，并根据各所述目标数据匹配子条件的标识对所述混合流式数据进行标记，得到标记混合流式数据；
根据各所述目标数据匹配子条件的标识对所述标记混合流式数据进行分流操作，得到多种分流流式数据；
根据各所述目标数据匹配子条件对应的各所述数据转换节点的执行逻辑顺序对各所述分流流式数据依次进行数据转换操作，得到所述输出数据。

...

【专利技术属性】
技术研发人员：张建浩，武林红，侯立冬，孟宝权，梁彧，田野，傅强，王杰，杨满智，蔡琳，金红，陈晓光，
申请(专利权)人：恒安嘉新北京科技股份公司，
类型：发明
国别省市：北京;11