数据处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术提出了一种数据处理方法，包括：在识别到流式数据处理任务中包含并集操作标识的情况下，对所述流式数据处理任务中包含所述并集操作标识的第一数据处理指令进行解析，得到可识别的第二数据处理指令；通过执行所述第二数据处理指令，以对多个流数据处理结果进行并集操作。本发明专利技术还公开了一种数据处理装置、设备及计算机可读存储介质，通过实施上述方案，实现了流式ETL数据系统对多个流数据处理结果进行并集操作。

Data processing method, device, equipment and computer readable storage medium

【技术实现步骤摘要】
数据处理方法、装置、设备及计算机可读存储介质
本专利技术涉及数据处理
，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。
技术介绍
现有的批量数据模型使用ETL(Extract(抽取)、Transform(交互转换)和Load(加载))构建数据系统，通过查询语言(例如：SQL(StructuredQueryLanguage，结构化查询语言))访问数据系统，以进行数据分析。随着信息数据的实时化和流式化的发展，传统的批量处理数据方式难以应付流式数据处理，且不能很好的满足数据实时计算的需求。为能够实时处理流式数据，流式计算应运而生，流式ETL数据系统能够对源源不断的流式数据进行实时计算和处理，并将处理结果进行存储并提供给业务系统(例如：车辆监控、人员布控和实时人流预警等业务系统)使用，然而现有的流式ETL数据系统在对多个数据流进行合并时，需要对每个数据流做一次插入数据源的操作，计算及存储过程缓慢。
技术实现思路
本专利技术提出了一种数据处理方法、装置、设备及计算机可读存储介质，用以解决现有技术中流式ETL数据系统无本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n在识别到流式数据处理任务中包含并集操作标识的情况下，对所述流式数据处理任务中包含所述并集操作标识的第一数据处理指令进行解析，得到可识别的第二数据处理指令；/n通过执行所述第二数据处理指令，以对多个流数据处理结果进行并集操作。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
在识别到流式数据处理任务中包含并集操作标识的情况下，对所述流式数据处理任务中包含所述并集操作标识的第一数据处理指令进行解析，得到可识别的第二数据处理指令；
通过执行所述第二数据处理指令，以对多个流数据处理结果进行并集操作。


2.根据权利要求1所述的方法，其特征在于，在所述对所述流式数据处理任务中包含所述并集操作标识的第一数据处理指令进行解析之前，所述方法还包括：
当接收到所述流式数据处理任务时，基于预置的并集操作标识字符匹配模板，对所述流式数据处理任务中的所有数据处理指令进行并集操作标识字符匹配识别，以识别所述流式数据处理任务中是否包含并集操作标识。


3.根据权利要求1或2所述的方法，其特征在于，所述可识别的第二数据处理指令包括并集操作的语法树对象；
所述对所述流式数据处理任务中包含所述并集操作标识的第一数据处理指令进行解析，得到可识别的第二数据处理指令，包括：
对所述第一数据处理指令的正则表达式进行词法分析和语法分析，得到可识别的数据处理指令文件；
通过解析所述数据处理指令文件，得到所述并集操作的语法树对象。


4.根据权利要求3所述的方法，其特征在于，所述通过执行所述第二数据处理指令，以对多个流数据处理结果进行并集操作，包括：
根据所述并集操作的语法树对象，对多个流数据处理结果执行并集操作。


5.根据权利要求1所述的方法，其特征在于，在所述通过执行所述第二数据处理指令，以对多个流数据处理结果进行并集操作之前，所述方法还包括：
将接收到的所述流式数据处理任务分解为多个子流式数据处理任务；
并行执行所有独立的子流式数据处理任务，并顺序执行存在依赖关系的子流式数据处理任务，以得到多个所述流数据处理结果。


6.根据权利要求5所述的方法，其特征在于，所述第一数据处理指令的数量为多个；
所述通过执行所述第二数据处理指令，以对多个流数据处理结果进行并集操作，包括：
通过多个线程并行执行每一所述第一数据处理指令对应的第二数据处理指令，以对多个所述流数据处理结果进行并集操作，得到流数据并集处理结果；
将所述流数据并集处理结果插入至输出数据流。


7.一种数据处理装置，其特征在于，包括：
解析模块，用于在识别到流式数据处理任务中包含并集操作标识的情况下，对...

【专利技术属性】
技术研发人员：陈双，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44