【技术实现步骤摘要】
一种基于元数据的流式数据处理系统
[0001]本专利技术涉及数据处理
，尤其涉及一种基于元数据的流式数据处理系统。
技术介绍
[0002]目前随着互联网、物联网技术飞速的发展，信息浏览、检索，物联网设备的数据上报，以及电子商务、互联网等很多常见的生活产品已经全部在线化。对于实时的要求进一步提升，而信息的交互和沟通正在从点对点往信息链甚至信息网的方向发展，这样必然带来数据在各个维度的交叉关联，数据爆炸已不可避免，因此流式处理应运而生，解决了实时框架和数据大规模计算的问题。
[0003]当前实时处理需要掌握各种大数据技术及流处理技术，对开发人员技能要求较高。当流式数据处理业务较多时，缺乏统一的管理，业务快速演进、需求快速变化，设计新的数据处理流程或者修改已有的流程无法迅速实施。
[0004]鉴于当前智慧安防、智慧城市、智慧农业、智慧交通等行业的飞速发展，积累了大量数据，这些数据的汇聚和治理，往往需要各平台自己完成，这就产生了大量重复工作，并且数据缺乏管理，难以充分利用。
[0005]这就需要一套适用...
【技术保护点】
【技术特征摘要】
1.一种基于元数据的流式数据处理系统，其特征在于，包括：元数据管理模块，所述元数据管理模块能够根据数据的形态和存储方式定义元模型的结构；流程管理模块，包括流程管理组件及流程编排组件，所述流程编排组件嵌有流程编排交互界面，在所述流程编排交互界面通过拖放算子进行可视化流程编排，编排完成后形成流式处理流程及相应的流程元数据；所述流程管理组件能够获取所述流程元数据并解析为流程执行图；流程调度模块，所述流程调度模块能够获取流程执行图，并根据所述流程执行图分配执行任务并发出相应的执行指令；流程执行模块，所述流程执行模块能够接收所述执行指令，并执行相应的所述执行任务，启动相应的算子开始计算。2.根据权利要求1所述的基于元数据的流式数据处理系统，其特征在于，所述元模型包括：接口元模型、逻辑元模型、物理元模型；根据所述元模型定义相应的元数据的结构，所述元数据包括：接口元数据、逻辑元数据、物理元数据。3.根据权利要求2所述的基于元数据的流式数据处理系统，其特征在于，所述算子包括：汇聚算子、转换算子、分发算子、聚合算子、推送算子。4.根据权利要求3所述的基于元数据的流式数据处理系统，其特征在于，所述可视化流程编排具体步骤依次为：1、拖放所述源端数据的配置信息和所述汇聚算子至所述流程编排交互界面，关联所述源端数据与接口元数据得到接口模型；3、拖放所述转换算子，自动获取上级模型作为输入模型，如果存在下级模型则获取下级模型作为输出模型，不存在则匹配逻辑元数据获取选取模型，使用图形化配置输入模型与输出模型的关系，通过连线进行字段关联，形成映射规则；4、拖放所述分发算子，并配置所述聚合算子输入模型和输出模型，实现聚合开窗操作；5、拖放推送算子，配置输出模型，如果存在目标数据则读取目标物理模型；6、拖放目标数据的配置信息，配置物理模型，及目标数据类型、目标数据连接信息；7、通过图形化操作，将上述1
‑
6步骤连线后形成流式处理流程。5.根据权利要求4所述的基于元数据的流式数据处理系统，其特征在于，所述流程执行模块内部嵌有任务执行程序，所述任务执行程序接收到执行请求，启动执行相应的算子...
【专利技术属性】
技术研发人员：陶志强，魏晟坤，蒲凌云，马新成，
申请(专利权)人：中通服公众信息产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。