【技术实现步骤摘要】
本申请涉及数据处理，特别是涉及一种数据处理系统。
技术介绍
1、在大数据时代，各种类型的数据呈现出来爆发式增长。这些海量庞大复杂的数据经过处理后，又会形成新的数据，最终又回到数据的海洋中。根据数据处理平台的本质可以抽象出一个简单的概念模型，即，将一个数据集按某种规则变化为另一个数据集。在这个过程中会存在几个问题：数据量大，传统的数据加工方式难以处理海量的的数据，数据处理效率低下；存在各个团队重复建设的问题，无法复用已有的能力；对开发人员要求素质高，需要了解具体的技术细节；缺乏一个统一的数据加工平台，管理所有的数据处理需求，解决复杂的数据加工过程，不利于后续追踪整理。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种数据处理系统，以便提高处理效率，并且有助于后续数据追踪和治理。
2、一种数据处理系统，其特征在于，所述系统包括数据处理平台和元数据系统；
3、数据处理平台包括数据处理服务模块、任务管理模块，作业信息提交模块和算子库；
4、元数据系统包括过程元数据分系统和数据元数据分系统；其中，过程元数据分系统包括任务元数据子系统和执行计划元数据子系统；
5、任务管理模块用于根据制定的算子库以及数据处理逻辑对应的有向无环图生成任务，并将任务向任务元数据子系统进行注册；数据处理逻辑是从相应的数据处理请求中提取而得；有向无环图是数据处理逻辑的语义表达，有向无环图中的每一节点表示一个功能逻辑，功能逻辑由算子库中的算子实现；
6
7、任务调度模块用于接收执行计划，并按照预设时间发送执行计划中的各个任务信息至作业信息提交模块；
8、作业信息提交模块用于根据接收的任务信息获取可执行程序，并将所述可执行程序提交至指定的执行引擎开始运行。
9、上述数据处理系统中包括数据处理平台、数据元数据系统以及过程元数据系统，其中，数据处理平台包括数据处理服务模块、任务管理模块，作业信息提交模块和算子库；元数据系统包括过程元数据分系统和数据元数据分系统；任务管理模块负责根据算子库和数据处理逻辑生成任务并向过程元数据分系统注册，数据处理服务模块负责根据数据处理请求从过程元数据分系统获取任务信息并将编制得到的执行计划向过程元数据分系统注册，任务调度模块负责将执行计划中的任务信息发送给作业信息提交模块，作业信息提交模块负责根据任务信息获取可执行程度并提交到执行引擎。综上，首先，数据处理系统中的数据处理平台和元数据系统相互配合，分工协同工作，能够提高数据处理效率；其次，数据处理平台中的各个模块之间以有序工作，与此同时，该多个模块还分别与元数据系统进行数据交互，使得数据流的传输过程更加清晰，便于后续的数据追踪和治理。
本文档来自技高网...【技术保护点】
1.一种数据处理系统，其特征在于，所述系统包括数据处理平台和元数据系统；
2.根据权利要求1所述的系统，其特征在于，所述数据处理逻辑中包括：第一部分：接入待处理的数据；第二部分：对待处理的数据进行处理加工以及第三部分：将处理好的数据输出到相应的存储器中；每个部分均由相应的算子构成；
3.根据权利要求1所述的系统，其特征在于，所述数据处理系统还包括任务状态同步模块；
4.根据权利要求1所述的系统，其特征在于，所述过程元数据分系统的接口包括：
5.根据权利要求1所述的系统，其特征在于，所述数据元数据分系统包括数据源元数据子系统、数据目录元数据子系统和数据集元数据子系统；
6.根据权利要求1所述的系统，其特征在于，所述数据元数据分系统的接口包括：
7.根据权利要求1所述的系统，其特征在于，所述过程元数据分系统中还包括数据血统元数据子系统；所述血统元数据子系统中包括血缘注册器；
8.根据权利要求7所述的系统，其特征在于，所述血缘元数据子系统中还包括血缘查询器；
9.根据权利要求8所述的系统，其
10.根据权利要求9所述的系统，其特征在于，所述数据处理平台还包括查询模块；
...【技术特征摘要】
1.一种数据处理系统，其特征在于，所述系统包括数据处理平台和元数据系统；
2.根据权利要求1所述的系统，其特征在于，所述数据处理逻辑中包括：第一部分：接入待处理的数据；第二部分：对待处理的数据进行处理加工以及第三部分：将处理好的数据输出到相应的存储器中；每个部分均由相应的算子构成；
3.根据权利要求1所述的系统，其特征在于，所述数据处理系统还包括任务状态同步模块；
4.根据权利要求1所述的系统，其特征在于，所述过程元数据分系统的接口包括：
5.根据权利要求1所述的系统，其特征在于，所述数据元数据分系统包括数据源元数据子系统、数据目录元数据子系统和...
【专利技术属性】
技术研发人员：沈召权，秦旸，
申请(专利权)人：宁波深擎信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。