一种逻辑流大数据处理方法及处理系统技术方案

本发明专利技术提供一种逻辑流大数据处理方法及处理系统，本方法通过对页面上的逻辑流元素进行简单的拖、拉、拽，结合输入逻辑流元素的固定属性配置等简单直观方式操作，即可自动序列化创建业务所需逻辑流式大数据处理任务；任务创建成功后只需启动任务，等待其运行完成即可，任务执行过程中也可实时观察任务的运行状态。作为开发工程师，经过简单的培训工作后，除了分析师人员的上述操作，还可在此基础上进行特殊业务逻辑流的可扩展开发工作，只需输入符合规则的逻辑流即可。规则的逻辑流即可。规则的逻辑流即可。

【技术实现步骤摘要】
一种逻辑流大数据处理方法及处理系统


[0001]本专利技术涉及软件开发领域，更具体地，涉及一种逻辑流大数据处理方法及处理系统。

技术介绍

[0002]随着信息化建设的不断发展，我们已被海量的数据所包围，那么如何从海量的数据中提取有用有价值的信息已成为当前大数据主流研究方向，大数据处理无疑成为当中关键环节，大数据处理流程主要包含数据采集、数据治理、数据服务等。数据采集为后续数据处理提供了初始数据源；数据治理可以在大量的初始数据集中按照预先设置的规则将不完整数据、重复数据以及错误数据等“脏"数据内容进行清洗，提取有用有价值的数据，最终得到符合要求的“干净”数据,并加载到数据仓库中进行存储；数据服务将这些“干净”的数据进行数据分析、挖掘，为企业的决策提供分析依据。
[0003]目前市场上对于这几个关键流程已有一些类似系统和产品，但配置复杂，可视化效果差。逻辑流大数据处理系统能帮助简化大数据处理的过程，对无编程经验的分析师们提供友好的交互使用体验，提高开发人员效率，减少开发人员成本。

技术实现思路

[0004]本专利技术针对现有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种逻辑流大数据处理方法，其特征在于，包括：在前端创建逻辑流大数据处理任务，并向服务端提交创建的逻辑流大数据处理任务；后端将前端提交的逻辑流大数据处理任务持久化至数据库中，并创建command任务队列，所述command任务队列中顺序存储待处理逻辑流大数据处理任务的command命令；后端中的MasterServer定时扫描所述command任务队列，将提取的待处理的逻辑流大数据处理任务按照逻辑流元素拆分为多个子任务，并将多个子任务按照有向无环图优先级关系分发至子任务队列中；WorkerServer从所述子任务队列中提取子任务，分配至任务执行器中进行任务执行，并向所述MasterServer返回执行结果；MasterServer根据返回的任务执行结果，更新任务状态。2.根据权利要求1所述的逻辑流大数据处理方法，其特征在于，所述在前端创建逻辑流大数据处理任务，并向服务端提交创建的逻辑流大数据处理任务，包括：进入项目管理页面，创建新项目；点击新项目，进入项目管理，点击逻辑流管理功能区，进入逻辑流管理页面；在逻辑流管理页面，点击创建，进入逻辑流创建界面，根据需要选择逻辑流组件区的逻辑流元素，将逻辑流元素拖拽至画板中，并按照向导编辑逻辑流元素特定设置，形成逻辑流任务中的一个节点；若节点之间有需要按照顺序执行，将有先后顺序的节点之间通过有向箭头连接；当各节点创建好并设置好节点间的执行先后顺序关系，点击页面上的保存按钮，设置好逻辑流任务名，将逻辑流任务的节点信息和节点先后顺序关系传给后端；在逻辑流管理页面上对创建好的逻辑流任务进行发布，发布后的逻辑流任务能够点击运行按钮或定时按钮进行任务的执行。3.根据权利要求2所述的逻辑流大数据处理方法，其特征在于，所述逻辑流元素包括多种类型，包括SHELL、SQL、MapReduce和DataX。4.根据权利要求1所述的逻辑流大数据处理方法，其特征在于，所述后端将前端提交的逻辑流大数据处理任务持久化至数据库中，并创建command任务队列，所述command任务队列中顺序存储待处理逻辑流大数据处理任务的command命令，包括：后端上提供的API接口将前端提交的逻辑流任务持久化至服务器；当用户点击任务运行按钮或任务定时执行按钮后，创建一个逻辑流任务待处理的command命令并按槽位持久化至数据库中，形成command任务队列，其中，所述command任务队列中存储有command命令，其中，一个command命令对应一个待处理逻辑流大数据任务。5.根据权利要求4所述的逻辑流大数据处理方法，其特征在于，所述后端中的MasterServer定时扫描所述command任务队列，将提取的待处理的逻辑流大数据处理任务按照逻辑流元素拆分为多个子任务，并将多个子任务按照有向无环图优先级关系分发至子任务队列中，包括：MasterServer不定时扫...

【专利技术属性】
技术研发人员：张龙，郝江波，周明，刘星，
申请(专利权)人：武汉光庭信息技术股份有限公司，
类型：发明
国别省市：