一种基于工作流的大数据分析方法技术

本发明专利技术涉及大数据分析技术领域，且公开了一种基于工作流的大数据分析方法，所述通过建立数据库标签和导入外部数据文件到用户空间，以便用户使用数据进行分析，建立数据库标签，连接数据库获取数据库的数据，可以获取的数据库包括HIVE、MYSQL、MSSQL、TRANSWARPINCEPTOR、POSTGRES、ORACLE、neo4j和Elasticsearch等。该发明专利技术，通过本发明专利技术所有的数据处理积木(数据源、操作以及结果)都是使用功能图标来表示，同时使用定向箭头将组件连接在一起来表示组件所代表的数据之间的处理流程，即完整的保存分析思路，也可以随时对工作流进行局部修改，极大的提高了用户的工作效率。的提高了用户的工作效率。

【技术实现步骤摘要】
一种基于工作流的大数据分析方法


[0001]本专利技术涉及大数据分析
，具体为一种基于工作流的大数据分析方法。

技术介绍

[0002]工作流(WorkFlow)属于计算机支持的协同工作(ComputerSupportedCooperativeWork，CSCW)的一部分，是工作流程的计算模型，即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。
[0003]工作流要解决的主要问题是：为实现某个业务目标，在多个参与者之间，利用计算机，按某种预定规则自动传递，目前的工作流的大数据分析存在高效率损耗，动态数据可视效率低等问题，因此需要一种可以把基于因果关系的数据探索转变为流水线的方法，支持程序、自动化执行重复性的任务、数据捕获记录以及不同细节层次上的复杂数据分析过程的重用之间的转移，为程序流水线提供更多的便利为此，我们推出一种基于工作流的大数据分析方法。

技术实现思路

[0004]本专利技术提供了一种基于工作流的大数据分析方法，具备本专利技术可有效地连接数据分析管线的不同阶段，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于工作流的大数据分析方法，其特征在于：所述通过建立数据库标签和导入外部数据文件到用户空间，以便用户使用数据进行分析，建立数据库标签，连接数据库，获取数据库的数据，可以获取的数据库包括HIVE、MYSQL、MSSQL、TRANSWARPINCEPTOR、POSTGRES、ORACLE、neo4j和Elasticsearch等，构建工作流、添加数据、数据预处理、安装功能组件、构建训练模型、模型评估和模型应用和数据的可视化，导入外部数据文件，用户可以导入csv、excel、text、xml等形式的数据，其步骤如下：一、构建工作流在工作流编辑器面板上，新建工作流，打开工作流构建面板。二、添加数据将用户空间中的数据，拖拽到工作流编辑器，用来构建工作流。三、数据预处理在数据挖掘整体过程中，海量的原始数据中存在这大量复杂的，重复的，不完整的数据，严重影响到数据挖掘算法的执行效率，甚至可能导致挖掘结果的偏差。四、安装功能组件构成组件树，为用户进行工作流构建提供功能节点。五、将组件树中的组件拖拽到工作流编辑器面板进行数据预处理在数据预处理过程中，功能组件的使用没有先后顺序，可能某种预处理先后要多次进行。六、构建训练模型用添加的数据，通过一些方法(最优化或者其他方法)确定函数的参数，参数确定后的函数就是训练结果，使用模型把新的数...

【专利技术属性】
技术研发人员：高军，郭毅可，万磊，李世群，泮海燕，邵仁强，周彦葆，薛强强，高强强，张颢頔，朱相东，罗昌，王娜，薛栋杰，冯博，潘卿，王凯哲，刘淑婷，
申请(专利权)人：上海久湛信息科技有限公司，
类型：发明
国别省市：