数据处理方法及系统技术方案

本发明专利技术提供了一种数据处理方法及系统，所述数据处理方法包括：构建算法组件树，所述算法组件树包括多种类多个不同的算法组件，所述各算法组件为数据处理所需的最小单元的算法；构建数据处理工程，根据不同的数据处理工程的需要，从所述算法组件树选取所需的算法组件，拖拽进所述数据处理工程，并将各算法组件进行连接；算法配置，根据不同的数据处理工程的需要，对所述数据处理工程中的各算法组件进行算法配置；运行所述数据处理工程并输出数据处理结果。本发明专利技术所述数据处理方法及系统较为直观且时效性较强。且时效性较强。且时效性较强。

【技术实现步骤摘要】
数据处理方法及系统


[0001]本专利技术涉及大数据
，尤其涉及一种数据处理方法及系统。

技术介绍

[0002]数据已经成为各行各业越来越重要的资产，普及数据分析也是公认的趋势，通过深度数据建模，为企业提供预测能力。目前市场上数据分析的展现形式大多以页面表格操作或者后端脚本运行操作数据库，不够直观和时效性不强。

技术实现思路

[0003]基于前述的现有技术缺陷，本专利技术提供了一种较为直观且时效性较强的数据处理方法及系统。
[0004]为了实现上述目的，本专利技术提供了一种数据处理方法，包括：构建算法组件树，所述算法组件树包括多种类多个不同的算法组件，所述各算法组件为数据处理所需的最小单元的算法；构建数据处理工程，根据不同的数据处理工程的需要，从所述算法组件树选取所需的算法组件，拖拽进所述数据处理工程，并将各算法组件进行连接；算法配置，根据不同的数据处理工程的需要，对所述数据处理工程中的各算法组件进行算法配置；运行所述数据处理工程并输出数据处理结果。
[0005]进一步，所述算法组件树包括的种类包括：输入目标源、数据预处理、统计分析、图表、机器学习、文本分析、时间序列、深度学习、图像处理、模型、扩展编程、自定义组件。
[0006]进一步，还包括：加载页面，加载用于工程设计的布局的容器页；所述构建算法组件树、构建数据处理工程、算法配置、运行所述数据处理工程并输出数据处理结果均在所述容器页中进行和呈现。
[0007]进一步，所述加载页面是根据使用者的操作指令而进行，所述操作指令包括：新建、编辑、查看历史记录。
[0008]进一步，所述算法配置包括：字段配置、参数配置、组件描述，所述字段配置包括：text、label。
[0009]进一步，数据处理结果包括：数据转换、分析模型。
[0010]进一步，运行所述数据处理工程时，所述数据处理工程中的各算法组件均输出日志和中间数据。
[0011]进一步，所述数据处理方法基于Vue2.0，JavaScript开发的网页应用进行。
[0012]本专利技术还提供一种数据处理系统，包括：构建算法组件树模块，构建算法组件树，所述算法组件树包括多种类多个不同的算法组件，所述各算法组件为数据处理所需的最小单元的算法；构建数据处理工程模块，根据不同的数据处理工程的需要，从所述算法组件树选
取所需的算法组件，拖拽进所述数据处理工程，并将各算法组件进行连接，构建数据处理工程；算法配置模块，根据不同的数据处理工程的需要，对所述数据处理工程中的各算法组件进行算法配置。
[0013]进一步，还包括：容器页，用于工程设计的布局；所述构建算法组件树模块、构建数据处理工程模块、算法配置模块分别位于所述容器页的左、中、右三部分。
[0014]进一步，所述算法组件树包括的种类包括：输入目标源、数据预处理、统计分析、图表、机器学习、文本分析、时间序列、深度学习、图像处理、模型、扩展编程、自定义组件。
[0015]进一步，所述算法配置包括：字段配置、参数配置、组件描述，所述字段配置包括：text、label。
[0016]本专利技术所述数据处理方法及系统，针对当前数据建模分析不能很好的可视化与动态配置的缺陷，提供一种全新的实现方式，解决了缺陷。通过拖拽算法组件的方式，以连线方式传递数据，并可以对每个算法组件进行算法配置。使用者可以运行自己构建的数据处理工程，运行过程动态展示，可以清楚的看到工程具体运行到某一步，每个算法组件运行后的都会有日志和输出中间数据，有些算法组件会生成分析模型文件，使用者可以用来判断该流程是否符合要求。所以本专利技术所述数据处理方法及系统较为直观且时效性较强。而且每次工程的运行都会记录下来，用户可以通过运行历史记录查看具体某一次运行的信息。
附图说明
[0017]在此描述的附图仅用于解释目的，而不意图以任何方式来限制本专利技术公开的范围。另外，图中的各部件的形状和比例尺寸等仅为示意性的，用于帮助对本专利技术的理解，并不是具体限定本专利技术各部件的形状和比例尺寸。本领域的技术人员在本专利技术的教导下，可以根据具体情况选择各种可能的形状和比例尺寸来实施本专利技术。在附图中：图1为本专利技术一实施方式提供的一种数据处理方法的流程示意图；图2为本专利技术一具体实施例提供的一种数据处理方法的示意图；图3为本专利技术一具体实施例提供的一种数据处理方法的查看日志的示意图；图4为本专利技术一具体实施例提供的一种数据处理方法的运行数据处理工程的示意图。
具体实施方式
[0018]为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0019]请参阅图1所示，本专利技术一实施方式提供一种数据处理方法，包括：构建算法组件树，所述算法组件树包括多种类多个不同的算法组件，所述各算法组件为数据处理所需的最小单元的算法；构建数据处理工程，根据不同的数据处理工程的需要，从所述算法组件树选取所
需的算法组件，拖拽进所述数据处理工程，并将各算法组件进行连接；算法配置，根据不同的数据处理工程的需要，对所述数据处理工程中的各算法组件进行算法配置；运行所述数据处理工程并输出数据处理结果。
[0020]请参阅图2所示，所述数据处理方法一具体实施例基于Vue2.0，JavaScript开发的网页应用进行，当然也可以基于其他适用的软件进行开发。
[0021]在此具体实施例中，所述算法组件树包括的种类包括：输入目标源、数据预处理、统计分析、图表、机器学习、文本分析、时间序列、深度学习、图像处理、模型、扩展编程、自定义组件，如图2中左边部分所示。上述各算法组件是根据以前经验进行整理和分类，均为一般数据处理最常所需运用的算法，而且是最小单元的算法。如此，使用者就可以根据自己当前工程项目的需要任意选择所需的算法组件进行组合搭配。当然，考虑到也有可能出现此处预先构建好的算法组件均不能满足使用者的某项特定需求，所以也预设了自定义组件，使用者可以在自定义组件下自行开发自己所需的算法组件，然后与上述其他预先构建好的算法组件进行组合搭配。
[0022]在此具体实施例中，所述的数据处理方法还包括：加载页面，加载用于工程设计的布局的容器页；所述构建算法组件树、构建数据处理工程、算法配置、运行所述数据处理工程并输出数据处理结果均在所述容器页中进行和呈现。如图2中所示，如前所述，所述构建算法组件树是位于容器页的左边部分；所述构建数据处理工程是位于容器页的中间部分；所述算法配置是位于容器页的右边部分。构建数据处理工程时，根据不同的数据处理工程的需要，从左边所述算法组件树中选取所需的算法组件，往中间拖拽进所述数据处理工程，并将各算法组件进行连接，以此传播数据，如此则构建完成所需的数据处理工程。算法配置，则本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：构建算法组件树，所述算法组件树包括多种类多个不同的算法组件，所述各算法组件为数据处理所需的最小单元的算法；构建数据处理工程，根据不同的数据处理工程的需要，从所述算法组件树选取所需的算法组件，拖拽进所述数据处理工程，并将各算法组件进行连接；算法配置，根据不同的数据处理工程的需要，对所述数据处理工程中的各算法组件进行算法配置；运行所述数据处理工程并输出数据处理结果。2.如权利要求1所述的数据处理方法，其特征在于，所述算法组件树包括的种类包括：输入目标源、数据预处理、统计分析、图表、机器学习、文本分析、时间序列、深度学习、图像处理、模型、扩展编程、自定义组件。3.如权利要求1所述的数据处理方法，其特征在于，还包括：加载页面，加载用于工程设计的布局的容器页；所述构建算法组件树、构建数据处理工程、算法配置、运行所述数据处理工程并输出数据处理结果均在所述容器页中进行和呈现。4.如权利要求3所述的数据处理方法，其特征在于，所述加载页面是根据使用者的操作指令而进行，所述操作指令包括：新建、编辑、查看历史记录。5.如权利要求1所述的数据处理方法，其特征在于，所述算法配置包括：字段配置、参数配置、组件描述，所述字段配置包括：text、label。6.如权利要求1所述的数据处理方法，其特征在于，数据处理结果包括：数据转换、分析模型。7.如权利要...

【专利技术属性】
技术研发人员：李玉蝉，陈善，
申请(专利权)人：苏州瀚码智能技术有限公司，
类型：发明
国别省市：