【技术实现步骤摘要】
基于数据湖服务器的算法配置组合平台
本专利技术涉及数据处理
，具体涉及基于数据湖服务器的算法配置组合平台。
技术介绍
数据库技术是现代计算机信息系统和计算机应用系统的基础和核心，是信息系统的重要组成部分。在进行数据库应用系统开发时，通常需要将数据库数据导出以用于本系统备份或与其它系统进行数据共享和交换。数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS(Hadoop分布式文件系统)廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。数据湖的一部分价值是把不同种类的数据汇聚到一起，另一部分价值是不需要预定义的模型就能进行数据分析。现在的大数据架构是可扩展的，并且可以为用户提供越来越多的实时分析。数据湖架构面向多数据源的信息存储，包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。目前数据湖相关的算法设计单纯依靠经验，需要反复测...
【技术保护点】
1.一种基于数据湖服务器的算法配置组合平台，其特征在于，包含：数据目录区，数据预处理工作台，数据预处理资源目录区，通用算法操作目录区，算法流程工作台，模型资源目录区，知识库；/n在所述数据目录区中保存用户上传数据时建立的数据目录；/n所述数据预处理工作台将读取若干个数据目录中存放的数据，且进行预处理工作之后形成数据预处理资源，并将已生成的数据预处理资源保存至所述数据预处理资源目录区；/n所述通用算法操作目录区存放若干个算法操作，并将一个或多个算法操作传递给所述算法流程工作台；/n所述算法流程工作台中选择算法操作的先后顺序，并输入算法需要的阈值；/n所述数据预处理资源目录区中...
【技术特征摘要】
1.一种基于数据湖服务器的算法配置组合平台，其特征在于，包含：数据目录区，数据预处理工作台，数据预处理资源目录区，通用算法操作目录区，算法流程工作台，模型资源目录区，知识库；
在所述数据目录区中保存用户上传数据时建立的数据目录；
所述数据预处理工作台将读取若干个数据目录中存放的数据，且进行预处理工作之后形成数据预处理资源，并将已生成的数据预处理资源保存至所述数据预处理资源目录区；
所述通用算法操作目录区存放若干个算法操作，并将一个或多个算法操作传递给所述算法流程工作台；
所述算法流程工作台中选择算法操作的先后顺序，并输入算法需要的阈值；
所述数据预处理资源目录区中选择一个数据预处理资源作为第一个算法操作的训练集数据，并开始训练算法流程；
若所述算法流程是计算结果的算法流程，则其计算结果保存至所述知识库；
若所述算法流程是训练模型的算法流程，则训练模型保存至所述模型资源目录区；
所述模型资源目录区中选取已生成的训练模型，并且选取数据预处理资源目录区中未分类的数据进行计算，并将产生的计算结果保存至知识库中，将生成的模型以及与模型有关的数据，以文件形式存储在数据湖服务器中的分布式文件系统中，并在将来需要时作为数据可视化编辑展示平台的模型来源和数据来源。
2.如权利要求1所述的一种基于数据湖服务器的算法配置组合平台，其特征在于，计算结果的算法流程包含聚类、关联规则算法。
训练模型的算法流程包含分类、回归、人工神经网络算法和数据特征变换操作。
3.如权利要求2所述的一种基于数据湖服务器的算法配置组合平台，其特征在于，所述通用算法操作目录区上提供的数据特征变换操作进一步包含：降维、分箱、归一化。
4.如权利要求1所述的一种基于数据湖服务器的算法配置组合平台，其特征在于，所述数据预处理工作包括阈值进行数据筛选和分组求值；
所述算法流程工作台中若不输入阈值，则以缺省值来替代。
5.如权利要求1所述的一种基于数据湖服务器的算法配置组合平台，其特征在于，所述数据目录中存放的数据包含表、字段和数据标签。
6.如权利要求1所述的一种基于数据湖服务器的算法配置组合平台，其特征在于，数据拥有者在一个数据湖服务器节点通过用户名和密码登录图形化的操作界面，接入数据湖服务器管理平台，再点击按钮算法配置组合平台；
数据目录区，数据预处理工作台，数据预处理资源目录区，通用算法操作目录区，算法流程工作台，模型资源目录区，知识库，控制台均为图形化界面。
7.如权利要求1所述的一种基于数据湖服务器的算法配...
【专利技术属性】
技术研发人员：陈刚，
申请(专利权)人：中云开源数据技术上海有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。