一种算法应用管理平台制造技术

本发明专利技术公开了一种算法应用管理平台，其集成了若干算法的算法实现层、算法支持层和算法存储层；所述的算法支持层与算法实现层之间通过标准接口进行交互，所述的算法支持层用于对算法进行组合形成新业务所需的算法；所述的算法存储层用于各类挂载于算法应用管理平台的算法进行服务器端的存储。用户可以使用该平台提供的成熟算法应用，节省成本，提高效率，满足企业对平台的不同需求，丰富平台对算法的支持，提高处理速度。

An algorithm application management platform

【技术实现步骤摘要】
一种算法应用管理平台
本专利技术涉及算法开发集成与软件应用管理领域，特别涉及一种算法应用管理平台。
技术介绍
数据库技术是现代计算机信息系统和计算机应用系统的基础和核心，是信息系统的重要组成部分。在进行数据库应用系统开发时，通常需要将数据库数据导出以用于本系统备份或与其它系统进行数据共享和交换。数据湖或hub的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS(Hadoop分布式文件系统)廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。数据湖的一部分价值是把不同种类的数据汇聚到一起，另一部分价值是不需要预定义的模型就能进行数据分析。现在的大数据架构是可扩展的，并且可以为用户提供越来越多的实时分析。数据湖架构面向多数据源的信息存储，包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。基于上述数据需要开发多样的算法，现有的算法应用管理平台复杂且不友好，开发成本高，效率低下。
技术实现思路
本专利技术的目的是提供一种算法应用管理平台，用户可以使用该平台提供的成熟算法应用，节省成本，提高效率，满足企业对平台的不同需求，丰富平台对算法的支持，提高处理速度。为了实现以上目的，本专利技术是通过以下技术方案实现的：一种算法应用管理平台，其特点是，其集成了若干算法的算法实现层、算法支持层和算法存储层；所述的算法支持层与算法实现层之间通过标准接口进行交互，所述的算法支持层用于对算法进行组合形成新业务所需的算法；所述的算法存储层用于各类挂载于算法应用管理平台的算法进行服务器端的存储。所述的算法实现层用于原始算法设计，通过满足所述算法应用管理平台定义的接口完成算法的设计及实现。所述的算法实现层和算法支持层之间采用的标准接口为Python定义的接口类型，用户通过实现该接口所定义的抽象方法完成算法从本地的实现到算法应用管理平台的挂载。所述的算法支持层包括：算法挂载模块，用于通过提供标准接口将若干算法挂载在算法应用管理平台，所述算法挂载模块支持用于用户上传算法，在算法上传页面填写基本信息，挂载成功的算法将存储到配置中心，以供用户构建其算法；算法运行模块，其由用户控制，请求服务器端运行算法；算法维护模块，用于用户对已挂载的算法进行逻辑调整、删除不必要代码操作，实现对算法的维护；算法评测模块，用于对多个组合的算法在运行结果、运行时间多方面进行评测；算法组合模块，用于用户对在算法应用管理平台已挂载的多个算法进行组合；算法详情展示模块，用于展示算法所采用的数据结构和所编写的函数。所述的算法应用管理平台支持算法应用开发时的算法训练，包括数据源来源设置与参数设置。所述的算法组合模块支持算法的系列流程的组合，组合多种现成的或者再开发的算法应用和过程，成为一个复杂算法，并包装为一个算法应用。所述的算法运行模块是基于微服务理念的算法部署实施的方法，即：把算法编译成一个微服务，微服务具备独立的运行进程，每个微服务可以独立部署，所述的微服务使用Docker容器部署，每个Docker容器中可以运行多个微服务，Docker容器以集群的方式部署，使用DockerSwarm对所述Docker容器进行管理。所述的算法存储层使用Git存储机制，对算法进行版本控制。所述的算法应用管理平台集成了深度学习框架和分布式计算框架。所述的算法应用管理平台根据用户身份决定其在登录后的具体显示界面、拥有的操作权限以及进行中的进程，并自动载入上一次登录退出时的操作管理流程。所述的操作权限为用户可以发布分享自己拥有的算法，与多个算法应用管理平台的其他用户共用，也可以查看所有分享给自己的算法；进一步，可以查询其他用户公开或共享给自己的算法。支持对数据湖服务器的访问，所述数据湖服务器是包含关系型数据库、文档型数据库、分布式文件系统和图数据库这四类数据库的数据存储和管理服务平台，该平台采用分布式运算和存储架构，集成了具有数据存储和运算功能的各类计算机单机、服务器和计算机集群/服务器集群，并提供包括数据管理、算法开发在内的各类功能组件。本专利技术与现有技术相比，具有以下优点：1、用户可以使用该平台提供的成熟算法应用，节省成本，提高效率，满足企业对平台的不同需求，丰富平台对算法的支持，提高处理速度。2、算法运行简单，便于用户开发算法，将软件与算法融合在一个平台上，节省成本，提升效率。3、利用已有的应用组合为一个复杂的算法流程，提升开发效率，简化执行过程。4、解决了用户身份管理的复杂性问题，使得用户操作友好简便。附图说明图1为本专利技术一种算法应用管理平台的结构示意图。图2为算法支持层的结构示意图。具体实施方式以下结合附图，通过详细说明一个较佳的具体实施例，对本专利技术做进一步阐述。如图1所示，一种算法应用管理平台100，包括通用的算法应用，其集成了若干算法的算法实现层101、算法支持层102和算法存储层103；所述的算法支持层102与算法实现层101之间通过标准接口进行交互，所述的算法支持层102用于对算法进行组合形成新业务所需的算法；所述的算法存储层103用于各类挂载于算法应用管理平台的算法进行服务器端的存储。所述的算法实现层用于原始算法设计，通过满足所述算法应用管理平台定义的接口完成算法的设计及实现。所述的算法实现层和算法支持层之间采用的标准接口为Python定义的接口类型，用户通过实现该接口所定义的抽象方法完成算法从本地的实现到算法应用管理平台的挂载。如图2所示，所述的算法支持层200包括：算法挂载模块201，用于通过提供标准接口将若干算法挂载在算法应用管理平台；算法运行模块202，其由用户控制，请求服务器端运行算法；算法维护模块203，用于用户对已挂载的算法进行逻辑调整、删除不必要代码操作，实现对算法的维护；算法评测模块204，用于对多个组合的算法在运行结果、运行时间多方面进行评测；算法组合模块205，用于用户对在算法应用管理平台已挂载的多个算法进行组合；算法详情展示模块206，用于展示算法所采用的数据结构和所编写的函数。所述的算法挂载模块为：算法应用管理平台支持用户上传算法，用户在算法上传页面填写基本信息，挂载成功的算法将存储到配置中心，以供用户构建自己的算法；进一步，算法应用管理平台也支持用户基于软件开发管理平台自行开发新的算法应用，支持算法应用开发时的算法训练，包括数据源来源设置与参数设置。上述的算法维护模块用于支持算法的在线编辑。所述的算法组合模块支持算法的系列流程的组合，组合多种现成的或者再开发的算法应用和过程，成为一个复杂算法，并包装为一个算法应用，使得算法应用管理平台支持工作区方式开发应用。所述的算法运行模块基于微服务理念的算本文档来自技高网...

【技术保护点】
1.一种算法应用管理平台，其特征在于，其集成了若干算法的算法实现层、算法支持层和算法存储层；/n所述的算法支持层与算法实现层之间通过标准接口进行交互，所述的算法支持层用于对算法进行组合形成新业务所需的算法；/n所述的算法存储层用于各类挂载于算法应用管理平台的算法进行服务器端的存储。/n

【技术特征摘要】
1.一种算法应用管理平台，其特征在于，其集成了若干算法的算法实现层、算法支持层和算法存储层；
所述的算法支持层与算法实现层之间通过标准接口进行交互，所述的算法支持层用于对算法进行组合形成新业务所需的算法；
所述的算法存储层用于各类挂载于算法应用管理平台的算法进行服务器端的存储。


2.如权利要求1所述的算法应用管理平台，其特征在于，所述的算法实现层用于原始算法设计，通过满足所述算法应用管理平台定义的接口完成算法的设计及实现。


3.如权利要求2所述的算法应用管理平台，其特征在于，所述的算法实现层和算法支持层之间采用的标准接口为Python定义的接口类型，用户通过实现该接口所定义的抽象方法完成算法从本地的实现到算法应用管理平台的挂载。


4.如权利要求1所述的算法应用管理平台，其特征在于，所述的算法支持层包括：
算法挂载模块，用于通过提供标准接口将若干算法挂载在算法应用管理平台，所述算法挂载模块支持用户上传算法，在算法上传页面填写基本信息，挂载成功的算法将存储到配置中心，以供用户构建其算法；
算法运行模块，其由用户控制，请求服务器端运行算法；
算法维护模块，用于用户对已挂载的算法进行逻辑调整、删除不必要代码操作，实现对算法的维护；
算法评测模块，用于对多个组合的算法在运行结果、运行时间多方面进行评测；
算法组合模块，用于用户对在算法应用管理平台已挂载的多个算法进行组合；
算法详情展示模块，用于展示算法所采用的数据结构和所编写的函数。


5.如权利要求4所述的算法应用管理平台，其特征在于，所述的算法应用管理平台支持算法应用开发时的算法训练，包括数据源来源设置与参数设置。

【专利技术属性】
技术研发人员：陈刚，
申请(专利权)人：中云开源数据技术上海有限公司，
类型：发明
国别省市：上海;31