基于算法平台的算法运行方法、装置、介质及算法平台制造方法及图纸

本申请实施例公开了一种基于算法平台的算法运行方法、装置、介质及算法平台。该平台包括：响应于用户的目标算法选择操作，从新候选算法库中包括的候选算法中提取目标算法；其中，所述新候选算法库是根据用户的业务属性确定的；响应于用户的目标算法运行操作，将数据输入所述目标算法，得到目标算法结果数据。通过运行本申请所提供的技术方案，可以实现对算法和工程进行分离，使得算法工程师能够无需搭建工程而带来的重复劳动，从而提高算法工程师的工作效率。

Algorithmic Operating Method, Device, Media and Algorithmic Platform Based on Algorithmic Platform

【技术实现步骤摘要】
基于算法平台的算法运行方法、装置、介质及算法平台
本申请实施例涉及软件开发
，尤其涉及一种基于算法平台的算法运行方法、装置、介质及算法平台。
技术介绍
目前互联网行业飞速发展，信息的数据量在不断的膨胀，数据处理已经从原有的单数据处理，多数据处理发展到了现在的大数据处理的时代。随着大数据技术的兴起，数据的优势越来越大，影响范围越来越广，如何利用好这些数据，从海量数据中抽取出有价值的信息，就是算法工程师的工作核心。但是算法工程师的工作中，往往由于工程上各式各样的需求，需要针对不同的工程建立工程项目，为算法提供不同的计算环境。这就使得算法工程师的工作重心往往需要放在工程上，而不是算法上。导致了算法工程师重复劳动多，工作效率收到较大的影响。因此，如何能够将算法和工程分离，从而使算法工程师的精力集中在算法上而不是工程上，进而提升算法工程师的工作效率，避免出现不必要的重复劳动，已经成为了本领域的亟待解决的难题。
技术实现思路
本申请实施例提供一种基于算法平台的算法运行方法、装置、介质及算法平台，以实现对算法和工程进行分离，使得算法工程师能够无需搭建工程而带来的重复劳动，从而提高算法工程师的工作效率。第一方面，本申请实施例提供了一种基于算法平台的算法运行方法，该方法包括：响应于用户的目标算法选择操作，从新候选算法库中包括的候选算法中提取目标算法；其中，所述新候选算法库是根据用户的业务属性确定的；响应于用户的目标算法运行操作，将数据输入所述目标算法，得到目标算法结果数据。进一步的，所述用户的业务属性通过用户所属工作单位的已有业务确定。进一步的，所述新的算法库通过如下方式构建：根据用户的业务属性，确定初始候选算法库；其中，所述初始候选算法库包括tensorflow算法库、spark算法库和caffe算法库中的至少一项；调整所述初始候选算法库中包括的候选算法的参数，以得到新候选算法库。进一步的，在响应于用户的目标算法选择操作，从新候选算法库中包括的候选算法中提取目标算法之前，所述方法还包括：通过调用安全接口，若检测到所述数据中有敏感信息，则对所述数据进行加密处理；相应的，在响应于用户的目标算法运行操作，将数据输入所述目标算法，得到目标算法结果数据之后，所述方法还包括：通过调用安全接口，若检测到所述目标算法结果数据中有敏感信息，则对所述目标算法结果数据进行加密处理。进一步的，在响应于用户的目标算法选择操作，从新候选算法库中包括的候选算法中提取目标算法之前，所述方法还包括：根据获取的用户的身份信息确定用户的任务权限；根据所述用户的任务权限，确定用户的可操作任务，供用户基于所述可操作任务执行目标算法选择操作。进一步的，所述方法还包括：在创建任一任务时，若检测到预先为该任务所属项目工程分配的项目资源已耗尽，则禁止创建该任务。进一步的，所述方法还包括：若接收到项目工程的项目资源扩充请求，则根据管理人员的操作，确定是否为所述项目工程扩充项目资源。第二方面，本申请实施例提供了一种基于算法平台的算法运行装置，该装置包括：目标算法提取模块，用于响应于用户的目标算法选择操作，从新候选算法库中包括的候选算法中提取目标算法；其中，所述新候选算法库是根据用户的业务属性确定的；目标算法运行模块，用于响应于用户的目标算法运行操作，将数据输入所述目标算法，得到目标算法结果数据。进一步的，所述用户的业务属性通过用户所属工作单位的已有业务确定。进一步的，所述新的算法库通过如下方式构建：根据用户的业务属性，确定初始候选算法库；其中，所述初始候选算法库包括tensorflow算法库、spark算法库和caffe算法库中的至少一项；调整所述初始候选算法库中包括的候选算法的参数，以得到新候选算法库。进一步的，所述装置还包括：数据加密模块，用于通过调用安全接口，若检测到所述数据中有敏感信息，则对所述数据进行加密处理；所述数据加密模块，还用于通过调用安全接口，若检测到所述目标算法结果数据中有敏感信息，则对所述目标算法结果数据进行加密处理。进一步的，所述装置还包括任务权限确定模块，所述任务权限确定模块用于：根据获取的用户的身份信息确定用户的任务权限；根据所述用户的任务权限，确定用户的可操作任务，供用户基于所述可操作任务执行目标算法选择操作。进一步的，所述装置还包括：在创建任一任务时，若检测到预先为该任务所属项目工程分配的项目资源已耗尽，则禁止创建该任务。进一步的，所述装置还包括：项目资源扩充模块，用于若接收到项目工程的项目资源扩充请求，则根据管理人员的操作，确定是否为所述项目工程扩充项目资源。第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器运行时实现如本申请实施例所述的基于算法平台的算法运行方法。第四方面，本申请实施例提供了一种算法平台，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器运行所述计算机程序时实现如本申请实施例所述的基于算法平台的算法运行方法。其中，大数据算法平台可以包括：管理模块、算法模块以及存储模块；其中，所述管理模块包括：数据管理子模块，用于对算法的数据导入及计算后的结果数据导出；模型管理子模块，用于对算法参数的调整过程的记录；任务管理子模块，用于在平台上面录入算法的程序信息，其中，所述程序信息包括生成任务的jar包和发布任务的jar包；所述算法模块包括：算法、模型计算子模块，用于运行任务的jar包，得到计算后的结果数据；算法集群子模块，用于提供依据算法运行的业务环境预先进行二次封装的算法；所述存储模块，用于对算法的数据和计算后的结果数据进行存储。进一步的，所述数据管理子模块还用于：对所述数据和结果数据进行安全验证，以及对安全验证后包括敏感信息的数据和结果数据进行加密处理。进一步的，所述管理模块还包括：资源隔离子模块，用于为项目分配项目的运行资源；其中，项目包括至少一个任务，若所述项目的运行资源没有被用尽，则允许所述项目创建任务；其中，所述任务由一个或者多个算法构成。进一步的，所述管理模块还包括：发布权限子模块，用于对平台上任务的权限进行管理，以使登录平台的用户只能够查看自己权限内的任务内容。进一步的，所述任务管理子模块，还用于：在运行任务的jar包过程中，生成任务的jar包的运行日志；并提供日志查看服务。进一步的，所述任务管理子模块，还用于：接收用户对告警阈值的录入，以使任务的jar包运行异常超过所述告警阈值时，生成告警信息。进一步的，所述算法模块还包括：任务调度子模块，用于在集群上对算法进行调度，在算法运行遇到异常退出后，重新拉起该算法。进一步的，所述任务调度子模块，还用于：为任务的jar包设置运算周期，以使任务的jar包能够在每隔预设时间被运行一次。进一步的，所述存储模块用于：在对算法的数据和计算后的结果数据进行存储时，采用hive、hdfs、hbase、ES以及redis中的任意一种形式进行存储。进一步的，所述算法集群子模块包括tensorflow算法、spark算法以及caffe算法的集群。本申请实施例所提供的技术方案，响应于用户的目标算法选择操作，从新候选算法库中包括的候选算法中提取目标算法；其中，所述新候选算法库是根据用户的业务属性确定的；响应于用户的目标算本文档来自技高网...

【技术保护点】
1.一种基于算法平台的算法运行方法，其特征在于，包括：响应于用户的目标算法选择操作，从新候选算法库中包括的候选算法中提取目标算法；其中，所述新候选算法库是根据用户的业务属性确定的；响应于用户的目标算法运行操作，将数据输入所述目标算法，得到目标算法结果数据。

【技术特征摘要】
1.一种基于算法平台的算法运行方法，其特征在于，包括：响应于用户的目标算法选择操作，从新候选算法库中包括的候选算法中提取目标算法；其中，所述新候选算法库是根据用户的业务属性确定的；响应于用户的目标算法运行操作，将数据输入所述目标算法，得到目标算法结果数据。2.根据权利要求1所述的方法，其特征在于，所述用户的业务属性通过用户所属工作单位的已有业务确定。3.根据权利要求1所述的方法，其特征在于，所述新的算法库通过如下方式构建：根据用户的业务属性，确定初始候选算法库；其中，所述初始候选算法库包括tensorflow算法库、spark算法库和caffe算法库中的至少一项；调整所述初始候选算法库中包括的候选算法的参数，以得到新候选算法库。4.根据权利要求1所述的方法，其特征在于，在响应于用户的目标算法选择操作，从新候选算法库中包括的候选算法中提取目标算法之前，所述方法还包括：通过调用安全接口，若检测到所述数据中有敏感信息，则对所述数据进行加密处理；相应的，在响应于用户的目标算法运行操作，将数据输入所述目标算法，得到目标算法结果数据之后，所述方法还包括：通过调用安全接口，若检测到所述目标算法结果数据中有敏感信息，则对所述目标算法结果数据进行加密处理。5.根据权利要求1所述的方法，其特征在于，在响应于用户的目标算法选择操作，从...

【专利技术属性】
技术研发人员：董延峰，张健宇，
申请(专利权)人：江苏满运软件科技有限公司，
类型：发明
国别省市：江苏,32