【技术实现步骤摘要】
数据分析处理系统及其在线模型部署方法
本专利技术涉及数据处理
，尤其涉及一种数据分析处理系统及其在线模型部署方法。
技术介绍
近年来，大数据处理与分析已经成为全球性问题，随着经济社会信息化和自动化水平不断提高，在政府管理、公共服务、科学研究、商业应用等许多领域面临大数据问题，需要有各种针对性和经济有效的解决方案。大数据平台为行业大数据提供处理能力，集数据接入、数据处理、数据存储、查询检索、分析挖掘、应用接口等功能为一体。现有的数据分析处理系统中，如果开发人员或者某些用户开发出较好的算法模型，只能自己使用，其他用户难以使用，使用便利性不高。
技术实现思路
有鉴于此，本专利技术提供一种数据分析处理系统及其在线模型部署方法，能够将算法模型发布为其他用户可访问的服务，能够提高数据分析处理系统的协作性、方便用户使用并提高使用效率。为解决上述技术问题，本专利技术提供一种数据分析处理系统的在线模型部署方法，包括：基于检测到的用于部署算法模型的用户操作，进行算法模型发布，并在用户界面中显示发布的算法...
【技术保护点】
1.一种数据分析处理系统的在线模型部署方法，其特征在于，包括：/n基于检测到的用于部署算法模型的用户操作，进行算法模型发布，并在用户界面中显示发布的算法模型，以供使用所述数据分析处理系统的预设用户访问和/或调用发布的算法模型；所述预设用户包括所述数据分析处理系统的其他用户和/或所述数据分析处理系统的下游系统用户；/n所述进行算法模型发布的步骤包括：/n获取待发布的算法模型，所述待发布的算法模型为：进行训练后的算法模型；/n验证待发布的算法模型是否为可发布的算法模型；/n当待发布的算法模型为可发布的算法模型时，进行算法模型发布；/n所述验证待发布的算法模型是否为可发布的算法模...
【技术特征摘要】
1.一种数据分析处理系统的在线模型部署方法，其特征在于，包括：
基于检测到的用于部署算法模型的用户操作，进行算法模型发布，并在用户界面中显示发布的算法模型，以供使用所述数据分析处理系统的预设用户访问和/或调用发布的算法模型；所述预设用户包括所述数据分析处理系统的其他用户和/或所述数据分析处理系统的下游系统用户；
所述进行算法模型发布的步骤包括：
获取待发布的算法模型，所述待发布的算法模型为：进行训练后的算法模型；
验证待发布的算法模型是否为可发布的算法模型；
当待发布的算法模型为可发布的算法模型时，进行算法模型发布；
所述验证待发布的算法模型是否为可发布的算法模型的步骤包括：
根据待发布的算法模型的元数据，确定调试特征，所述调试特征为输入变量；
获取用户设置的调试特征的值；
根据用户设置的调试特征的值，对待发布的算法模型进行调试；
当调试通过时，确定待发布的算法模型为可发布的算法模型；
其中，所述对待发布的算法模型进行调试包括：验证所述待发布的算法模型的有效性；
所述验证所述待发布的算法模型的有效性包括：判断所述待发布的算法模型能否基于所述调试特征的值计算出的结果，且所述计算出的结果符合预期。
2.根据权利要求1所述的方法，其特征在于，所述获取待发布的算法模型的步骤包括：
显示用于模型部署的用户界面，所述用于模型部署的用户界面中显示有至少一个供用户选择的算法模型；
获取用户在所述用于模型部署的用户界面中选择的算法模型，作为待发布的算法模型。
3.根据权利要求1所述的方法，其特征在于，所述进行算法模型发布的步骤包括：
将算法模型存储至共享存储中；
为算法模型建立容器的镜像。
4.根据权利要求3所述的方法，其特征在于，所述共享存储为网络文件系统NFS和/或分布式文件系统Ceph。
5.根据权利要求3所述的方法，其特征在于，所述进行算法模型发布的步骤还包括：
将算法模型的信息存储至数据库中。
6.根据权利要求1所述的方法，其特征在于，所述用户界面中显示的发布的算法模型包括部署成功的算法模型和部署失败的算法模型，其中，部署成功的算法模型能够被调用，部署失败的算法模型不能够被调用。
7.根据权利要求2所述的方法，其特征在于，
所述用于模型部署的用户界面中显示的算法模型为一工作流中的模型训练模块输出的算法模型；所述工作流包括数据模块和所述模型训练模块，所述数据模块用于输出待训练的数据，所述模型训练模块用于根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果，当所述训练结果符合目标结果时，输出当前算法模型。
8.根据权利要求7所述的方法，其特征在于，所述显示用于模型部署的用户界面的步骤包括：
从所述模型训练模块输出的多个内容中，获取预设文件格式的算法模型；
在所述用于模型部署的用户界面中显示获取的预设文件格式的算法模型。
9.根据权利要求8所述的方法，其特征在于，所述预设文件格式为预测模型标记语言PMML文件格式。
10.根据权利要求8所述的方法，其特征在于，所述获取预设文件格式的算法模型的步骤包括：
筛选出后缀符合预设文件格式的算法模型；
对筛选出的算法模型进行解析，确定筛选出的算法模型是否为预设文件格式的算法模型；
对预设文件格式的算法模型进行解析，得到算法模型的元数据。
11.根据权利要求1所述的方法，其特征在于，所述进行算法模型发布，并在用户界面中显示发布的所述算法模型的步骤之后，还包括：
在一用于创建或编辑工作流的用户界面下，当检测到用于调用发布的算法模型的用户操作时，将调用的算法模型作为所述工作流的一工作流模块添加至所述工作流中。
12.根据权利要求11所述的方法，其特征在于，所述调用发布的算法模型的用户操作包括：
将调用的算法模型拖拽至所述工作流的显示区域内的拖拽操作；或者
将调用的算法模型的应用程序编程接口API访问接口和接口秘钥APIKEY复制至所述工作流的代码中的复制操作；或者
采用虚拟请求工具在统一资源定位符URL地址栏中输入调用的算法模型的APIURL的输入操作。
13.根据权利要求1所述的方法，其特征在于，所述获取待发布的算法模型的步骤之前，还包括：
训练得到待发布的算法模型。
14.根据权利要求13所述的方法，其特征在于，所述训练得到待发布的算法模型的步骤包括：
当检测到用于创建工作流的用户操作时，创建工作流，所述工作流包括数据模块和模型训练模块，所述数据模块用于输出待训练的数据；
当接收到用于运行所述工作流的指示时，运行工作流，运行工作流时，所述工作流中的模型训练模块根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果；
验证所述训练结果是否符合目标结果；
当所述训练结果符合目标结果时，输出当前算法模型；
当所述训练结果不符合目标结果时，调整设置的算法模型的参数，重新运行工作流，对算法模型进行训练，直至算法模型输出的训练结果符合所述目标结果。
15.根据权利要求7或14所述的方法，其特征在于，所述工作流还包括：数据预处理模块和/或特征选择模块，所述数据预处理模块用于对所述数据模块输入所述数据预处理模块的数据进行预处理，得到符合要求的数据；所述特征选择模块，用于筛选数据，分析输入的数据的特征，判断特征是否发散和/或特征与目标结果的相关性，根据分析结果选择特征，并输出采用选择的特征筛选的数据。
16.一种数据分析处理系统，其特征在于，包括：
发布模块，用于基于检测到的用于部署算法模型的用户操作，进行算法模型发布，并在用户界面中显示发布的算...
【专利技术属性】
技术研发人员：路明奎，耿迪，李科，
申请(专利权)人：北京九章云极科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。