模型数据迁移方法、装置及系统制造方法及图纸

本发明专利技术提供了一种模型数据迁移方法、装置及系统，该方法包括：响应于目标用户在模型调研阶段创建第一项目的操作，在目标用户所属的目标工作区下创建与第一项目对应的第一调研数据区，其中，第一项目下的模型数据存储在第一调研数据区；响应于目标用户在模型应用阶段创建第二项目的操作，在目标工作区下创建与第二项目对应的第二应用数据区，其中，第二项目用于基于模型数据来生成模型应用；将第二项目下所使用的模型数据迁移到第二应用数据区。

【技术实现步骤摘要】
模型数据迁移方法、装置及系统
本专利技术涉及数据存储
，更具体地，涉及一种模型数据迁移方法、一种模型数据迁移装置、一种包括至少一个计算装置和至少一个存储装置的系统、及一种可读存储介质。
技术介绍
随着人工智能的发展，越来越多的行业场景需要建立机器学习模型，包括但不限于应用统计分析方法、机器学习方法、深度学习方法、迁移学习方法等进行建模。在人工智能的建模过程中，会产生各种各样的中间数据。现有技术中，建模过程中所产生的数据均存储在数据中心，所有用户均可以使用。这样不加以隔离和限制的使用方式，导致系统无法判断一份数据是否可以安全删除，也无法清理用户不需要的数据，使得这些数据占用磁盘空间较大，严重影响用户体验。
技术实现思路
通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。根据本专利技术的第一方面，提供了一种模型数据迁移方法，包括：响应于目标用户在模型调研阶段创建第一项目的操作，在所述目标用户所属的目标工作区下创建与第一项目对应的第一调研数据区，其中，所述第一项目下的模型数据存储在所述第一调研数据区；响应于所述目标用户在模型应用阶段创建第二项目的操作，在所述目标工作区下创建与所述第二项目对应的第二应用数据区，其中，第二项目用于基于模型数据来生成模型应用；以及将所述第二项目下所使用的模型数据迁移到所述第二应用数据区。可选的，还包括：响应于所述目标用户在模型调研阶段导出所述模型数据的操作，将所述模型数据从所述第一调研数据区迁移到与所述目标工作区对应的公共数据区。可选的，所述将所述第二项目下所使用的模型数据迁移到所述第二应用数据区的步骤包括：从第一调研数据区获取所述第二项目下所使用的模型数据，并将获取的数据迁移到所述第二应用数据区；或者，从公共数据区获取所述第二项目下所使用的模型数据，并将获取的数据迁移到所述第二应用数据区。可选的，还包括：响应于所述目标用户在模型部署阶段创建第三项目的操作，在所述工作区下创建与第三项目对应的第三部署数据区，其中，所述第三项目用于将模型应用部署上线；以及将所述第三项目下所使用的模型数据迁移到所述第三部署数据区。可选的，所述将所述第三项目下所使用的模型数据迁移到所述第三部署数据区的步骤包括：从所述第二应用数据区获取所述第三项目下所使用的模型数据，并将获取的数据迁移到所述第三部署数据区；或者，从所述公共数据区获取所述第三项目下所使用的模型数据，并将获取的数据迁移到所述第三部署数据区。可选的，工作区与对应的数据库绑定，并且，在所述数据库下设置第一调研数据区、第二应用数据区、第三部署数据区和公共数据区。可选的，所述第二项目还包括将模型应用部署上线。可选的，所述模型数据的迁移方式包括以下任意一项或多项：硬拷贝、软拷贝和元数据拷贝。可选的，所述将所述第二项目下所使用的模型数据迁移到所述第二应用数据区之前还包括：检测所述模型数据是否可以在所述第一调研数据区和所述第二应用数据区之间进行迁移；在所述模型数据可以迁移的情况下，将所述第二项目下所使用的模型数据迁移到所述第二应用数据区。可选的，所述检测所述模型数据是否可以在所述第一调研数据区和所述第二应用数据区之间进行迁移包括以下任意一项或多项：检测所述第一调研数据区和所述第二应用数据区是否属于同一数据库；检测所述第一调研数据区是否允许数据迁出；检测所述第二应用数据区是否允许数据迁入；检测所述第二应用数据区的可用容量是否大于或等于所述模型数据所占容量。可选的，还包括：获取所述第二应用数据区的可用容量；根据所述第二应用数据区的可用容量和所述模型数据所占容量，自适应调整所述第二应用数据区的总容量，以使所述第二应用数据区的总容量大于所述第二应用数据区的可用容量和所述模型数据所占容量之和、并小于所述第二应用数据区所属数据库的总容量。可选的，还包括：为所述目标用户设置其所属的目标工作区，其中，所述目标工作区与其他工作区之间以计算资源和/或存储资源进行隔离。可选的，所述为所述目标用户设置其所属的工作区的步骤包括：提供所述目标用户具有配置权限的所有工作区，并将所述用户选中的工作区，作为其所属的目标工作区。14、根据权利要求12所述的方法，所述为所述目标用户设置其所属的工作区的步骤包括：响应于所述目标用户触发的创建工作区的请求，创建所述目标用户所属的目标工作区，并创建与所述目标工作区对应的公共数据区。可选的，所述为所述目标用户设置其所属的工作区的步骤包括：响应于管理员用户触发的创建工作区的请求，创建所述目标工作区、及与所述目标工作区对应的公共数据区；响应于所述管理员针对所述目标工作区向所述目标用户授权的操作，向所述目标用户授予配置所述目标工作区的权限。可选的，还包括：响应于管理员向所述目标用户授权创建工作区的权限的操作，向所述目标用户授予创建工作区的权限。可选的，还包括：提供所述目标工作区的资源配置窗口；获取用户通过所述资源配置窗口所输入的计算资源配置信息和存储资源配置信息；根据所述资源配置信息和所述存储资源配置信息设置所述工作区。可选的，还包括：根据预设的数据管理策略清理所述第一调研数据区。可选的，所述根据预设的数据管理策略清理所述第一调研数据区包括以下任意一项或多项：按照设定的周期清理所述第一调研数据区；响应于所述目标用户针对所述第一调研数据区执行的数据清理操作，清理所述第一调研数据区；在到达预设的清理时间的情况下，清理所述第一调研数据区。根据本专利技术的第二方面，提供了一种模型数据迁移装置，包括：第一响应模块，用于响应于目标用户在模型调研阶段创建第一项目的操作，在所述目标用户所属的目标工作区下创建与第一项目对应的第一调研数据区，其中，所述第一项目下的模型数据存储在所述第一调研数据区；第二响应模块，用于响应于所述目标用户在模型应用阶段创建第二项目的操作，在所述目标工作区下创建与所述第二项目对应的第二应用数据区，其中，第二项目用于基于模型数据来生成模型应用；以及第一迁移模块，用于将所述第二项目下所使用的模型数据迁移到所述第二应用数据区。可选的，还包括：用于响应于所述目标用户在模型调研阶段导出所述模型数据的操作，将所述模型数据从所述第一调研数据区迁移到与所述目标工作区对应的公共数据区的模块。可选的，所述第一迁移模块还用于：从第一调研数据区获取所述第二项目下所使用的模型数据，并将获取的数据迁移到所述第二应用数据区；或者，从公共数据区获取所述第二项目下所使用的模型数据，并将获取的数据迁移到所述第二应用数据区。可选的，还包括：第三响应模块，用于响应于所述目标用户在模型部署阶段创建第三项目的操作，在所述工作区下创建与第三项目对应的第三部署数据区，其中，所述第三项目用本文档来自技高网...

【技术保护点】
1.一种模型数据迁移方法，包括：/n响应于目标用户在模型调研阶段创建第一项目的操作，在所述目标用户所属的目标工作区下创建与第一项目对应的第一调研数据区，其中，所述第一项目下的模型数据存储在所述第一调研数据区；/n响应于所述目标用户在模型应用阶段创建第二项目的操作，在所述目标工作区下创建与所述第二项目对应的第二应用数据区，其中，第二项目用于基于模型数据来生成模型应用；以及/n将所述第二项目下所使用的模型数据迁移到所述第二应用数据区。/n

【技术特征摘要】
1.一种模型数据迁移方法，包括：
响应于目标用户在模型调研阶段创建第一项目的操作，在所述目标用户所属的目标工作区下创建与第一项目对应的第一调研数据区，其中，所述第一项目下的模型数据存储在所述第一调研数据区；
响应于所述目标用户在模型应用阶段创建第二项目的操作，在所述目标工作区下创建与所述第二项目对应的第二应用数据区，其中，第二项目用于基于模型数据来生成模型应用；以及
将所述第二项目下所使用的模型数据迁移到所述第二应用数据区。


2.根据权利要求1所述的方法，还包括：响应于所述目标用户在模型调研阶段导出所述模型数据的操作，将所述模型数据从所述第一调研数据区迁移到与所述目标工作区对应的公共数据区。


3.根据权利要求2所述的方法，其中，所述将所述第二项目下所使用的模型数据迁移到所述第二应用数据区的步骤包括：从第一调研数据区获取所述第二项目下所使用的模型数据，并将获取的数据迁移到所述第二应用数据区；或者，从公共数据区获取所述第二项目下所使用的模型数据，并将获取的数据迁移到所述第二应用数据区。


4.根据权利要求2所述的方法，还包括：
响应于所述目标用户在模型部署阶段创建第三项目的操作，在所述工作区下创建与第三项目对应的第三部署数据区，其中，所述第三项目用于将模型应用部署上线；以及
将所述第三项目下所使用的模型数据迁移到所述第三部署数据区。


5.根据权利要求4所述的方法，其中，所述将所述第三项目下所使用的模型数据迁移到所述第三...

【专利技术属性】
技术研发人员：陶冶，孙高飞，王昱森，白杨，陈庆，孔维，罗伟锋，秦文超，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：北京;11