【技术实现步骤摘要】
数据管理方法及装置
本申请涉及数据处理领域,特别涉及一种数据管理方法、装置及存储介质。
技术介绍
随着人工智能(ArtificialIntelligence,AI)技术的发展,出现了各种用于为深度学习模型提供训练和推理服务的深度学习平台。通常,在深度学习过程中,需要用到大量的数据集数据,而且,用户在使用深度学习平台的过程中,也会产生大量的深度学习任务数据,为了提高深度学习平台的运行性能,需要对这些数据进行管理。
技术实现思路
本申请实施例提供了一种数据管理方法及装置,所述技术方案如下:一方面,提供了一种数据管理方法,所述方法包括:深度学习平台通过第一存储器读取数据集数据;所述深度学习平台通过第二存储器读写深度学习任务数据,运行深度学习任务,所述第一存储器和所述第二存储器被物理隔离。可选地,所述方法还包括:若参考用户账号的用户等级大于等级阈值,或者所述参考用户账号为预设用户的用户账号,则为所述参考用户账号配置所述第一存储器的写数据权限,所述第一存储器的写数据权限用于允许在所述 ...
【技术保护点】
1.一种数据管理方法,其特征在于,所述方法包括:/n深度学习平台通过第一存储器读取数据集数据;/n所述深度学习平台通过第二存储器读写深度学习任务数据,运行深度学习任务,所述第一存储器和所述第二存储器被物理隔离。/n
【技术特征摘要】
1.一种数据管理方法,其特征在于,所述方法包括:
深度学习平台通过第一存储器读取数据集数据;
所述深度学习平台通过第二存储器读写深度学习任务数据,运行深度学习任务,所述第一存储器和所述第二存储器被物理隔离。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
若参考用户账号的用户等级大于等级阈值,或者所述参考用户账号为预设用户的用户账号,则为所述参考用户账号配置所述第一存储器的写数据权限,所述第一存储器的写数据权限用于允许在所述第一存储器中写入或删除数据集数据。
3.如权利要求1所述的方法,其特征在于,所述深度学习平台的用户账号被划分为多个用户群组,每个用户群组包括至少一个用户账号,所述方法还包括:
基于所述第一存储器的可用存储资源,为所述多个用户群组中的每个用户群组分配用于存储数据集数据的第一存储资源,每个用户群组的第一存储资源由每个用户群组中的用户账号共享使用;和/或,
基于所述第二存储器的可用存储资源,为所述多个用户群组中的每个用户群组分配用于存储深度学习任务数据的第二存储资源,每个用户群组的第二存储资源由每个用户群组中的用户账号共享使用。
4.如权利要求3所述的方法,其特征在于,参考用户群组被分配第三存储资源,所述第三存储资源包括所述第一存储资源和/或所述第二存储资源,所述参考用户群组为所述多个用户群组中的任一用户群组,所述方法还包括:
基于所述参考用户群组的群主账号的存储资源分配请求,为所述参考用户群组中的任一用户账号分配所述第三存储资源的使用范围。
5.如权利要求1所述的方法,其特征在于,所述深度学习平台的用户账号被划分为多个用户群组,每个用户群组包括至少一个用户账号,所述方法还包括:
基于参考用户群组的群主账号的数据集数据共享请求,将所述参考用户群组的数据集数据共享给所述参考用户群组中的全部用户账号或部分用户账号,或者共享给其他参考用户群组中的全部用户账号或部分用户账号,所述参考用户群组为所述多个用户群组中的任一个。
6.如权利要求5所述的方法,其特征在于,数据集数据的被共享者对共享的数据集数据具有只读权限,且不具有将共享的数据集数据共享给其他用户账号的权限。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
基于参考用户账号的深度学习任务数据共享请求,将所述参考用户账号的深度学习任务数据共享给其他用户账号,所述参考用户为所述深度学习平台中的任一用户账。
8.如权利要求7所述的方法,其特征在于,深度学习任务数据的被共享者对共享的深度学习任务数据具有读权限和写权限中的至少一种。
9.一种数据管理方法,其特征在于,所述方法包括:
显示深度学习平台提供的web页面;
当基于所述web页面检测到数据浏览操作时,在所述web页面上显示深度学习数据对应的文件或目录,所述深度学习数据包括数据集数据和/或深度学习任务数据。
10.如权利要求9所述的方法,其特征在于,所述深度学习数据包括当前用户账号的深度学习数据和/或其他用户账号共享的深度学习数据。
11.如权利要求9所述的方法,其特征在于,当前用户账号对所述深度学习数据中的数据集数据具有只读权限,对所述深度学习数据中的深度学习任务数据具有读权限和写权限。
12.如权利要求9所述的方法,其特征在于,所述web页面上显示有参考文件格式的文件,所述方法还包括:
当检测到对所述参考文件格式的文件的触发操作时,显示所述参考文件格式的文件的文件内容。
13.一种数据管理方法,其特征在于,所述方法包括:
通过存储器挂载在用户设备的操作系统上的文件目录,访问所述存储器中存储的深度学习数据,所述深度学习数据包括数据集数据或深度学习任务数据;或者,
通过安全外壳协议SSH,远程访问存储器中存储的深度学习数据。
14.一种数据管理装置,其特征在于,应用于深度学习平台,所述装置包括:
读取模块,用于通过第一存储器读取数据...
【专利技术属性】
技术研发人员:彭剑峰,崔枝,
申请(专利权)人:杭州海康威视数字技术股份有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。