【技术实现步骤摘要】
本说明书涉及计算机,尤其涉及一种数据存储方法、装置、存储介质及电子设备。
技术介绍
1、随着人工智能的快速发展,深度学习模型开始被广泛的应用与诸如驾驶、航天、工业以及医疗等多个领域。在深度学习模型的训练过程中,通常需要对模型进行若干轮训练以达成收敛目标,每一轮训练都会对整个数据集样本以随机的序列进行访问。
2、目前通常需要基于元数据对文件系统中的数据进行访问,然而,由于模型训练过程中的训练数据集通常由海量的小文件构成,这就需要对大量的元数据进行管理和维护,在数据访问的过程中,对元数据进行解析、读取以及处理的过程无疑会带来额外的时间开销,降低数据访问效率,进一步影响对模型的训练效率。
3、因此,如何提高数据的访问效率,是一个亟待解决的问题。
技术实现思路
1、本说明书提供一种数据存储方法、装置、存储介质及电子设备,以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案:
3、本说明书提供了一种数据存储方法,包括:
4、接
...【技术保护点】
1.一种数据存储方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
3.如权利要求2所述的方法,其特征在于,根据所述目标编号以及所述存储设备中每个簇对应的索引信息,确定所述目标数据对应的存储地址,具体包括:
4.如权利要求3所述的方法,其特征在于,针对每个簇,根据该簇的索引信息,确定该簇所存储数据的数据编号范围,具体包括:
5.如权利要求3所述的方法,其特征在于,根据所述目标簇对应的索引信息以及所述目标编号,确定所述目标数据对应的存储地址,具体包括:
6.如权利要求2所述的方法
...【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
3.如权利要求2所述的方法,其特征在于,根据所述目标编号以及所述存储设备中每个簇对应的索引信息,确定所述目标数据对应的存储地址,具体包括:
4.如权利要求3所述的方法,其特征在于,针对每个簇,根据该簇的索引信息,确定该簇所存储数据的数据编号范围,具体包括:
5.如权利要求3所述的方法,其特征在于,根据所述目标簇对应的索引信息以及所述目标编号,确定所述目标数据对应的存储地址,具体包括:
6.如权利要求2所述的方法,其特征在于,根据所述目标编号以及所述存储...
【专利技术属性】
技术研发人员:梅飞,曾令仿,孔丽娟,程稳,刘懿,
申请(专利权)人:之江实验室,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。