当前位置: 首页 > 专利查询>之江实验室专利>正文

一种数据存储方法、装置、存储介质及电子设备制造方法及图纸

技术编号:42219088 阅读:20 留言:0更新日期:2024-07-30 18:59
本说明书公开了一种数据存储方法、装置、存储介质及电子设备。所述数据存储方法包括:获取各待存储的数据;根据每个数据所占用的存储空间,对各数据进行排序,并基于排序结果确定每个数据对应的数据编号,将存储设备的存储空间划分为若干个簇;针对每个数据,将该数据存储在与该数据所占用存储空间相匹配的块中;针对每个簇,根据该簇中第一个块所存储的数据对应的数据编号、该簇中最后一个块所存储的数据对应的数据编号、第一个块对应的存储地址以及该簇中块的大小,生成该簇的索引信息并存储。通过本方案所提供的数据存储方法可以在数据读取时极大的提高访问效率,进一步提升业务效率。

【技术实现步骤摘要】

本说明书涉及计算机,尤其涉及一种数据存储方法、装置、存储介质及电子设备


技术介绍

1、随着人工智能的快速发展,深度学习模型开始被广泛的应用与诸如驾驶、航天、工业以及医疗等多个领域。在深度学习模型的训练过程中,通常需要对模型进行若干轮训练以达成收敛目标,每一轮训练都会对整个数据集样本以随机的序列进行访问。

2、目前通常需要基于元数据对文件系统中的数据进行访问,然而,由于模型训练过程中的训练数据集通常由海量的小文件构成,这就需要对大量的元数据进行管理和维护,在数据访问的过程中,对元数据进行解析、读取以及处理的过程无疑会带来额外的时间开销,降低数据访问效率,进一步影响对模型的训练效率。

3、因此,如何提高数据的访问效率,是一个亟待解决的问题。


技术实现思路

1、本说明书提供一种数据存储方法、装置、存储介质及电子设备,以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案:

3、本说明书提供了一种数据存储方法,包括:

4、接收数据存储请求,并根本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述方法还包括:

3.如权利要求2所述的方法,其特征在于,根据所述目标编号以及所述存储设备中每个簇对应的索引信息,确定所述目标数据对应的存储地址,具体包括:

4.如权利要求3所述的方法,其特征在于,针对每个簇,根据该簇的索引信息,确定该簇所存储数据的数据编号范围,具体包括:

5.如权利要求3所述的方法,其特征在于,根据所述目标簇对应的索引信息以及所述目标编号,确定所述目标数据对应的存储地址,具体包括:

6.如权利要求2所述的方法,其特征在于,根据所...

【技术特征摘要】

1.一种数据存储方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述方法还包括:

3.如权利要求2所述的方法,其特征在于,根据所述目标编号以及所述存储设备中每个簇对应的索引信息,确定所述目标数据对应的存储地址,具体包括:

4.如权利要求3所述的方法,其特征在于,针对每个簇,根据该簇的索引信息,确定该簇所存储数据的数据编号范围,具体包括:

5.如权利要求3所述的方法,其特征在于,根据所述目标簇对应的索引信息以及所述目标编号,确定所述目标数据对应的存储地址,具体包括:

6.如权利要求2所述的方法,其特征在于,根据所述目标编号以及所述存储...

【专利技术属性】
技术研发人员:梅飞曾令仿孔丽娟程稳刘懿
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1