一种数据读取方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据读取方法，包括当接收到读取指令时，根据所述读取指令确定目标数据信息；根据所述目标数据信息判断预设缓存中是否存在对应的目标数据；若是，则从所述预设缓存中读取所述目标数据，并将所述目标数据反馈至内存；若否，则根据所述目标数据信息从磁盘中读取所述目标数据，将所述目标数据存储至所述预设缓存，并将所述目标数据反馈至所述内存；该数据读取方法有效地提高了分布式数据存储系统中数据信息的读取效率。本申请还公开了一种数据读取装置、设备及计算机可读存储介质，均具有上述有益效果。

A data reading method, device, equipment and storage medium

【技术实现步骤摘要】
一种数据读取方法、装置、设备及存储介质
本申请涉及数据存储
，特别涉及一种数据读取方法，还涉及一种数据读取装置、设备以及计算机可读存储介质。
技术介绍
如今，计算机技术以及网络技术的高速发展推动了大数据时代的到来，传统的集中式数据存储系统已经无法满足大规模数据存储的需求，为有效实现大数据存储，分布式数据存储系统得到了长足的发展。但是，分布式存储相对于集中式存储存在的一个问题就是后端数据跨网络，由此导致数据读取过程中存在相对严重的时延问题。例如，在人工智能领域，利用AI算法进行海量数据识别时，需要对数据信息进行多次读取和多轮训练，因此，时延问题的存在导致了极为低下的数据识别效率，而且，由于内存空间有限，导致无法一次性读取大批量数据至内存中。因此，如何有效提高分布式数据存储系统中数据信息的读取效率是本领域技术人员亟待解决的问题。
技术实现思路
本申请的目的是提供一种数据读取方法，该数据读取方法有效地提高了分布式数据存储系统中数据信息的读取效率；本申请的另一目的是提供一种数据读取装置、设备以及计算机可读存储介本文档来自技高网...

【技术保护点】
1.一种数据读取方法，其特征在于，包括：/n当接收到读取指令时，根据所述读取指令确定目标数据信息；/n根据所述目标数据信息判断预设缓存中是否存在对应的目标数据；/n若是，则从所述预设缓存中读取所述目标数据，并将所述目标数据反馈至内存；/n若否，则根据所述目标数据信息从磁盘中读取所述目标数据，将所述目标数据存储至所述预设缓存，并将所述目标数据反馈至所述内存。/n

【技术特征摘要】
1.一种数据读取方法，其特征在于，包括：
当接收到读取指令时，根据所述读取指令确定目标数据信息；
根据所述目标数据信息判断预设缓存中是否存在对应的目标数据；
若是，则从所述预设缓存中读取所述目标数据，并将所述目标数据反馈至内存；
若否，则根据所述目标数据信息从磁盘中读取所述目标数据，将所述目标数据存储至所述预设缓存，并将所述目标数据反馈至所述内存。


2.如权利要求1所述的数据读取方法，其特征在于，所述目标数据包括目标块数据和/或目标元数据。


3.如权利要求2所述的数据读取方法，其特征在于，判断所述预设缓存中是否存在所述目标块数据，包括：
判断SSD缓存中是否存在包括所述目标块数据的聚合文件，若是，则确定所述SSD缓存中存在所述目标块数据，若否，则确定所述SSD缓存中不存在所述目标块数据；
则所述从所述预设缓存中读取所述目标数据，包括：
在所述SSD缓存中的所述聚合文件中获得所述目标块数据。


4.如权利要求3所述的数据读取方法，其特征在于，所述根据所述目标数据信息从磁盘中读取所述目标数据，将所述目标数据存储至所述预设缓存，包括：
根据所述目标数据信息从所述磁盘中读取包括所述目标块数据的聚合文件，并将所述聚合文件存储至所述SSD缓存；
在所述聚合文件中获得所述目标块数据。


5.如权利要求2所述的数据读取方法，其特征在于，判断所述预设缓存中是否存在所述目标元数据，包括：
判断元数据服务缓存中是否存在包括所述目标元数据的数据分片，若是，则确定所述元数据服务缓存中存在所述目标元数据，若否，则确定所述元数据服务缓存中不存在所述目标元数据；<...

【专利技术属性】
技术研发人员：李杰，
申请(专利权)人：北京浪潮数据技术有限公司，
类型：发明
国别省市：北京;11