数据的读取方法、装置及分布式存储系统制造方法及图纸

本申请实施例提供了一种数据的读取方法、装置、分布式存储系统及存储介质。方法包括：获取数据读取指令；在虚拟磁盘或物理磁盘中查找数据读取指令对应的数据；当在虚拟磁盘中查找到数据读取指令对应的数据，从虚拟磁盘中读取数据读取指令对应的数据。不仅将一部分数据存储在物理磁盘上，还将另一部分数据存储在读写速度大于物理磁盘的虚拟磁盘中。在接收到数据读取指令时，可以在虚拟磁盘或物理磁盘中查找，若通过查找确定该数据读取指令对应的数据存储在虚拟磁盘中，那么就可以直接从虚拟磁盘中读取该数据，所以从整体上实现了比固态物理磁盘更快速度的数据读取。

Data Reading Method, Device and Distributed Storage System

【技术实现步骤摘要】
数据的读取方法、装置及分布式存储系统
本申请涉及数据读取
，具体而言，涉及一种数据的读取方法、装置及分布式存储系统。
技术介绍
在目前的分布式数据存储系统中，存储节点一般利用自身的固态物理磁盘和机械物理磁盘来实现对数据存储和读取。其中，由于固态物理磁盘的数据读写速度大于机械物理磁盘的数据读写速度，故存储在固态物理磁盘中的数据能够快速的被读取。但是，随着对数据读写速度的要求越来越高，固态物理磁盘的读写速度已逐渐无法满足高频读取的数据读取需求。
技术实现思路
本申请在于提供一种数据的读取方法、装置及分布式存储系统，以实现比固态物理磁盘更快的读写速度来进行数据读取。第一方面，本申请实施例提供了数据的读取方法，应用于分布式存储系统中的任一存储节点，所述存储节点包括虚拟磁盘和物理磁盘，所述虚拟磁盘的数据读写速度大于所述物理磁盘的数据读写速度，所述方法包括：获取数据读取指令；在所述虚拟磁盘或所述物理磁盘中查找所述数据读取指令对应的数据；当在所述虚拟磁盘中查找到所述数据读取指令对应的数据，从所述虚拟磁盘中读取所述数据读取指令对应的数据。在本申请实施例中，不仅将一部分数据存储在物理磁盘上，还将另一部分数据存储在读写速度大于物理磁盘的虚拟磁盘中。在接收到数据读取指令时，可以在虚拟磁盘或物理磁盘中查找，若通过查找确定该数据读取指令对应的数据存储在虚拟磁盘中，那么就可以直接从虚拟磁盘中读取该数据，所以从整体上实现了比固态物理磁盘更快速度的数据读取。结合第一方面，在第一种可能的实现方式中，所述方法还包括：当在所述虚拟磁盘中未查找到所述数据读取指令对应的数据时，从所述物理磁盘上读取所述数据读取指令对应的数据。本申请实施例中，如果没有在虚拟磁盘中查找到该数据读取指令对应的数据，表征该数据存储在物理磁盘中，所以就从物理磁盘中读取数据，以保证能够读取到对应的数据。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，从所述物理磁盘上读取所述数据读取指令对应的数据之后，所述方法还包括：更新所述数据读取指令对应的数据的读取次数；判断更新后的读取次数是否大于阈值次数；在所述更新后的读取次数大于所述阈值次数时，将所述数据读取指令对应的数据写入所述虚拟磁盘中。本申请实施例中，通过读取次数可以确定存储在物理磁盘中的该数据被高频的读取，故可以将该数据写入虚拟磁盘中，以通过将该数据写入虚拟磁盘而实现该数据能够被快速读取，进一步提高数据读取效率。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在确定所述更新后的读取次数大于所述阈值次数之后，以及在将所述数据读取指令对应的数据写入所述虚拟磁盘中之前，所述方法还包括：确定所述虚拟磁盘中所有数据的数据量达到上限；根据所述虚拟磁盘中每个数据的读取次数，确定出所述虚拟磁盘中待删除的数据，其中，所述待删除的数据的读取次数小于所述更新后的读取次数，所述待删除的数据的数据量大于等于所述数据读取指令对应的数据的数据量；将所述待删除的数据从所述虚拟磁盘中删除。在本申请实施例中，在虚拟磁盘中所有数据的数据量达到上限时，可以将虚拟磁盘中读取次数较少的数据删除，保证了高频读取的数据能够被合理的存储到虚拟磁盘中。结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，确定所述虚拟磁盘中所有数据的数据量达到上限，包括：确定所述虚拟磁盘中当前所有数据与所述数据读取指令对应的数据的数据量之和大于所述上限。在本申请实施例中，虚拟磁盘中的所有数据是将物理磁盘中数据读取指令对应的数据计算在内，能够更加合理的确定所有数据的数据量是否达到上限。结合第一方面或第一方面的任一种可能的实现方式，在第五种可能的实现方式中，所述方法还包括：在设定的时间点，将所述虚拟磁盘中所有数据备份到只读存储的预设存储区域中。在本申请实施例中，通过定期将虚拟磁盘中所有数据备份到只读存储的预设存储区域中，可以避免在虚拟磁盘中的所有数据被擦除后出现数据丢失。结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，在设定的时间点，将所述虚拟磁盘中所有数据备份到对应的所述物理磁盘中之后，所述方法还包括：在所述存储节点再次上电时，将所述预设存储区域中备份的所述所有数据同步到所述虚拟磁盘中。在本申请实施例中，在虚拟磁盘中的所有数据被下电擦除后，还可以通过预设存储区域的备份将被擦除的所有数据恢复，实现上下电也不会对虚拟磁盘中数据的读取产生影响。结合第一方面的第五种可能的实现方式，在第七种可能的实现方式中，在获取数据读取指令之前，所述方法还包括：通过将所述存储节点的内存虚拟化处理，生成所述虚拟磁盘。在本申请实施例中，通过将内存虚拟化处理而生成该虚拟磁盘，以利用虚拟磁盘来实现更高的读写速率。第二方面，本申请实施例提供了一种数据的读取装置，应用于分布式存储系统中的任一存储节点，所述存储节点包括虚拟磁盘和物理磁盘，所述虚拟磁盘的数据读写速度大于所述物理磁盘的数据读写速度，所述装置包括：指令接收模块，用于获取数据读取指令；数据读取模块，用于在所述虚拟磁盘或所述物理磁盘中查找所述数据读取指令对应的数据；当在所述虚拟磁盘中查找到所述数据读取指令对应的数据，从所述虚拟磁盘中读取所述数据读取指令对应的数据。结合第二方面，在第一种可能的实现方式中，所述数据读取模块，还用于当在所述虚拟磁盘中未查找到所述数据读取指令对应的数据时，从所述物理磁盘上读取所述数据读取指令对应的数据。结合第二方面的第一种可能的实现方式中，在第二种可能的实现方式中，所述数据读取模块从所述物理磁盘上读取所述数据读取指令对应的数据之后，所述数据读取模块，还用于更新所述数据读取指令对应的数据的读取次数；判断更新后的读取次数是否大于阈值次数；在所述更新后的读取次数大于所述阈值次数时，将所述数据读取指令对应的数据写入所述虚拟磁盘中。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述数据读取模块在确定所述更新后的读取次数大于所述阈值次数之后，以及所述数据读取模块在将所述数据读取指令对应的数据写入所述虚拟磁盘中之前，所述数据读取模块，还用于确定所述虚拟磁盘中所有数据的数据量达到上限；根据所述虚拟磁盘中每个数据的读取次数，确定出所述虚拟磁盘中待删除的数据，其中，所述待删除的数据的读取次数小于所述更新后的读取次数，所述待删除的数据的数据量大于等于所述数据读取指令对应的数据的数据量；将所述待删除的数据从所述虚拟磁盘中删除。结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述数据读取模块，用于确定所述虚拟磁盘中当前所有数据与所述数据读取指令对应的数据的数据量之和大于所述上限。结合第一方面或第一方面的任一种可能的实现方式，在第五种可能的实现方式中，所述数据读取模块，还用于在设定的时间点，将所述虚拟磁盘中所有数据备份到只读存储的预设存储区域。结合第一方面的第六种可能的实现方式，在第六种可能的实现方式中，所述数据读取模块在设定的时间点，将所述虚拟磁盘中所有数据备份到对应的所述物理磁盘中之后，所述数据读取模块，还用于在所述存储节点再次上电时，将所述预设存储区域中备份的所述所有数据同步到所述虚拟磁盘中。结合第一方面或第一方面的任一种可能的实现方式，在第七种可能的实现方式中，所述数据读取本文档来自技高网...

【技术保护点】
1.一种数据的读取方法，其特征在于，应用于分布式存储系统中的任一存储节点，所述存储节点包括虚拟磁盘和物理磁盘，所述虚拟磁盘的数据读写速度大于所述物理磁盘的数据读写速度，所述方法包括：获取数据读取指令；在所述虚拟磁盘或所述物理磁盘中查找所述数据读取指令对应的数据；当在所述虚拟磁盘中查找到所述数据读取指令对应的数据，从所述虚拟磁盘中读取所述数据读取指令对应的数据。

【技术特征摘要】
1.一种数据的读取方法，其特征在于，应用于分布式存储系统中的任一存储节点，所述存储节点包括虚拟磁盘和物理磁盘，所述虚拟磁盘的数据读写速度大于所述物理磁盘的数据读写速度，所述方法包括：获取数据读取指令；在所述虚拟磁盘或所述物理磁盘中查找所述数据读取指令对应的数据；当在所述虚拟磁盘中查找到所述数据读取指令对应的数据，从所述虚拟磁盘中读取所述数据读取指令对应的数据。2.根据权利要求1所述的数据的读取方法，其特征在于，所述方法还包括：当在所述虚拟磁盘中未查找到所述数据读取指令对应的数据时，从所述物理磁盘上读取所述数据读取指令对应的数据。3.根据权利要求2所述的数据的读取方法，其特征在于，从所述物理磁盘上读取所述数据读取指令对应的数据之后，所述方法还包括：更新所述数据读取指令对应的数据的读取次数；判断更新后的读取次数是否大于阈值次数；在所述更新后的读取次数大于所述阈值次数时，将所述数据读取指令对应的数据写入所述虚拟磁盘中。4.根据权利要求3所述的数据的读取方法，其特征在于，在确定所述更新后的读取次数大于所述阈值次数之后，以及在将所述数据读取指令对应的数据写入所述虚拟磁盘中之前，所述方法还包括：确定所述虚拟磁盘中所有数据的数据量达到上限；根据所述虚拟磁盘中每个数据的读取次数，确定出所述虚拟磁盘中待删除的数据，其中，所述待删除的数据的读取次数小于所述更新后的读取次数，所述待删除的数据的数据量大于等于所述数据读取指令对应的数据的数据量；将所述待删除的数据从所述虚拟磁盘中删除。5....

【专利技术属性】
技术研发人员：许广彬，吴业亮，谭瑞忠，濮天晖，刘馗，
申请(专利权)人：无锡华云数据技术服务有限公司，
类型：发明
国别省市：江苏,32