分布式块存储系统、方法、装置、设备和介质制造方法及图纸

本公开公开了一种分布式块存储系统、方法、装置、设备和介质，涉及数据存储技术领域，具体涉及云存储、云计算等领域。所述分布式块存储系统包括前端存储节点和后端存储节点，所述前端存储节点包括至少一个前端磁盘，所述后端存储节点包括至少一个后端磁盘，所述前端磁盘的读写性能高于所述后端磁盘的读写性能，所述方法包括：根据客户端发送的读写请求，对所述前端磁盘进行操作数据的读写操作；在满足预设的传输条件时，在所述前端磁盘和所述后端磁盘之间，执行所述操作数据的传输处理。本公开可以提高分布式块存储系统的读写性能。

【技术实现步骤摘要】
分布式块存储系统、方法、装置、设备和介质
本公开涉及数据存储
，具体涉及云计算、云存储等
，尤其涉及一种分布式块存储系统、方法、装置、设备和介质。
技术介绍
云计算(cloudcomputing)是指通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区域链等技术应用、模型训练提供高效强大的数据处理能力。分布式块存储是一种数据存储技术，将数据分散存储在多个机器的磁盘上。相关技术中，分布式块存储系统包括高性能磁盘和低性能磁盘，高性能磁盘上存储热数据，低性能磁盘上存储冷数据。
技术实现思路
本公开提供了一种分布式块存储系统、方法、装置、设备和介质。根据本公开的一方面，提供了一种分布式块存储系统的读写方法，所述分布式块存储系统包括前端存储节点和后端存储节点，所述前端存储节点包括至少一个前端磁盘，所述后端存储节点包括至少一个后端磁盘，所述前端磁盘的读写性能高于所述后端磁盘的读写性能，所述方法包括：根据客户端发送的读写请求，对所述前端磁盘进行操作数据的读写操作；在满足预设的传输条件时，在所述前端磁盘和所述后端磁盘之间，执行所述操作数据的传输处理。根据本公开的另一方面，提供了一种分布式块存储系统的读写装置，所述分布式块存储系统包括前端存储节点和后端存储节点，所述前端存储节点包括至少一个前端磁盘，所述后端存储节点包括至少一个后端磁盘，所述前端磁盘的读写性能高于所述后端磁盘的读写性能，所述装置包括：响应单元，用于根据客户端发送的读写请求，对所述前端磁盘进行操作数据的读写操作；传输单元，用于在满足预设的传输条件时，在所述前端磁盘和所述后端磁盘之间，执行所述操作数据的传输处理。根据本公开的另一方面，提供了一种前端存储节点，包括：至少一个前端磁盘；以及，对所述前端磁盘进行操作的如上述任一方面的任一项所述的装置。根据本公开的另一方面，提供了一种分布式块存储系统，包括：如上述任一方面的任一项所述的前端存储节点。根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上述任一方面的任一项所述的方法。根据本公开的另一方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如上述任一方面的任一项所述的方法。根据本公开的技术方案，可以提高分布式块存储系统的读写性能。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是根据本公开第一实施例的示意图；图2是根据本公开第二实施例的示意图；图3是根据本公开第三实施例的示意图；图4是根据本公开第四实施例的示意图；图5是根据本公开第五实施例的示意图；图6是根据本公开第六实施例的示意图；图7是根据本公开第七实施例的示意图；图8是根据本公开第八实施例的示意图；图9是根据本公开第九实施例的示意图；图10是根据本公开第十实施例的示意图；图11是用来实现本公开实施例的分布式块存储系统的读写方法中任一方法的电子设备的示意图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。相关技术中，分布式块存储系统中，高性能磁盘上存储热数据，低性能磁盘上存储冷数据。这种方式会存在一定的问题，比如，客户端需要读写冷数据时，则需要对低性能磁盘进行读写操作，此时分布式块存储系统的读写性能是低性能磁盘的读写性能，由于低性能磁盘的读写性能较差，所以针对冷数据分布式块存储系统的读写性能也较差。为了提升分布式块存储系统的读写性能，本公开提供如下一些实施例。图1是根据本公开第一实施例的示意图。本实施例提供一种分布式块存储系统。如图1所示，该系统100包括：至少一组前端存储节点组101和至少一组后端存储节点组102；所述至少一组前端存储节点组中的每组前端存储节点组101包括至少一个前端存储节点1011，所述至少一组后端存储节点组中的每组后端存储节点组102包括至少一个后端存储节点1021，所述至少一个前端存储节点中的每个前端存储节点1011包括至少一个前端磁盘，所述至少一个后端存储节点中的每个后端存储节点1021包括至少一个后端磁盘；前端磁盘的读写性能高于后端磁盘的读写性能。其中，至少一组前端存储节点组101的集合可以称为前端池，至少一组后端存储节点组102的集合可以称为后端池。本公开实施例中，存储节点组(前端存储节点组和后端存储节点组)是对应相同数据划分的，不排除每个存储节点组仅包括一个存储节点的情况，即，可以是每组前端存储节点组包括一个前端存储节点，每组后端存储节点组包括一个后端存储节点。但是，一般来讲，由于要实现数据备份容灾，同一份数据会备份多份，比如，同一份数据对应3个副本，每个副本存储在一个存储节点上，因此，这3个副本所在的3个存储节点可以组成一个存储节点组。同一份数据对应的多个(如3个)副本的集合可以称为一个复制组(ReplicateGroup，RG)。如图1所示，以每组前端存储节点组101包括3个前端存储节点1011，每组后端存储节点组102包括3个后端存储节点1021为例，以及，以前端磁盘为固态硬盘(SolidStateDisk或SolidStateDrive，SSD)，后端磁盘为串口硬盘(SerialAdvancedTechnologyAttachment，SATA)为例。分布式块存储系统包括多个存储节点，存储节点比如为服务器。客户端可以根据预设分配策略，为读写请求分配分布式块存储系统中的一个存储节点，之后将读写请求发送给分配的存储节点。本实施例中，客户端在为读写请求分配存储节点时，是在前端存储节点中分配，即，选择一个前端存储节点作为分配的存储节点，之后将读写请求发送给该选择的前端存储节点，客户端可以依据负载均衡等策略在多个前端存储节点中进行上述选择。相对应的，相关技术中，客户端是依据数据热度分配存储节点，比如，将热数据分配给包含SSD的存储节点，将冷数据分配给包含SATA的存储本文档来自技高网...

【技术保护点】
1.一种分布式块存储系统的读写方法，所述分布式块存储系统包括前端存储节点和后端存储节点，所述前端存储节点包括至少一个前端磁盘，所述后端存储节点包括至少一个后端磁盘，所述前端磁盘的读写性能高于所述后端磁盘的读写性能，所述方法包括：/n根据客户端发送的读写请求，对所述前端磁盘进行操作数据的读写操作；/n在满足预设的传输条件时，在所述前端磁盘和所述后端磁盘之间，执行所述操作数据的传输处理。/n

【技术特征摘要】
1.一种分布式块存储系统的读写方法，所述分布式块存储系统包括前端存储节点和后端存储节点，所述前端存储节点包括至少一个前端磁盘，所述后端存储节点包括至少一个后端磁盘，所述前端磁盘的读写性能高于所述后端磁盘的读写性能，所述方法包括：
根据客户端发送的读写请求，对所述前端磁盘进行操作数据的读写操作；
在满足预设的传输条件时，在所述前端磁盘和所述后端磁盘之间，执行所述操作数据的传输处理。


2.根据权利要求1所述的方法，其中，所述传输条件包括：迁移条件和缓存条件，所述在满足预设的传输条件时，在所述前端磁盘和所述后端磁盘之间，执行所述操作数据的传输处理，包括：
在满足所述迁移条件时，将所述前端磁盘上的所述操作数据迁移到所述后端磁盘上；和/或，
在满足所述缓存条件时，将所述后端磁盘上的所述操作数据缓存到所述前端磁盘上。


3.根据权利要求1所述的方法，其中，所述将所述前端磁盘上的所述操作数据迁移到所述后端磁盘上，包括：
在所述操作数据占用所述前端磁盘上的多个物理块时，按照所述多个物理块中各个物理块的优先级顺序，依次将所述各个物理块上的操作数据，迁移到所述后端磁盘上。


4.根据权利要求3所述的方法，其中，所述依次将所述各个物理块上的操作数据，迁移到所述后端磁盘上，包括：
对应所述各个物理块中每个单个物理块，按照所述单个物理块上存储的所述操作数据的存储顺序，顺序将所述单个物理块上的所述操作数据，迁移到所述后端磁盘上。


5.根据权利要求2所述的方法，其中，
所述前端磁盘包括第一物理存储空间和第二物理存储空间；
所述将所述前端磁盘上的所述操作数据迁移到所述后端磁盘上，包括：将所述前端磁盘的所述第一物理存储空间内的所述操作数据迁移到所述后端磁盘上；和/或，
所述将所述后端磁盘上的所述操作数据缓存到所述前端磁盘上，包括：将所述后端磁盘上的所述操作数据缓存到所述前端磁盘的所述第二物理存储空间内。


6.根据权利要求1-5任一项所述的方法，其中，所述根据客户端发送的读写请求，对所述前端磁盘进行操作数据的读写操作，包括：
在所述读写请求为写请求时，所述操作数据为待写入数据，所述写请求中携带所述待写入数据，将所述待写入数据作为文件，将所述文件分为至少一个文件单元，以及，确定所述至少一个文件单元中的每个文件单元映射到的物理单元，所述物理单元位于所述前端磁盘上，将所述每个文件单元存储到所述前端磁盘的所述映射到的物理单元上；和/或，
在所述读写请求为读请求时，所述操作数据为待读取数据，所述读请求中携带所述待读取数据的标识，根据所述标识获取所述待读取数据在所述前端磁盘上的存储信息，根据所述存储信息在所述前端磁盘上获取所述待读取数据，并将所述待读取数据发送给所述客户端。


7.一种分布式块存储系统的读写装置，所述分布式块存储系统包括前端存储节点和后端存储节点，所述前端存储节点包括至少一个前端磁盘，所述后端存储节点包括至少一个后端磁盘，所述前端磁盘的读写性能高于所述后端磁盘的读写性能，所述装置包括：
响应单元，用于根据客户端发送的读写请求，对所述前端磁盘进行操作数据的读写操作；
传输单元，用于在满足预设的传输条件时，在所述前端磁盘和所述后端磁盘之间，执行所述操作数据的传输处理。


8.根据权利要求7所述的装置，其中，所述传输条件包括：迁移条件和缓存条件，所述传输单元包括：
迁移模块，用于在满足所述迁移条件时，将所述前端磁盘上的所述操作数据迁移到所述后端磁盘上；和/或，
缓存模块，用于在满足所述缓存条件时，将所述后端磁盘上的所述操作数据缓存到所...

【专利技术属性】
技术研发人员：陈诚，郑鹏飞，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11