云主机镜像文件的多备份就近存储和读取方法及系统技术方案

本发明专利技术属于云计算中的基于分布式文件系统的云管理平台的镜像存储领域，涉及一种云主机镜像文件的多备份就近存储和读取方法及系统。该方法将云主机镜像文件分割成数据块并进行备份，然后存储在若干计算节点服务器中，其中本地计算节点服务器存储一份完整的云主机镜像文件，其它备份的数据块平均分配到其它计算节点服务器中存储；并采用元数据服务器记录云主机镜像文件的各数据块所对应存储的计算节点服务器信息；然后客户端优先从本地计算节点服务器读取数据，如果该本地计算节点服务器出现故障，则从其它计算节点服务器中并发读取整份数据。本发明专利技术适用于云管理平台中的云主机镜像文件的存储，能够提高系统的性能，获得更快的存储和读取速度。

【技术实现步骤摘要】
【专利摘要】本专利技术属于云计算中的基于分布式文件系统的云管理平台的镜像存储领域，涉及一种云主机镜像文件的多备份就近存储和读取方法及系统。该方法将云主机镜像文件分割成数据块并进行备份，然后存储在若干计算节点服务器中，其中本地计算节点服务器存储一份完整的云主机镜像文件，其它备份的数据块平均分配到其它计算节点服务器中存储；并采用元数据服务器记录云主机镜像文件的各数据块所对应存储的计算节点服务器信息；然后客户端优先从本地计算节点服务器读取数据，如果该本地计算节点服务器出现故障，则从其它计算节点服务器中并发读取整份数据。本专利技术适用于云管理平台中的云主机镜像文件的存储，能够提高系统的性能，获得更快的存储和读取速度。【专利说明】云主机镜像文件的多备份就近存储和读取方法及系统
本专利技术属于计算机
中的基于分布式文件系统的云主机镜像存储技术，涉及在基于分布式文件系统中的云主机镜像数据存储策略和读取策略，主要应用在需要使用共享存储，并且对于数据的I/o性能要求比较高的云管理平台环境之下。
技术介绍
在云平台管理系统中，传统的方式是使用本地磁盘存储云主机镜像文件，使用这种方式的优点是存取速度快，虚机直接和本地磁盘中的数据交互，I/o性能良好。但是这种方式有个比较大的缺点，那就是如果本地磁盘坏掉的话，用户所使用的云主机就会停止，即使还有其他的云主机镜像备份或者本机做了 raid，那要恢复云主机镜像的话也还是要一段时间，而且需要人工去处理；这就会影响用户的服务。基于这种情况的一种解决方式就是使用共享存储，云主机镜像文件不存放于本地磁盘中，而是存放于由分布式文件系统创建的共享存储上，即使云主机所在的物理机出现故障不能正常工作，存储于共享存储中的云主机镜像还是可以正常使用。通过这种方式可以使用合理的调度策略来提高云平台的服务质量，但是使用这种方式对分布式文件系统的I/O性能提出了挑战。分布式文件系统是指网络中的多个存储节点通过网络组织起来，并通过网络来完成各存储节点时的通信和控制的文件系统。分布式文件系统的主要目标是使多个客户可以并发地存取文件，因此缓存一致性语义和各种底层优化也是根据这种存取行为来设计的。就目前主流的分布式文件系统来看，当数据写入时，整个文件会被分成多个小块，然后这些小文件块会被均等的分配到各个数据服务器中。这就导致了在读取数据时，性能的下降，因为无论是在哪个客户端服务器读取数据，都需要通过网络到每个数据服务器上去获取数据。目前分布式并行文件系统的性能研究更得到了国内外许多专家学者的关注，研究分布式并行文件系统及它的性能具有非常重要的意义。如何有效的存储海量数据，并提供较好的可靠性和可扩展性都是分布式文件系统设计和优化所面临的问题。
技术实现思路
从以上的技术背景来看，云管理平台要实现高可用性就需要使用分布式文件系统来存储云主机的镜像文件，而当用户使用云主机时，用户的每一个操作都需要同云主机镜像进行交互，这是一种I/o密集型的应用场景。但是分布式文件系统在处理大规模I/O访问的情况下，会出现性能不够良好的问题，由于分布式文件系统的存储方式是分布的，所以在文件读取的时候都需要通过网络来存取数据，这就加重了网络的负载。虽然可以采用多CPU和多网卡绑定并发访问的方式来提高系统的读写性能，但是在云管理平台I/o访问频繁的情况下，还是会出现I/o读写的瓶颈。本专利技术结合了云管理平台和分布式文件系统的特征，采用了一种多备份就近本地存储和读取的方式来提高系统的I/o读写速度，从而优化了云管理平台中分布式文件系统的性能。为实现上述目的，本专利技术采用如下技术方案:一种云主机镜像文件的存储和读取方法，其步骤包括:I)将云主机镜像文件分割成数据块并进行备份，然后存储在若干计算节点服务器中，其中客户端所在的本地计算节点服务器存储一份完整的云主机镜像文件，其它备份的数据块平均分配到其它计算节点服务器中存储；2)采用元数据服务器记录云主机镜像文件的各数据块所对应存储的计算节点服务器信息；3)客户端读取元数据服务器中记录的各数据块所对应存储的计算节点服务器信息，访问相应的计算节点服务器以读取数据。进一步地，客户端优先从本地计算节点服务器读取数据；如果该本地计算节点服务器出现故障，则从其它计算节点服务器中并发读取整份数据。进一步地，用户创建云主机时，首先根据云管理平台中控制服务器的宿主机调度策略选择一台计算节点服务器，然后从该计算节点服务器创建云主机并写入云主机镜像文件数据；用户使用云主机时，首先找到该云主机所在的计算节点服务器，然后读取云主机镜像文件数据。一种云主机镜像文件的存储和读取系统，其包括:控制服务器，负责云管理平台中云主机的调度、迁移和网络配置功能；若干计算节点服务器，负责创建和运行云主机，同时具有共享存储的数据存储功能和共享存储的客户端功能，用于将云主机镜像文件分割成数据块并进行备份，其中客户端所在的本地计算节点服务器存储一份完整的云主机镜像文件，其它备份的数据块平均分配到其它计算节点服务器中存储；元数据服务器，用于记录云主机镜像文件的各数据块所对应存储的计算节点服务器信息。进一步地，客户端优先从本地计算节点服务器读取数据，如果该本地计算节点服务器出现故障，则从其它计算节点服务器中并发读取整份数据。优选地，所述元数据服务器为两台，做双机热备。本专利技术适用于云管理平台中的云主机镜像文件的存储；在这样的环境下，云管理平台会做相应的调度，来平衡各个客户端的负载，因此不会造成某个客户端和数据服务器中的数据量过大，从而影响系统性能的问题。本专利技术中的元数据服务器在记录时不仅记录每个数据块和元数据的存放位置，也会记录每个数据的优先读取服务器。在数据写入时会有一份数据写入到客户端所在的云平台计算节点，这会在元数据服务器中做相应的记录，当用户发使用云主机时，由于每个云主机所在的计算节点都存了一份完整的云主机镜像文件，此时按照元数据服务器所记录的信息，就可以优先使用本地计算节点中所存储的云平台镜像，然后从本地读取数据，虽然数据分割成了块，但是本地读取数据不会通过网络，而是通过本地I/O直接读取数据，从而提高系统的性能，获得更快的存储和读取速度。【专利附图】【附图说明】图1是本专利技术的云主机镜像文件的存储和读取系统的架构示意图。图2是本专利技术的云主机镜像文件的存储和读取系统的数据写入流程图。图3是本专利技术的云主机镜像文件的存储和读取系统的数据读取流程图。【具体实施方式】下面通过具体实施例和附图，对本专利技术做进一步详细说明。本实施例的云主机镜像文件的存储和读取系统，需要三种服务器:控制服务器(Controller服务器)、元数据服务器(Metadata服务器)和计算节点服务器(Compute服务器)，如图1所示。其中，控制服务器是指的云管理平台中的管理云主机的调度、迁移和网络配置等功能的服务器；计算节点服务器是指云管理平台中的创建云主机和运行云主机的服务器，计算节点服务器同时具有共享存储的数据存储功能，并且有共享存储的客户端功能，能够读取数据；元数据服务器主要用于记录云主机镜像文件的各数据块所对应存储的计算节点服务器信息。控制服务器只要一台就可以，元数据服务器准备两台，做双机热备，以提高系统的高可用(HA，High Available,)性本文档来自技高网...

【技术保护点】
一种云主机镜像文件的存储和读取方法，其步骤包括：1）将云主机镜像文件分割成数据块并进行备份，然后存储在若干计算节点服务器中，其中客户端所在的本地计算节点服务器存储一份完整的云主机镜像文件，其它备份的数据块平均分配到其它计算节点服务器中存储；2）采用元数据服务器记录云主机镜像文件的各数据块所对应存储的计算节点服务器信息；3）客户端读取元数据服务器中记录的各数据块所对应存储的计算节点服务器信息，访问相应的计算节点服务器以读取数据。

【技术特征摘要】

【专利技术属性】
技术研发人员：冯凯，韦远科，赵红新，周园春，黎建辉，甘宁，邵靖，
申请(专利权)人：中国科学院计算机网络信息中心，北龙泽达北京数据科技有限公司，
类型：发明
国别省市：