应用于分布式系统的延迟加载方法及装置制造方法及图纸

本文公开了一种应用于分布式系统的延迟加载方法及装置，包括：根据来自块设备主节点的下载子块的请求，从镜像中心下载虚拟机镜像的数据块到相应的快照子块；在所述下载的过程中，通过分析所述快照子块中数据块的读取情况，确定所述快照子块的热点数据块，并将所述热点数据块发送至至少一个缓存服务节点。本申请能够提高热点数据块的读取效率，从而降低虚拟机启动时的读写延时。

Delayed Loading Method and Device for Distributed System

【技术实现步骤摘要】
应用于分布式系统的延迟加载方法及装置
本专利技术涉及计算机
，尤其涉及一种应用于分布式系统的延迟加载方法及装置。
技术介绍
云计算中最重要的部分是弹性计算。在当今的互联网应用中，业务流量波动非常剧烈，当这些应用运行在云计算平台上时，对虚拟机的需求数量也是弹性非常大，也就是说，当业务高峰到来的时候，需要在短时间内启动大量的虚拟机。在短时间内大量启动虚拟机，就需要并发完成大量虚拟机块设备从磁盘镜像的加载过程，这将对云计算架构下块设备存储集群(EBS)、镜像中心(Imagecenter)都构成巨大的压力，同时也让虚拟机的运行受到巨大干扰。同时，虚拟机启动过程中的读写延时(IOlatency)会大幅提高，虚拟机的读写会产生大量的毛刺，影响虚拟机的正常工作。
技术实现思路
本申请旨在至少解决相关技术中的技术问题之一。本申请实施例提供一种应用于分布式系统的延迟加载方法及装置，至少能够提高热点数据块的读取效率，从而降低虚拟机启动时的读写延时。本申请采用如下技术方案。一种应用于分布式系统的延迟加载方法，包括：根据来自块设备主节点的下载子块的请求，从镜像中心下载虚拟机镜像的数据块到相应的快照子块；在所述下载的过程中，通过分析所述快照子块中数据块的读取情况，确定所述快照子块的热点数据块，并将所述热点数据块发送至至少一个缓存服务节点。其中，所述通过分析所述快照子块中数据块的读取情况，确定所述快照子块的热点数据块，包括：记录延迟加载期间所述快照子块中数据块的读取次数和读取频率中至少之一；根据所述快照子块中数据块的读取次数和读取频率中至少之一，确定延迟加载期间所述快照子块的热点数据块。其中，所述根据所述快照子块中数据块的读取次数和读取频率中至少之一，确定延迟加载期间所述快照子块的热点数据块，至少包括如下之一：将所述快照子块中数据块的读取次数与预先设定的读取次数阈值比较，所述读取次数超过所述读取次数阈值时，确定所述数据块为热点数据块；将所述快照子块中数据块的读取频率与预先设定的读取频率阈值比较，所述读取频率超过所述读取频率阈值时，确定所述数据块为热点数据块；将所述快照子块中数据块的读取次数与预先设定的读取次数阈值比较，并将所述快照子块中数据块的读取频率与预先设定的读取频率阈值比较，所述读取次数超过所述读取次数阈值且所述读取频率超过所述读取频率阈值时，确定所述数据块为热点数据块。其中，所述将所述热点数据块发送至至少一个缓存服务节点，包括：根据所述快照子块的快照标识和数据块标识、以及所有缓存服务节点的标识，按照分布式一致性哈希算法为所述快照子块分配至少一个缓存服务节点，并将所述快照子块的热点数据块送至所述至少一个缓存服务节点。其中，所述方法还包括：接收到来自块设备服务节点的针对所述热点数据块的读请求时，至少向所述块设备服务节点返回对应所述热点数据块的第一标识，所述第一标识表示所述热点数据块已被发送至缓存服务节点，以便所述块设备服务节点后续向所述至少一个缓存服务节点获取相应快照子块的热点数据块。一种应用于分布式系统的延迟加载装置，包括：存储有计算机程序的存储器；处理器，配置为读取所述计算机程序以执行上述延迟加载方法的步骤。一种应用于分布式系统的延迟加载方法，包括：接收块设备主节点发送的子块传输请求；根据所述子块传输请求，从至少一个缓存服务节点获取相应快照子块的热点数据块，并从快照服务节点获取相应快照子块中除所述热点数据块之外的数据块，以获取到所述快照子块的所有数据块；将所述快照子块的所有数据块共享至相应虚拟机块设备的子块。其中，所述从至少一个缓存服务节点获取相应快照子块的热点数据块之前，还包括：在接收到来自所述快照服务节点的第一标识之后，直接向所述至少一个缓存服务节点请求相应的热点数据块，所述第一标识表示所述热点数据块已被发送至缓存服务节点。其中，所述从至少一个缓存服务节点获取相应快照子块的热点数据块之前，还包括：向所述快照服务节点请求所述热点数据块，并接收来自所述快照服务节点的所述第一标识。其中，所述从至少一个缓存服务节点获取相应快照子块的热点数据块，包括：根据所述快照子块的快照标识和数据块标识、以及所有缓存服务节点的标识，按照分布式一致性哈希算法确定对应所述快照子块的至少一个缓存服务节点，并向所述至少一个缓存服务节点获取所述快照子块的热点数据块。一种应用于分布式系统的延迟加载装置，包括：存储有计算机程序的存储器；处理器，配置为读取所述计算机程序以执行上述延迟加载方法的步骤。一种应用于分布式系统的延迟加载方法，包括：将来自至少一个快照服务节点的至少一个快照子块的热点数据块缓存在内存；接收来自至少一个块设备服务节点的读请求，从内存中读取相应快照子块的热点数据块并返回给所述至少一个块设备服务节点。其中，所述将来自至少一个快照服务节点的至少一个快照子块的热点数据块缓存在内存，包括：利用预先设置的缓存容器将所述热点数据块缓存；其中，所述缓存容器为预先分配的预定大小的内存缓存区。其中，所述从内存中读取相应快照子块的热点数据块并返回给所述至少一个块设备服务节点之后，还包括：接收来自块设备主节点的通知，并释放所述通知所指示快照子块的热点数据块。一种应用于分布式系统的延迟加载装置，包括：存储有计算机程序的存储器；处理器，配置为读取所述计算机程序以执行上述延迟加载方法的步骤。一种应用于分布式系统的延迟加载方法，包括：分布式的快照服务节点分别从镜像中心下载虚拟机镜像的数据块到相应的快照子块；在所述下载虚拟机镜像的过程中，分布式的快照服务节点分别确定相应快照子块的热点数据块，并将所述热点数据块分发至分布式的缓存服务节点；所述下载虚拟机镜像完成后，分布式的块设备服务节点分别向分布式的缓存服务节点获取相应快照子块的热点数据块，以将相应快照子块的所有数据块共享至相应虚拟机块设备的子块；其中，所述分布式的快照服务节点分别确定相应快照子块的热点数据块，包括：所述分布式的快照服务节点分别记录延迟加载期间所述快照子块中数据块的读取次数和读取频率中至少之一；并根据所述快照子块中数据块的读取次数和读取频率中至少之一，确定延迟加载期间所述快照子块的热点数据块。其中，所述将所述热点数据块分发至分布式的缓存服务节点，包括：所述分布式的快照服务节点分别根据相应快照子块的快照标识和数据块标识、以及所有缓存服务节点的标识，按照分布式一致性哈希算法为相应快照子块分配至少一个缓存服务节点，并将相应快照子块的热点数据块送至所述至少一个缓存服务节点。其中，所述分布式的块设备服务节点分别向分布式的缓存服务节点获取相应快照子块的热点数据块，包括：分布式的块设备服务节点分别在接收到来自所述分布式的快照服务节点的第一标识之后，直接向分布式的缓存服务节点请求相应快照子块的热点数据块，所述第一标识表示所述快照子块的热点数据块已被发送至缓存服务节点。其中，所述分布式的块设备服务节点分别向分布式的缓存服务节点获取相应快照子块的热点数据块之前，还包括：分布式的块设备服务节点分别向分布式的快照服务节点请求相应快照子块的热点数据块，分布式的快照服务节点至少向所述分布式的块设备服务节点返回对应所述热点数据块的所述第一标识，以便所述分布式的块设备服务节点后续向分布式的缓存服务节点获取相应快照子块的热点数据本文档来自技高网...

【技术保护点】
1.一种应用于分布式系统的延迟加载方法，包括：根据来自块设备主节点的下载子块的请求，从镜像中心下载虚拟机镜像的数据块到相应的快照子块；在所述下载的过程中，通过分析所述快照子块中数据块的读取情况，确定所述快照子块的热点数据块，并将所述热点数据块发送至至少一个缓存服务节点。

【技术特征摘要】
1.一种应用于分布式系统的延迟加载方法，包括：根据来自块设备主节点的下载子块的请求，从镜像中心下载虚拟机镜像的数据块到相应的快照子块；在所述下载的过程中，通过分析所述快照子块中数据块的读取情况，确定所述快照子块的热点数据块，并将所述热点数据块发送至至少一个缓存服务节点。2.根据权利要求1所述的延迟加载方法，其特征在于，所述通过分析所述快照子块中数据块的读取情况，确定所述快照子块的热点数据块，包括：记录延迟加载期间所述快照子块中数据块的读取次数和读取频率中至少之一；根据所述快照子块中数据块的读取次数和读取频率中至少之一，确定延迟加载期间所述快照子块的热点数据块。3.根据权利要求2所述的延迟加载方法，其特征在于，所述根据所述快照子块中数据块的读取次数和读取频率中至少之一，确定延迟加载期间所述快照子块的热点数据块，至少包括如下之一：将所述快照子块中数据块的读取次数与预先设定的读取次数阈值比较，所述读取次数超过所述读取次数阈值时，确定所述数据块为热点数据块；将所述快照子块中数据块的读取频率与预先设定的读取频率阈值比较，所述读取频率超过所述读取频率阈值时，确定所述数据块为热点数据块；将所述快照子块中数据块的读取次数与预先设定的读取次数阈值比较，并将所述快照子块中数据块的读取频率与预先设定的读取频率阈值比较，所述读取次数超过所述读取次数阈值且所述读取频率超过所述读取频率阈值时，确定所述数据块为热点数据块。4.根据权利要求1所述的延迟加载方法，其特征在于，所述将所述热点数据块发送至至少一个缓存服务节点，包括：根据所述快照子块的快照标识和数据块标识、以及所有缓存服务节点的标识，按照分布式一致性哈希算法为所述快照子块分配至少一个缓存服务节点，并将所述快照子块的热点数据块送至所述至少一个缓存服务节点。5.根据权利要求1所述的延迟加载方法，其特征在于，所述方法还包括：接收到来自块设备服务节点的针对所述热点数据块的读请求时，至少向所述块设备服务节点返回对应所述热点数据块的第一标识，所述第一标识表示所述热点数据块已被发送至缓存服务节点，以便所述块设备服务节点后续向所述至少一个缓存服务节点获取相应快照子块的热点数据块。6.一种应用于分布式系统的延迟加载装置，其特征在于，包括：存储有计算机程序的存储器；处理器，配置为读取所述计算机程序以执行权利要求1至5任一所述延迟加载方法的步骤。7.一种应用于分布式系统的延迟加载方法，包括：接收块设备主节点发送的子块传输请求；根据所述子块传输请求，从至少一个缓存服务节点获取相应快照子块的热点数据块，并从快照服务节点获取相应快照子块中除所述热点数据块之外的数据块，以获取到所述快照子块的所有数据块；将所述快照子块的所有数据块共享至相应虚拟机块设备的子块。8.根据权利要求7所述的延迟加载方法，其特征在于，所述从至少一个缓存服务节点获取相应快照子块的热点数据块之前，还包括：在接收到来自所述快照服务节点的第一标识之后，直接向所述至少一个缓存服务节点请求相应的热点数据块，所述第一标识表示所述热点数据块已被发送至缓存服务节点。9.根据权利要求8所述的延迟加载方法，其特征在于，所述从至少一个缓存服务节点获取相应快照子块的热点数据块之前，还包括：向所述快照服务节点请求所述热点数据块，并接收来自所述快照服务节点的所述第一标识。10.根据权利要求7至9任一项所述的延迟加载方法，其特征在于，所述从至少一个缓存服务节点获取相应快照子块的热点数据块，包括：根据所述快照子块的快照标识和数据块标识、以及所有缓存服务节点的标识，按照分布式一致性哈希算法确定对应所述快照子块的至少一个缓存服务节点，并向所述至少一个缓存服务节点获取所述快照子块的热点数据块。11.一种应用于分布式系统的延迟加载装置，其特征在于，包括：存储有计算机程序的存储器；处理器，配置为读取所述计算机程序以执行权利要求7至10任一所述延迟加载方法的步骤。12.一种应用于分布式系统的延迟加载方法，包括：将来自至少一个快照服务节点的至少一个快照子块的热点数据块缓存在内存；接收来自至少一个块设备服务节点的读请求，从内存中读取相应快照子块的热点数据块并返回给所述至少一个块设备服务节点。13.根据权利要求12所述的延迟加载方法，其特征在于，所述将来自至少一个快照服务节点的至少一个快照子块的热点数据块缓存在内存，包括：利用预先设置的缓存容器将所述热点数据块缓存；其中，所述缓存容器为预先分配的预定大小的内存缓存区。14.根据权利要求12所述的延迟加载方法，其特征在于，所述从内存中读取相应快照子块的热点数据块并返回给所述至少一个块设备服务节点之后，还包括：接收来自块设备主节点的通知，并释放所述通知所指示快照子块的热点数据块。15.一种应用于分布式系统的延迟加载装置，其特征在于，包括：存储有计算机程序的存储器；处理器，配置为读取所述计算机程序以执行权利要求12至14任一所述延迟加载方法的步骤。16.一种应用于分布式系统的延迟加载方法，包括：分布式的快照服务节点分别从镜像中心下载虚拟机镜像的数据块到相应的快照子块；在所述下载虚拟机镜像的过程中，分布式的快照服务节点分别确定相应快照子块的热点数据块，并将所述热点数据块分发至分布式的缓存服务节点；所述下载...

【专利技术属性】
技术研发人员：彭海林，佘海斌，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY