快照保存方法、主节点、执行节点及相关设备技术

本发明专利技术提供一种快照保存方法、主节点、执行节点及相关设备，方法应用于主节点，包括：向多个算子执行实例下发快照触发指令，以使各算子执行实例对自身执行状态进行快照操作，并将得到的执行状态快照返回至主节点；对多个算子执行实例返回的所有执行状态快照进行合并得到快照合并文件；将快照合并文件保存至存储系统；本发明专利技术中的主节点可将这多个算子执行实例生成的所有执行状态快照进行合并得到快照合并文件，并将快照合并文件保存至存储系统，进而本发明专利技术可通过保存快照合并文件的方式解决现有技术存在的存储资源及计算资源浪费问题，并能够显著提升分布式快照功能的稳定性及可靠性。靠性。靠性。

【技术实现步骤摘要】
快照保存方法、主节点、执行节点及相关设备


[0001]本专利技术涉及流处理系统领域，特别涉及一种快照保存方法、主节点、执行节点、主节点设备及执行节点设备。

技术介绍

[0002]分布式快照(Checkpoint)是分布式流处理系统中的常见容错机制。在触发快照操作时，分布式流处理系统中的各个算子执行实例可基于自身执行状态生成快照文件，并将保存至存储系统，从而实现对当前状态的备份记录。然而，分布式流处理系统通常设置有大量的算子执行实例，在执行快照任务时，由于参与快照的所有算子执行实例都需进行快照文件写入，存储系统的计算资源将会在短时间内被耗尽，进而容易影响快照功能的可靠性。此外，由于分布式文件系统通常以数据块为单位进行数据存储，但快照文件的大小远小于数据块的大小，且存储系统需采用单独的数据块保存每个算子执行实例写入的快照文件，进而也严重浪费了存储系统的存储空间。

技术实现思路

[0003]本专利技术的目的是提供一种快照保存方法、主节点、执行节点、主节点设备及执行节点设备，可通过保存快照合并文件的方式解决现有技术存在的存储资源及计算资源浪费问题，并能够显著提升分布式快照功能的稳定性及可靠性。
[0004]为解决上述技术问题，本专利技术提供一种快照保存方法，应用于主节点，所述方法包括：
[0005]向多个算子执行实例下发快照触发指令，以使各所述算子执行实例对自身执行状态进行快照操作，并将得到的执行状态快照返回至所述主节点；
[0006]对所述多个算子执行实例返回的所有执行状态快照进行合并得到快照合并文件；
[0007]将所述快照合并文件保存至存储系统。
[0008]可选地，所述多个算子执行实例间预设有消息传递顺序，所述向多个算子执行实例下发快照触发指令，包括：
[0009]在检测到快照操作被触发时，向所述消息传递顺序中的首个算子执行实例下发所述快照触发指令，以使所述多个算子执行实例根据所述消息传递顺序从所述首个算子执行实例开始依次相互传递所述快照触发指令。
[0010]可选地，所述向所述消息传递顺序中的首个算子执行实例下发所述快照触发指令，包括：
[0011]创建快照协调器，并利用所述快照协调器向所述消息传递顺序中的首个算子执行实例下发所述快照触发指令。
[0012]可选地，所述算子执行实例将所述执行状态快照缓存至内存状态句柄，并将所述内存状态句柄返回至所述主节点，所述对所述多个算子执行实例返回的所有执行状态快照进行合并得到快照合并文件，包括：
[0013]从所述多个算子执行实例返回的内存状态句柄中提取所述执行状态快照，并对所有所述执行状态快照进行合并得到快照合并文件；
[0014]根据各所述执行状态快照在所述快照合并文件中的相对位置，修改各所述执行状态快照对应的内存状态句柄所记录的全局偏移量，以根据修改后的全局偏移量从所述快照合并文件中提取对应的执行状态快照；
[0015]将各所述内存状态句柄所记录的全局存储媒介信息修改为所述存储系统的存储媒介信息，以根据修改后的全局存储媒介信息从所述存储系统中提取对应的执行状态快照；
[0016]对所有修改后的内存状态句柄进行合并得到句柄合并文件；
[0017]相应的，所述将所述快照合并文件保存至存储系统，包括：
[0018]将所述快照合并文件及所述句柄合并文件保存至所述存储系统。
[0019]可选地，所述对所有所述执行状态快照进行合并得到快照合并文件，包括：
[0020]在预设全局缓存区中对所有所述执行状态快照进行合并得到快照合并文件。
[0021]本专利技术还提供一种快照保存方法，应用于执行节点，所述执行节点用于运行算子执行实例，所述方法包括：
[0022]在接收到主节点发送的快照触发指令时，对自身执行状态进行快照得到执行状态快照；
[0023]将所述执行状态快照返回至所述主节点，以使所述主节点对多个所述算子执行实例的执行状态快照进行合并，并将合并得到的快照合并文件保存至存储系统。
[0024]可选地，所述多个算子执行实例预设有消息传递顺序，所述主节点仅向所述消息传递顺序的首个算子执行实例下发所述快照触发指令，在接收到主节点发送的快照触发指令之后，还包括：
[0025]根据所述消息传递顺序，将所述快照触发指令依次传递至下一算子执行实例。
[0026]可选地，所述将所述执行状态快照返回至所述主节点，包括：
[0027]将所述执行状态快照缓存至内存状态句柄，并将所述内存状态句柄返回至所述主节点。
[0028]可选地，在将所述内存状态句柄返回至所述主节点之后，还包括：
[0029]在接收到所述主节点下发的内存状态句柄时，根据接收到内存状态句柄所记录的全局存储媒介信息及全局偏移量，从存放于所述存储系统内的句柄合并文件中加载对应的执行状态快照。
[0030]本专利技术还提供一种主节点，包括：
[0031]指令下发模块，用于向多个算子执行实例下发快照触发指令，以使各所述算子执行实例对自身执行状态进行快照操作，并将得到的执行状态快照返回至所述主节点；
[0032]合并模块，用于对所述多个算子执行实例返回的所有执行状态快照进行合并得到快照合并文件；
[0033]保存模块，用于将所述快照合并文件保存至存储系统。
[0034]本专利技术还提供一种执行节点，所述执行节点用于运行算子执行实例，所述执行节点包括：
[0035]快照模块，用于在接收到主节点发送的快照触发指令时，对自身执行状态进行快
照得到执行状态快照；
[0036]快照返回模块，用于将所述执行状态快照返回至所述主节点，以使所述主节点对多个所述算子执行实例的执行状态快照进行合并，并将合并得到的快照合并文件保存至存储系统。
[0037]本专利技术还提供一种主节点设备，包括：
[0038]存储器，用于存储计算机程序；
[0039]处理器，用于执行所述计算机程序时实现如上所述的快照保存方法。
[0040]本专利技术还提供一种执行节点设备，包括：
[0041]存储器，用于存储计算机程序；
[0042]处理器，用于执行所述计算机程序时实现如上所述的快照保存方法。
[0043]本专利技术提供一种快照保存方法，应用于主节点，所述方法包括：向多个算子执行实例下发快照触发指令，以使各所述算子执行实例对自身执行状态进行快照操作，并将得到的执行状态快照返回至所述主节点；对所述多个算子执行实例返回的所有执行状态快照进行合并得到快照合并文件；将所述快照合并文件保存至存储系统。
[0044]可见，在本专利技术中，主节点在向多个算子执行实例下发快照触发指令之后，这些算子执行实例可对自身执行状态进行快照操作，并将得到的执行状态快照返回至主节点，而不是将该执行状态快照写入存储系统；随后，主节点可对这多个算子执行实例对应的所有执行状态快照进行合并得到快照合并文件，并将快照合并文件保存至存储系统，由于快照合并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种快照保存方法，其特征在于，应用于主节点，所述方法包括：向多个算子执行实例下发快照触发指令，以使各所述算子执行实例对自身执行状态进行快照操作，并将得到的执行状态快照返回至所述主节点；对所述多个算子执行实例返回的所有执行状态快照进行合并得到快照合并文件；将所述快照合并文件保存至存储系统。2.根据权利要求1所述的快照保存方法，其特征在于，所述多个算子执行实例间预设有消息传递顺序，所述向多个算子执行实例下发快照触发指令，包括：在检测到快照操作被触发时，向所述消息传递顺序中的首个算子执行实例下发所述快照触发指令，以使所述多个算子执行实例根据所述消息传递顺序从所述首个算子执行实例开始依次相互传递所述快照触发指令。3.根据权利要求2所述的快照保存方法，其特征在于，所述向所述消息传递顺序中的首个算子执行实例下发所述快照触发指令，包括：创建快照协调器，并利用所述快照协调器向所述消息传递顺序中的首个算子执行实例下发所述快照触发指令。4.根据权利要求1至3任一项所述的快照保存方法，其特征在于，所述算子执行实例将所述执行状态快照缓存至内存状态句柄，并将所述内存状态句柄返回至所述主节点，所述对所述多个算子执行实例返回的所有执行状态快照进行合并得到快照合并文件，包括：从所述多个算子执行实例返回的内存状态句柄中提取所述执行状态快照，并对所有所述执行状态快照进行合并得到快照合并文件；根据各所述执行状态快照在所述快照合并文件中的相对位置，修改各所述执行状态快照对应的内存状态句柄所记录的全局偏移量，以根据修改后的全局偏移量从所述快照合并文件中提取对应的执行状态快照；将各所述内存状态句柄所记录的全局存储媒介信息修改为所述存储系统的存储媒介信息，以根据修改后的全局存储媒介信息从所述存储系统中提取对应的执行状态快照；对所有修改后的内存状态句柄进行合并得到句柄合并文件；相应的，所述将所述快照合并文件保存至存储系统，包括：将所述快照合并文件及所述句柄合并文件保存至所述存储系统。5.根据权利要求4所述的快照保存方法，其特征在于，所述对所有所述执行状态快照进行合并得到快照合并文件，包括：在预设全局缓存区中对所有所述执行状态快照进行合并得到快照合并文件。6.一种快照保存方法，其特征在于，应用于执行节点，所述执行节点用于运行算...

【专利技术属性】
技术研发人员：何文杰，陈飞，
申请(专利权)人：深圳市深信服信息安全有限公司，
类型：发明
国别省市：