本公开的实施方式提供了一种任务处理方法。该任务处理方法包括：获取在处理任务的状态数据；向第二集群发送状态数据，以使第二集群在监测到第一集群产生集群级别异常时，基于状态数据，继续执行在处理任务。通过将第一集群的在处理任务的状态数据同步至第二集群中，使得在第一集群出现异常时，第二集群可以继续执行在处理任务，本公开的方法可以避免集群出现异常时导致的在处理任务的状态数据丢失的问题，从而避免在处理任务处理失败，为用户带来了更好的体验。此外，本公开的实施方式提供了一种介质、装置和计算设备。装置和计算设备。装置和计算设备。
【技术实现步骤摘要】
任务处理方法、介质、装置和计算设备
[0001]本公开的实施方式涉及计算机
，更具体地，本公开的实施方式涉及任务处理方法、介质、装置和计算设备。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]在计算机
，任务包括实时任务和非实时任务。其中，实时任务是与时间的定量表达相关的任务，实时任务被调度以完成它所涉及的所有计算事件进入时序约束。与实时任务相关的时间约束是截止时间，实时任务需要在截止时间前完成。因此，在实际应用中，为保证实时任务在截止时间前完成，需要为实时任务合理分配实时计算资源。
[0004]相关技术中，实时计算资源包括Flink k8s集群和Flink yarn集群，且为了避免Flink k8s集群和/或Flink yarn集群出现集群级别异常时，实时任务处理失败，通常是对出现集群级别异常的集群进行重启，以使重启后的集群继续执行由于异常导致未完成的实时任务。但这种方式仍可能导致该实时任务处理失败。
技术实现思路
[0005]本公开提供一种任务处理方法、介质、装置和计算设备，以实现成功处理实时任务。
[0006]在本公开实施方式的第一方面中，提供了一种任务处理方法，应用于第一集群，包括：获取在处理任务的状态数据；向第二集群发送状态数据，以使第二集群在监测到第一集群产生集群级别异常时，基于状态数据，继续执行在处理任务。
[0007]在本公开的一个实施例中，获取在处理任务的状态数据，包括：监测状态目录，状态目录用于存储在处理任务的状态数据；响应监测到状态目录有新增的状态数据，获取新增的状态数据；向第二集群发送状态数据，包括：向第二集群发送新增的状态数据。
[0008]在本公开的另一实施例中，获取新增的状态数据之前，还包括：确定新增的状态数据在状态目录中的路径；根据路径，在状态目录中确定新增的状态数据对应的状态文件；对状态文件进行序列化处理，得到序列化文件；获取新增的状态数据，包括：获取序列化文件；对序列化文件进行反序列化处理，得到新增的状态数据。
[0009]在本公开的再一个实施例中，监测状态目录之前，还包括：在在处理任务执行前，获取在处理任务的状态目录地址；监测状态目录，包括：根据状态目录地址，监测状态目录。
[0010]在本公开的再一个实施例中，向第二集群发送状态数据之前，还包括：获取第一个数和第二个数，第一个数为状态数据的个数，第二个数为第一集群中的资源分区的个数；确定第一个数和第二个数的比值；向第二集群发送状态数据，包括：响应比值小于或等于资源分区的资源负载的运行基准值，控制资源分区向第二集群发送状态数据，运行基准值用于调节资源分区的资源负载。
[0011]在本公开的再一个实施例中，控制资源分区向第二集群发送状态数据，包括：根据资源分区的资源负载，对状态数据进行拆分处理，得到多组数据；将多组数据分别存储至不同资源分区对应的存储介质中；控制不同资源分区在对应的存储介质中读取数据，并分别向第二集群发送读取到的数据和数据对应的存储地址，以使第一集群与第二集群中各组数据的存储地址相同。
[0012]在本公开的再一个实施例中，还包括：响应于比值大于运行基准值，申请目标数量的资源分区，目标数量由第一个数、第二个数和运行基准值确定。
[0013]在本公开的再一个实施例中，向第二集群发送状态数据之后，还包括：对第一集群中的状态数据和第二集群中的状态数据进行一致性校验。
[0014]在本公开的再一个实施例中，对第一集群中的状态数据和第二集群中的状态数据进行一致性校验，包括：确定第一集群中的状态数据的第一数据大小和第一散列值，以及第二集群中的状态数据的第二数据大小和第二散列值；响应于第一数据大小等于第二数据大小，以及第一散列值等于第二散列值，确定对第一集群中的状态数据和第二集群中的状态数据校验成功。
[0015]在本公开实施方式的第二方面中，提供了一种任务处理方法，应用于第二集群，包括：监测第一集群是否产生集群级别异常，第一集群用于获取在处理任务的状态数据，并向第二集群发送状态数据；响应监测到第一集群产生集群级别异常，基于状态数据，继续执行在处理任务。
[0016]在本公开实施方式的第三方面中，提供了一种任务处理方法，包括：第一集群监测状态目录，状态目录用于存储在处理任务的状态数据；第一集群响应监测到状态目录有新增的状态数据，获取新增的状态数据；第一集群向第二集群发送新增的状态数据；第二集群监测第一集群是否产生集群级别异常；第二集群响应监测到第一集群产生集群级别异常，基于第一集群中在处理任务的状态数据，继续执行在处理任务，状态数据来自第一集群。
[0017]在本公开实施方式的第四方面中，提供了一种介质，介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面的任务处理方法。
[0018]在本公开实施方式的第五方面中，提供了一种任务处理装置，应用于第一集群，包括：获取模块，用于获取在处理任务的状态数据；发送模块，用于向第二集群发送状态数据，以使第二集群在监测到第一集群产生集群级别异常时，基于状态数据，继续执行在处理任务。
[0019]在本公开实施方式的第六方面中，提供了一种任务处理装置，应用于第二集群，包括：监测模块，用于监测第一集群是否产生集群级别异常，第一集群用于获取在处理任务的状态数据，并向第二集群发送状态数据；执行模块，用于响应监测到第一集群产生集群级别异常，基于状态数据，继续执行在处理任务。
[0020]在本公开实施方式的第七方面中，提供了一种任务处理装置，包括：第一控制模块，用于控制第一集群执行以下步骤：监测状态目录，状态目录用于存储在处理任务的状态数据；响应监测到状态目录有新增的状态数据，获取新增的状态数据；向第二集群发送新增的状态数据；第二控制模块，用于控制第二集群执行以下步骤：监测第一集群是否产生集群级别异常；响应监测到第一集群产生集群级别异常，基于第一集群中在处理任务的状态数据，继续执行在处理任务，状态数据来自第一集群。
[0021]在本公开实施方式的第八方面中，提供了一种任务处理系统，包括：第一集群，用于执行如第一方面的任务处理方法；第二集群，用于执行如第二方面的任务处理方法。
[0022]在本公开实施方式的第九方面中，提供了一种计算设备，包括：处理器，以及与处理器连接的存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，以实现如第一方面至第三方面任一项的任务处理方法。
[0023]根据本公开实施方式的任务处理方法、介质、装置和计算设备，通过将第一集群的在处理任务的状态数据同步至第二集群中，使得在第一集群出现异常时，第二集群可以继续执行在处理任务，可以避免集群出现异常时导致的在处理任务的状态数据丢失的问题，从而避免在处理任务处理失败，为用户带来了更好的体验。
附图说明
[0024]通过参考附图阅读下文的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种任务处理方法，应用于第一集群，所述任务处理方法包括：获取在处理任务的状态数据；向第二集群发送所述状态数据，以使所述第二集群在监测到所述第一集群产生集群级别异常时，基于所述状态数据，继续执行所述在处理任务。2.根据权利要求1所述的任务处理方法，所述获取在处理任务的状态数据，包括：监测状态目录，所述状态目录用于存储所述在处理任务的状态数据；响应监测到所述状态目录有新增的状态数据，获取所述新增的状态数据；所述向所述第二集群发送所述状态数据，包括：向所述第二集群发送所述新增的状态数据。3.根据权利要求2所述的任务处理方法，所述获取所述新增的状态数据之前，还包括：确定所述新增的状态数据在所述状态目录中的路径；根据所述路径，在所述状态目录中确定所述新增的状态数据对应的状态文件；对所述状态文件进行序列化处理，得到序列化文件；所述获取所述新增的状态数据，包括：获取所述序列化文件；对所述序列化文件进行反序列化处理，得到所述新增的状态数据。4.根据权利要求2所述的任务处理方法，所述监测状态目录之前，还包括：在所述在处理任务执行前，获取所述在处理任务的状态目录地址；所述监测状态目录，包括：根据所述状态目录地址，监测所述状态目录。5.根据权利要求1至4任一项所述的任务处理方法，所述向所述第二集群发送所述状态数据之前，还包括：获取第一个数和第二个数，所述第一个数为所述状态数据的个数，所述第二个数为所述第一集群中的资源分区的个数；确定所述第一个数和所述第二个数的比值；所述向所述第二集群发送所述状态数据，包括：响应所述比值小于或等于所述资源分区的资源负载的运行基准值，控制所述资源分区向所述第二集群发送所述状态数据，所述...
【专利技术属性】
技术研发人员：宋天琦，
申请(专利权)人：网易传媒科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。