数据处理的方法、装置、处理设备及存储介质制造方法及图纸

本公开实施例公开了一种数据处理的方法，所述方法包括：获取K8s系统中至少两个服务节点的资源状态信息，资源状态信息指示服务节点的资源的使用情况；基于资源状态信息，从至少两个服务节点中确定出资源使用率满足预定要求的第一服务节点，第一服务节点运行有第一容器组Pod；基于资源状态信息，确定第二服务节点，第二服务节点的资源使用率小于第一服务节点的资源使用率；生成第二Pod，第二Pod运行在第二服务节点上；利用第二Pod将第一Pod使用的数据同步至第二服务节点。本公开实施例能够实现精准均衡且能够确保容器服务提供的连续性和可靠性。和可靠性。和可靠性。

【技术实现步骤摘要】
数据处理的方法、装置、处理设备及存储介质


[0001]本公开涉及且不限于资源管理
，尤其涉及一种数据处理的方法、装置、处理设备及存储介质。

技术介绍

[0002]随着云计算的不断发展，越来越多的项目需要迁移至容器化平台。容器化平台的容器集群管理系统(K8s，Kubernetes)集群越来越多。在业务实现过程中会出现资源的使用不均衡情况。相关技术中，K8s的均衡策略的实现较为粗放，不能实现精准均衡；且在进行资源均衡后可能会出现容器或者容器组(Pod)不能正常提供服务的情况。

技术实现思路

[0003]有鉴于此，本公开实施例公开了一种数据处理的方法、装置、处理设备及存储介质，以至少实现资源的精准均衡和在进行资源均衡后容器(或者容器组)能够可靠地提供服务。
[0004]根据本公开实施例的第一方面，提供一种数据处理的方法，所述方法包括：
[0005]获取K8s系统中至少两个服务节点的资源状态信息，所述资源状态信息指示服务节点的资源的使用情况；
[0006]基于所述资源状态信息，从所述至少两个服务节点中确定出资源使用率满足预定要求的第一服务节点，所述第一服务节点运行有第一容器组Pod；
[0007]基于所述资源状态信息，确定第二服务节点，所述第二服务节点的资源使用率小于所述第一服务节点的资源使用率；
[0008]生成第二Pod，所述第二Pod运行在所述第二服务节点上；
[0009]利用所述第二Pod将所述第一Pod使用的数据同步至所述第二服务节点。
[0010]在一个实施例中，所述资源状态信息包括以下至少之一：
[0011]中央处理器CPU的使用信息；
[0012]内存的使用信息；
[0013]磁盘的使用信息。
[0014]在一个实施例中，所述从所述至少两个服务节点中确定出资源使用率满足预定要求的第一服务节点，包括：
[0015]按照服务节点的资源使用率，从所述至少两个服务节点中确定出资源使用率最大的服务节点为所述第一服务节点。
[0016]在一些实施例中，所述从所述至少两个服务节点中确定出资源使用率满足预定要求的第一服务节点，包括：按照服务节点的资源使用率，从所述至少两个服务节点中确定出资源使用率大于或者等于第一阈值、且资源使用率最大的服务节点为所述第一服务节点。在一个实施例中，所述第二Pod包括主Pod和辅Pod，所述主Pod用于所述第二服务节点上的数据处理，所述辅Pod用于服务节点之间的数据同步；所述利用所述第二Pod将所述第一Pod
使用的数据同步至所述第二服务节点，包括：
[0017]利用所述辅Pod将所述第一Pod使用的数据同步至所述第二服务节点。
[0018]在一个实施例中，所述方法还包括：
[0019]响应于所述第一Pod使用的数据同步至所述第二服务节点完成，所述第二Pod启动数据库提供服务。
[0020]在一个实施例中，所述方法还包括：
[0021]响应于所述第一Pod使用的数据同步至所述第二服务节点完成，所述第一服务节点删除所述第一Pod和/或所述第一Pod使用的数据。
[0022]根据本公开实施例的第二方面，提供一种数据处理的装置，所述装置包括：
[0023]获取模块，被配置为：获取K8s系统中至少两个服务节点的资源状态信息，所述资源状态信息指示服务节点的资源的使用情况；
[0024]确定模块，被配置为：基于所述资源状态信息，从所述至少两个服务节点中确定出资源使用率满足预定要求的第一服务节点，所述第一服务节点运行有第一容器组Pod；
[0025]确定模块，还被配置为：选择第二服务节点，所述第二服务节点的资源使用率小于所述第一服务节点的资源使用率；
[0026]生成模块，被配置为生成第二Pod，所述第二Pod运行在所述第二服务节点上；
[0027]同步模块，被配置为利用所述第二Pod将所述第一Pod使用的数据同步至所述第二服务节点。
[0028]根据本公开实施例的第三方面，提供一种处理设备，所述处理设备包括：
[0029]存储器，用于存储可执行程序；
[0030]处理器，用于执行所述存储器中存储的可执行程序时，实现如本公开实施例中任一所述的方法。
[0031]根据本公开实施例的第四方面，提供一种计算机存储介质，所述计算机存储介质存储有可执行程序，所述可执行程序被处理器执行时，实现如本公开实施例中任一所述的方法。
[0032]本公开实施例中，获取K8s系统中至少两个服务节点的资源状态信息，所述资源状态信息指示服务节点的资源的使用情况，这里，由于所述资源状态信息指示了服务节点的资源的使用情况，如此，K8s可以获知K8s系统中各个服务节点的资源运行情况。基于所述资源状态信息，从所述至少两个服务节点中确定出资源使用率满足预定要求的第一服务节点，所述第一服务节点运行有第一容器组Pod，这里，由于可以基于资源状态信息从所述至少两个服务节点中确定出满足预定要求的第一服务节点，如此，可以选择出满足预定要求(例如，资源运行紧张或者资源使用超负荷)的第一服务节点。基于所述资源状态信息，确定第二服务节点，所述第二服务节点的资源使用率小于所述第一服务节点的资源使用率，这里，可以基于资源状态信息确定出资源使用率小于所述第一服务节点的资源使用率的第二服务节点。生成第二Pod，所述第二Pod运行在所述第二服务节点上，如此，生成的所述第二Pod可以辅助或者替代所述第一Pod提供容器服务。利用所述第二Pod将所述第一Pod使用的数据同步至所述第二服务节点，如此，在所述第二Pod将所述第一Pod使用的数据同步至所述第二服务节点后，就可以利用第二服务节点的资源实现第二Pod提供的容器服务，实质是在所述第二服务节点的资源使用率小于所述第一服务节点的资源使用率的情况下，将所述
第一Pod使用的数据同步至所述第二服务节点，利用第二Pod辅助或者替代所述第一Pod提供容器服务，减轻或者分担所述第一服务节点的负荷，从而实现了第一服务节点和第二服务节点之间使用资源的均衡，由于第一服务节点是和第二服务节点均是基于资源状态信息确定出的，确定出的均衡对象会更加精准，能够实现精准均衡；且由于会将第一Pod使用的数据同步至所述第二服务节点，可以继续利用第二Pod提供第一Pod提供的容器服务，确保了容器服务提供的连续性和可靠性。
附图说明
[0033]图1为根据一示例性实施例示出的一种数据处理的方法的流程示意图。
[0034]图2为根据一示例性实施例示出的一种获取资源状态信息的示意图。
[0035]图3为根据一示例性实施例示出的一种数据处理的方法的流程示意图。
[0036]图4为根据一示例性实施例示出的一种资源均衡的示意图。
[0037]图5为根据一示例性实施例示出的一种数据迁移的示意图。
[0038]图6为根据一示例性实施例示出的一种数据处理的方法的流程示意图。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，所述方法包括：获取K8s系统中至少两个服务节点的资源状态信息，所述资源状态信息指示服务节点的资源的使用情况；基于所述资源状态信息，从所述至少两个服务节点中确定出资源使用率满足预定要求的第一服务节点，所述第一服务节点运行有第一容器组Pod；基于所述资源状态信息，确定第二服务节点，所述第二服务节点的资源使用率小于所述第一服务节点的资源使用率；生成第二Pod，所述第二Pod运行在所述第二服务节点上；利用所述第二Pod将所述第一Pod使用的数据同步至所述第二服务节点。2.根据权利要求1所述的方法，其特征在于，所述资源状态信息包括以下至少之一：中央处理器CPU的使用信息；内存的使用信息；磁盘的使用信息。3.根据权利要求1所述的方法，其特征在于，所述从所述至少两个服务节点中确定出资源使用率满足预定要求的第一服务节点，包括：按照服务节点的资源使用率，从所述至少两个服务节点中确定出资源使用率最大的服务节点作为所述第一服务节点。4.根据权利要求1所述的方法，其特征在于，所述从所述至少两个服务节点中确定出资源使用率满足预定要求的第一服务节点，包括：按照服务节点的资源使用率，从所述至少两个服务节点中确定出资源使用率大于或者等于第一阈值、且资源使用率最大的服务节点作为所述第一服务节点。5.根据权利要求1所述的方法，其特征在于，所述第二Pod包括主Pod和辅Pod，所述主Pod用于所述第二服务节点上的数据处理，所述辅Pod用于服务节点之间的数据同步；所述利用所述第二Pod将所述第一Pod使用的数据同步...

【专利技术属性】
技术研发人员：杨续东，张博森，
申请(专利权)人：新浪技术中国有限公司，
类型：发明
国别省市：