一种弹性资源分配方法、装置、电子设备和存储介质制造方法及图纸

本申请提供了一种弹性资源分配方法、装置、电子设备和存储介质，方法包括：接收节点接收业务系统的数据流，并将业务系统的数据流发送至计算节点；计算节点接收业务系统的数据流，并对业务系统的数据流进行处理，获得数据块；计算节点将数据块发送至分流节点；分流节点接收数据块，并对数据块进行分类，至少获得第一分类数据流和第二分类数据流；分流节点通过输出节点将第一分类数据流传输至第一业务平台，并将第二分类数据流传输至第二业务平台。本申请可以将各种不同类型的数据发送至适应的计算节点进行处理；当某个计算子节点的数据处理超过负荷量，可以发送至其他的计算子节点进行处理，以实现计算资源的最高利用率。

An elastic resource allocation method, device, electronic device and storage medium

【技术实现步骤摘要】
一种弹性资源分配方法、装置、电子设备和存储介质
本申请涉及服务器
，特别是涉及一种弹性资源分配方法、装置、电子设备和存储介质。
技术介绍
智慧城市是把新一代信息技术充分运用在城市中的各行各业，并基于知识社会的城市信息化高级形态，实现信息化、工业化，与城镇化深度融合，有助于提高城镇化质量，实现精细化和动态管理，并提升城市管理成效和改善市民生活质量。智慧城市需要覆盖一个城市中的所有领域，包括城市管理、社会民生、资源环境、产业经济、特色服务等各个领域。目前，各个领域的信息都是分散的，无法实现对一个城市的全方面的信息进行统一管理，而限制各个领域的信息被统一管理的根本原因在于，现有的数据处理资源无法满足各个领域集中后的庞大数据信息的处理需求。
技术实现思路
本申请提供一种弹性资源分配方法、装置、电子设备和存储介质，以解决上述问题。本申请第一方面提供了一种弹性资源分配方法，应用于云服务器，所述云服务器包括接收节点、计算节点、分流节点以及输出节点；所述方法包括：所述接收节点接收业务系统的数据流，并将所述业务系统的数据流发送至所述计算节点；其中，业务系统的数据流至少包括第一业务系统的第一数据流和第二业务系统的第二数据流；所述计算节点接收所述业务系统的数据流，并对所述业务系统的数据流进行处理，获得数据块；所述计算节点将所述数据块发送至所述分流节点；所述分流节点接收所述数据块，并对所述数据块进行分类，至少获得第一分类数据流和第二分类数据流；其中，所述第一分类数据流与所述第一业务系统的数据流对应，所述第二分类数据流与所述第二业务系统的数据流对应；所述分流节点通过所述输出节点将所述第一分类数据流传输至第一业务平台，并将所述第二分类数据流传输至第二业务平台；其中，所述第一业务平台与所述第一业务系统对应，所述第二业务平台与所述第二业务系统对应。进一步地，所述计算节点至少包括第一类计算子节点；所述计算节点接收所述业务系统的数据流，并对所述业务系统的数据流进行处理，获得数据块，具体包括：判断所述第一数据流的数据量是否超过所述第一类计算子节点的第一预设阈值，当所述第一数据流的数据量不超过所述第一类计算子节点的第一预设阈值，所述第一类计算子节点接收所述第一数据流，并对所述第一数据流进行处理，得到数据块。进一步地，所述计算节点至少还包括第二类计算子节点；当所述第一数据流的数据量超过所述第一类计算子节点的第一预设阈值，将所述第一数据流分为至少两个第一子数据流，使得任意一个第一子数据流的数据量均小于所述第一类计算子节点的第一预设阈值；所述第一类计算子节点接收至少一个第一子数据流，并对所述至少一个第一子数据流进行处理，得到数据块；其中，所述第一类计算子节点接收的第一子数据流的总数据量不超过所述第一类计算子节点的第一预设阈值；判断剩余的第一子数据流的数据量是否超过所述第二类计算子节点的第二预设阈值；其中，剩余的第一子数据流是：所述第一数据流得到的所有第一子数据流中，未被所述第一类计算子节点接收的第一子数据流；当剩余的第一子数据流的数据量未超过所述第二类计算子节点的第二预设阈值，所述第二类计算子节点接收所述剩余的第一子数据流，并对所述剩余的第一子数据流进行处理，得到数据块。进一步地，所述云服务器还包括镜像接收节点、镜像计算节点、镜像分流节点以及镜像输出节点；其中，所述镜像接收节点是由所述接收节点镜像得到的；所述镜像计算节点是由所述计算节点镜像得到的；所述镜像分流节点是由所述分流节点镜像得到的；所述镜像输出节点是由所述输出节点镜像得到的。进一步地，所述云服务器还包括快照节点，所述快照节点用于针对所述接收节点、所述计算节点、所述分流节点以及所述输出节点实现快照操作。本申请第二方面提供了一种弹性资源分配装置，包括接收节点、计算节点、分流节点以及输出节点；所述接收节点包括第一接收模块和第一发送模块，所述第一接收模块用于接收业务系统的数据流；所述第一发送模块用于将所述业务系统的数据流发送至所述计算节点；其中，业务系统的数据流至少包括第一业务系统的第一数据流和第二业务系统的第二数据流；所述计算节点包括第二接收模块、处理模块以及第二发送模块，所述第二接收模块用于接收所述业务系统的数据流；所述处理模块用于对所述业务系统的数据流进行处理，获得数据块；所述第二发送模块用于将所述数据块发送至所述分流节点；所述分流节点包括第三接收模块、分类模块和第三发送模块，所述第三接收模块用于接收所述数据块；所述分类模块用于对所述数据块进行分类，至少获得第一分类数据流和第二分类数据流；其中，所述第一分类数据流与所述第一业务系统的数据流对应，所述第二分类数据流与所述第二业务系统的数据流对应；所述第三发送模块用于通过所述输出节点将所述第一分类数据流传输至第一业务平台，并将所述第二分类数据流传输至第二业务平台；其中，所述第一业务平台与所述第一业务系统对应，所述第二业务平台与所述第二业务系统对应。进一步地，所述计算节点至少包括第一类计算子节点；所述第一类计算子节点包括第一判断子模块和第一处理子模块，所述第一判断子模块用于判断所述第一数据流的数据量是否超过所述第一类计算子节点的第一预设阈值；所述第一处理子模块用于当所述第一数据流的数据量不超过所述第一类计算子节点的第一预设阈值，所述第一类计算子节点接收所述第一数据流，并对所述第一数据流进行处理，得到数据块。进一步地，所述计算节点至少还包括第二类计算子节点；所述第一类计算子节点还包括第一划分子模块和第一接收子模块，所述第一划分子模块用于当所述第一数据流的数据量超过所述第一类计算子节点的第一预设阈值，将所述第一数据流分为至少两个第一子数据流，使得任意一个第一子数据流的数据量均小于所述第一类计算子节点的第一预设阈值；所述第一接收子模块用于接收至少一个第一子数据流；所述第一处理子模块用于对所述至少一个第一子数据流进行处理，得到数据块；其中，所述第一类计算子节点接收的第一子数据流的总数据量不超过所述第一类计算子节点的第一预设阈值；所述第二类计算子节点包括第二判断子模块、第二接收子模块以及第二处理子模块；所述第二判断子模块用于判断剩余的第一子数据流的数据量是否超过所述第二类计算子节点的第二预设阈值；其中，剩余的第一子数据流是：所述第一数据流得到的所有第一子数据流中，未被所述第一类计算子节点接收的第一子数据流；所述第二接收子模块用于当剩余的第一子数据流的数据量未超过所述第二类计算子节点的第二预设阈值，所述第二类计算子节点接收所述剩余的第一子数据流；所述第二处理子模块用于对所述剩余的第一子数据流进行处理，得到数据块。本申请第三方面提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行以实现所述的一种弹性资源分配方法。本申请第四方面提供了一种非临时性计算机可读存储介本文档来自技高网...

【技术保护点】
1.一种弹性资源分配方法，其特征在于，应用于云服务器，所述云服务器包括接收节点、计算节点、分流节点以及输出节点；/n所述方法包括：/n所述接收节点接收业务系统的数据流，并将所述业务系统的数据流发送至所述计算节点；其中，业务系统的数据流至少包括第一业务系统的第一数据流和第二业务系统的第二数据流；/n所述计算节点接收所述业务系统的数据流，并对所述业务系统的数据流进行处理，获得数据块；所述计算节点将所述数据块发送至所述分流节点；/n所述分流节点接收所述数据块，并对所述数据块进行分类，至少获得第一分类数据流和第二分类数据流；其中，所述第一分类数据流与所述第一业务系统的数据流对应，所述第二分类数据流与所述第二业务系统的数据流对应；/n所述分流节点通过所述输出节点将所述第一分类数据流传输至第一业务平台，并将所述第二分类数据流传输至第二业务平台；其中，所述第一业务平台与所述第一业务系统对应，所述第二业务平台与所述第二业务系统对应。/n

【技术特征摘要】
1.一种弹性资源分配方法，其特征在于，应用于云服务器，所述云服务器包括接收节点、计算节点、分流节点以及输出节点；
所述方法包括：
所述接收节点接收业务系统的数据流，并将所述业务系统的数据流发送至所述计算节点；其中，业务系统的数据流至少包括第一业务系统的第一数据流和第二业务系统的第二数据流；
所述计算节点接收所述业务系统的数据流，并对所述业务系统的数据流进行处理，获得数据块；所述计算节点将所述数据块发送至所述分流节点；
所述分流节点接收所述数据块，并对所述数据块进行分类，至少获得第一分类数据流和第二分类数据流；其中，所述第一分类数据流与所述第一业务系统的数据流对应，所述第二分类数据流与所述第二业务系统的数据流对应；
所述分流节点通过所述输出节点将所述第一分类数据流传输至第一业务平台，并将所述第二分类数据流传输至第二业务平台；其中，所述第一业务平台与所述第一业务系统对应，所述第二业务平台与所述第二业务系统对应。


2.根据权利要求1所述的方法，其特征在于，所述计算节点至少包括第一类计算子节点；
所述计算节点接收所述业务系统的数据流，并对所述业务系统的数据流进行处理，获得数据块，具体包括：
判断所述第一数据流的数据量是否超过所述第一类计算子节点的第一预设阈值，当所述第一数据流的数据量不超过所述第一类计算子节点的第一预设阈值，所述第一类计算子节点接收所述第一数据流，并对所述第一数据流进行处理，得到数据块。


3.根据权利要求2所述的方法，其特征在于，所述计算节点至少还包括第二类计算子节点；
当所述第一数据流的数据量超过所述第一类计算子节点的第一预设阈值，将所述第一数据流分为至少两个第一子数据流，使得任意一个第一子数据流的数据量均小于所述第一类计算子节点的第一预设阈值；
所述第一类计算子节点接收至少一个第一子数据流，并对所述至少一个第一子数据流进行处理，得到数据块；其中，所述第一类计算子节点接收的第一子数据流的总数据量不超过所述第一类计算子节点的第一预设阈值；
判断剩余的第一子数据流的数据量是否超过所述第二类计算子节点的第二预设阈值；其中，剩余的第一子数据流是：所述第一数据流得到的所有第一子数据流中，未被所述第一类计算子节点接收的第一子数据流；
当剩余的第一子数据流的数据量未超过所述第二类计算子节点的第二预设阈值，所述第二类计算子节点接收所述剩余的第一子数据流，并对所述剩余的第一子数据流进行处理，得到数据块。


4.根据权利要求1所述的方法，其特征在于，所述云服务器还包括镜像接收节点、镜像计算节点、镜像分流节点以及镜像输出节点；
其中，所述镜像接收节点是由所述接收节点镜像得到的；所述镜像计算节点是由所述计算节点镜像得到的；所述镜像分流节点是由所述分流节点镜像得到的；所述镜像输出节点是由所述输出节点镜像得到的。


5.根据权利要求1所述的方法，其特征在于，所述云服务器还包括快照节点，所述快照节点用于针对所述接收节点、所述计算节点、所述分流节点以及所述输出节点实现快照操作。


6.一种弹性资源分配装置，其特征在于，包括接收节点、计算节点、分流节点以及输出节点；
所述接收节点包括第一接收模块和第一发送模块，所述第一...

【专利技术属性】
技术研发人员：邓练兵，薛剑，陈金鹿，
申请(专利权)人：珠海大横琴科技发展有限公司，
类型：发明
国别省市：广东;44