一种CDN节点过载的调度方法及系统技术方案

本发明专利技术提供一种CDN节点过载的调度方法及系统，其特征在于，所述方法包括：以预定频率探测CDN节点内的硬件资源使用情况，并根据所述硬件资源使用情况确定CDN节点内的硬件资源利用率；根据所述硬件资源利用率，结合预设负载调整算法更新跳转调度策略；每间隔设定时间段查询当前的跳转调度策略，根据查询到的跳转调度策略确定是否需要对当前时间段内接收到的用户请求进行调度；若需要，则根据查询到的用户请求调度比例确定需要跳转的用户请求，并将需要跳转的用户请求跳转到目标节点。通过此方法，可以解决现有应对CDN节点过载调度技术中预警不够及时、预测不准以及调度生效延迟的问题。

【技术实现步骤摘要】
一种CDN节点过载的调度方法及系统
本专利技术涉及通信
，具体涉及一种CDN节点过载的调度方法及系统。
技术介绍
CDN(内容分发网络)通过在世界各地部署服务节点，使用户能够就近快速访问互联网资源。一般来说，CDN具备一套全局流量调度系统，其根据设定的策略，将不同地区和运营商的用户访问请求调度至不同的服务节点；其另外一个主要工作是在用户访问质量与节点运营成本之间取得平衡。在现实网络环境中，由于CDN承载的业务类型繁多，且不同业务具有不同的流量分布和变化特征，可能导致部分服务节点的容量(服务能力)与实际的访问流量之间出现短时的或长时的不匹配，例如一个突发的区域性的社会热点事件可能会引起相关地区的用户访问流量突增，导致相关节点负载急剧升高，进而导致节点服务质量和用户体验的下降。随着互联网业务的快速发展和不断变化，节点过载问题出现的愈发频繁，这对CDN调度系统提出了一个挑战：能够快速发现节点过载的情况，并及时将相关节点无法承载的流量调度至其他节点。针对这一问题，现有的解决技术方案包括两种：1、节点预警加DNS调度：一般来讲CDN会根据各节点的网络质量、网络容量以及客户的服务等级等几个因素，来对各个客户的业务流量进行提前规划，以满足用户的访问质量要求，并尽量降低节点运营成本。在满足上述条件的同时，CDN还要保证各节点在日常情况下有一定程度的网络冗余来应对小幅的突发流量；当节点的网络冗余较多时，节点过载的发生概率就比较低；这种情况下，可以通过节点预警的方式来触发手动或自动的DNS调度服务，提前将一部分流量调度至其他空闲节点，来避免相关的节点出现过载问题；2、流量预测加DNS调度：随着机器学习等技术的兴起，CDN的流量调度系统也开始引入流量预测的技术。调度系统通过采集各节点的历史流量等信息，进行分析、学习、计算；以此来预测未来一段时间后各节点的流量，并根据预测结果提前自动调整全局调度策略，用以避免出现过载问题。在实现本专利技术过程中，申请人发现现有技术中至少存在如下问题：上述方案1中，预警系统虽然可以提前发现可能出现的过载节点，但无法准确预估相关节点需要调度出去的流量有多少，因为节点预警功能只能告知运维人员(或自动化运维系统)该节点即将过载，但是无法预估节点接下来可能会增加多少流量，因此，运维人员(或自动化运维系统)只能根据预设的方案尝试将部分流量(例如10％)调度至其他节点。如果调度出去的流量过少，则无法解除过载的情况，因此会再次触发预警并需要再次调整调度；如果调度出去的流量过多，则降低了节点的利用率，提高了运营成本，也需要再次调整策略，将一部分调度出去的流量再调度回来。另外由于流量调度系统需要使用DNS调度进行调整，新的调度生效的延迟取决于DNS生效延迟，由于DNS协议的原生缺陷，一般来说生效延迟会有5到10分钟，因此在已知即将发生过载的情况下，调度系统可能仍无法及时将流量调度至其它节点，节点仍有较大可能发生过载；上述方案2(流量预测加DNS调度)相比方案1更加智能，该方案通过提前预测节点流量，来提前精准部署新的调度策略，针对一般的流量变化场景可以较好地维持网络服务质量和节点利用率的平衡。但由于现实世界的复杂性，流量预测算法实际上无法应对所有流量突发场景，当预测结果失真时，仍然可能面临较大的节点过载风险。也就是说，此方案能够降低节点过载的发生概率，但不能完全解决。另外，由于此方案也仍然主要使用DNS进行调度，也存在生效缓慢的问题，也就是说即使能够相对准确预测，也可能无法及时将流量调度至其它节点。
技术实现思路
本专利技术实施例提供一种CDN节点过载的调度方法及系统，通过实时负载探测技术结合请求跳转调度，解决现有应对CDN节点过载调度技术中预警不及时、预测不准以及调度生效延迟的问题。为达到上述目的，一方面，本专利技术实施例提供了一种CDN节点过载的调度方法，包括：以预定频率探测CDN节点内的硬件资源使用情况，并根据所述硬件资源使用情况确定CDN节点内的硬件资源利用率；根据所述硬件资源利用率，结合预设负载调整算法更新跳转调度策略，所述跳转调度策略用于确定是否需要对用户请求进行调度、以及在需要对用户请求进行调度时确定用户请求调度比例；每间隔设定时间段查询当前的跳转调度策略，根据查询到的跳转调度策略确定是否需要对当前时间段内接收到的用户请求进行调度；若需要，则根据查询到的用户请求调度比例确定需要跳转的用户请求，并将需要跳转的用户请求跳转到目标节点。另一方面，本专利技术实施例提供了一种CDN节点过载的调度系统，包括：节点负载探测模块，用于以预定频率探测CDN节点内的硬件资源使用情况，并根据所述硬件资源使用情况确定出CDN节点内硬件资源利用率，并将所述硬件资源利用率传递给负载调整模块；所述负载调整模块，用于根据所述硬件资源利用率，结合预设负载调整算法更新跳转调度策略，所述跳转调度策略用于确定是否需要对用户请求进行调度、以及在需要对用户请求进行调度时确定用户请求调度比例；跳转请求加工模块，用于每间隔设定时间段查询当前的跳转调度策略，根据查询到的跳转调度策略确定是否需要对当前时间段内接收到的用户请求进行调度；若需要，则根据查询到的用户请求调度比例确定需要跳转的用户请求，并将需要跳转的用户请求跳转到目标节点。上述技术方案具有如下有益效果：1、采用实时的负载探测技术，通过周期性探测当前CDN节点内的硬件资源使用情况，能够及时准确地发现负载变化情况，因此避免了现有技术中可能出现的预警延迟和预测不准的问题。2、由于本申请所采用的方案采用了跳转调度的方法，不依赖DNS，因此避免了DNS调度本身生效缓慢的问题，可以在发现问题后立刻将可能导致过载的流量调度至其它空闲节点，避免了节点流量失控，节点持续过载的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一种CDN节点过载的调度方法的流程图；图2是本专利技术一种CDN节点过载的调度系统的结构框图；图3是本专利技术一具体方法实施例的跳转调度策略生成部分流程图；图4是本专利技术一具体方法实施例的跳转调度策略执行部分流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术提供一种CDN节点过载的调度方法，该方法包括：S101、以预定频率探测CDN节点内的硬件资源使用情况，并根据所述硬件资源使用情况确定CDN节点内的硬件资源利用率；S102、根据所述本文档来自技高网...

【技术保护点】
1.一种CDN节点过载的调度方法，其特征在于，包括：/n以预定频率探测CDN节点内的硬件资源使用情况，并根据所述硬件资源使用情况确定CDN节点内的硬件资源利用率；/n根据所述硬件资源利用率，结合预设负载调整算法更新跳转调度策略，所述跳转调度策略用于确定是否需要对用户请求进行调度、以及在需要对用户请求进行调度时确定用户请求调度比例；/n每间隔设定时间段查询当前的跳转调度策略，根据查询到的跳转调度策略确定是否需要对当前时间段内接收到的用户请求进行调度；/n若需要，则根据查询到的用户请求调度比例确定需要跳转的用户请求，并将需要跳转的用户请求跳转到目标节点。/n

【技术特征摘要】
1.一种CDN节点过载的调度方法，其特征在于，包括：
以预定频率探测CDN节点内的硬件资源使用情况，并根据所述硬件资源使用情况确定CDN节点内的硬件资源利用率；
根据所述硬件资源利用率，结合预设负载调整算法更新跳转调度策略，所述跳转调度策略用于确定是否需要对用户请求进行调度、以及在需要对用户请求进行调度时确定用户请求调度比例；
每间隔设定时间段查询当前的跳转调度策略，根据查询到的跳转调度策略确定是否需要对当前时间段内接收到的用户请求进行调度；
若需要，则根据查询到的用户请求调度比例确定需要跳转的用户请求，并将需要跳转的用户请求跳转到目标节点。


2.如权利要求1所述的CDN节点过载的调度方法，其特征在于，所述CDN节点内的硬件资源使用情况包括：
节点内部物理服务器的CPU使用情况；
节点内部物理服务器的网卡使用情况；
节点的带宽使用情况；
所述CDN节点内的硬件资源利用率，包括：
节点内部物理服务器的CPU利用率；
节点内部物理服务器的网卡利用率；
节点的带宽利用率；
所述以预定频率探测CDN节点内的硬件资源使用情况，并根据所述硬件资源使用情况确定CDN节点内的硬件资源利用率，具体包括：
以第一预定频率探测节点内部物理服务器的CPU使用情况，并在每次探测后，根据所述CPU使用情况确定并更新节点内部物理服务器的CPU利用率；
以第二预定频率探测节点内部物理服务器的网卡使用情况，并在每次探测后，根据所述网卡使用情况确定并更新节点内部物理服务器的网卡利用率；
以第三预定频率探测节点的带宽使用情况，并在每次探测后，根据所述带宽使用情况确定并更新节点的带宽利用率。


3.如权利要求2所述的CDN节点过载的调度方法，其特征在于，所述更新跳转调度策略包括：
如果节点内部物理服务器的CPU利用率、节点内部物理服务器的网卡利用率以及节点的带宽利用率中至少一项利用率超出各自对应的利用率上限，做出需要对用户请求进行调度的标记；根据所述超出利用率上限的至少一项利用率，采用所述预设负载调整算法确定用户请求调度比例，所述用户请求调度比例是指需要跳转的用户请求在当前时间段内接收到的所有用户请求中所占的比例；以及，确定需要跳转到的目标节点的位置；
如果节点内部物理服务器的CPU利用率、节点内部物理服务器的网卡利用率以及节点的带宽利用率均未超出各自对应的利用率上限，做出不需要对用户请求进行跳转的标记。


4.如权利要求1所述的CDN节点过载的调度方法，其特征在于，所述将需要跳转的用户请求跳转到目标节点，具体包括：
生成跳转链接，通过跳转链接将需要跳转的用户请求跳转到目标节点；其中，所述跳转链接采用HTTP临时跳转协议。


5.如权利要求4所述的CDN节点过载的调度方法，其特征在于，所述生成跳转链接，通过跳转链接将需要跳转的用户请求跳转到目标节点，具体包括：
根据需要跳转的用户请求的业务规则确定是否对所述跳转链接进行预处理；所述预处理包括：将目标节点的地址信息放入到跳转链接中，以及，将访问目标节点所需要的附加信息放入到跳转链接中；
若是，则对所述跳转链接进行预处理，并在预处理之后向需要跳转的用户请求对应的用户设备发送跳转调度应答，指示所述用户设备通过跳转链接向目标节点重新发送用户请求以跳转到目标节点；
若否，则直接向所述用户设备发送跳转调度应答，指示所述用户设备通过跳转链接向目标节点重新发送用户请求以跳转到目标节点。


6.一种应对CDN节点过载的调度系统，其特征在于...

【专利技术属性】
技术研发人员：徐永健，邱春武，
申请(专利权)人：新浪网技术中国有限公司，
类型：发明
国别省市：北京;11