一种源站访问流量的调整方法及装置，电子和存储设备制造方法及图纸

本申请公开一种源站访问流量的调整方法及装置，以及电子设备和存储设备，其中，所述调整方法包括：发送针对每个源站的回源请求，并产生相应回源日志，其中，所述回源日志由至少两个源站产生；接收根据所述每个源站的回源日志，确定所述每个源站的回源权重；根据所述每个源站的回源权重调整每个源站的访问流量；从而能够针对每个源站的实际回源情况进行访问流量的调整，使得回源时无需轮询每个源站分配回源请求。

An adjustment method and device of source station access flow, electronic and storage equipment

【技术实现步骤摘要】
一种源站访问流量的调整方法及装置，电子和存储设备
本申请涉及互联网应用领域，具体涉及一种源站访问流量的调整方法和装置，以及一种电子设备和存储设备。
技术介绍
现有大多数服务端都有多个源站，在请求回源时，通常采用的方式是按照轮询，即轮询每个源站完成回源请求。如图1所示，图1示出现有技术中回源架构，客户端(client)首先访问到代理服务端(proxyserver)，代理服务器去查询DNS服务器获取到多个用户源站IP，然后轮询不同的用户源站，进而分配回源请求。然而，由于网络情况比较复杂，在回源过程中存在部分源站IP会被运营商劫持，导致访问失败的问题；或者，部分源站IP本身网络情况较差，导致下载很慢的问题，最终可能会导致服务异常，数据资源无法获得。为避免上述问题，现有技术可以通过四层或七层的主动探测，探测每个源站是否可以提供服务，从而在回源过程将不可提供服务的源站自动摘除，但是主动探测的方案存在下述至少两方面的缺陷：一、不能解决某些源站由于网络抖动造成的下载慢或者下载失败的问题，以及网络丢包引起的服务异常的问题。二、不能合理利用不同源站的服务能力，只能通过轮询完成回源。
技术实现思路
本申请提供一种源站访问流量的调整方法，以解决现有技术中回源服务不合理的问题。本申请提供一种源站访问流量的调整方法，包括：发送针对每个源站的回源请求，并产生相应回源日志，其中，所述回源日志由至少两个源站产生；接收根据所述每个源站的回源日志，确定所述每个源站的回源权重；<br>根据所述每个源站的回源权重调整每个源站的访问流量。在一些实施例中，还包括：提取所述回源日志中的回源特征值；根据所述回源特征值计算所述回源日志对应的所述源站的回源流量特征值；根据所述回源流量特征值确定所述源站的回源权重。在一些实施例中，还包括：根据设定的汇总条件，对所述回源日志进行汇总；在汇总的所述回源日志中提取如下至少一种回源特征值：回源响应时间的回源特征值；回源接收数据的大小的回源特征值；回源请求次数的回源特征值；回源失败次数的回源特征值。在一些实施例中，还包括：根据预设的探测时间条件，对所述探测时间内的每个源站的所述回源日志进行汇总，和/或，针对每个域名按照IP粒度对所述回源日志进行汇总。在一些实施例中，还包括：根据所述回源特征值确定所述源站回源的下载速率和/或下载成功率；根据所述下载速率和/或下载成功率，计算所述源站的当前回源流量特征值；根据所述源站的当前回源流量特征值确定所述源站的回源流量特征值。在一些实施例中，还包括：设定调整系数；根据所述下载速率和/或下载成功率，以及所述调整系数，计算所述源站的当前回源流量特征值。在一些实施例中，所述调整系数是根据倾向于所述下载速率或倾向于所述下载成功率而设定的。在一些实施例中，还包括：设定所述源站的最低回源流量特征值；判断所述源站的当前回源流量特征值是否大于所述最低回源流量特征值，若是，则将所述源站的当前回源流量特征值确定为所述源站的回源流量特征值，若否，则将所述源站的最低回源流量特征值确定为所述源站的回源流量特征值。在一些实施例中，所述设定所述源站的最低回源流量特征值是根据平均每个源站回源比例的10％确定。在一些实施例中，还包括：根据所述回源响应时间的回源特征值和所述回源接收数据的大小的回源特征值，计算所述源站回源的下载速率；和/或，根据所述源站的回源请求次数的回源特征值和回源失败次数的回源特征值，计算所述源站回源的下载成功率。在一些实施例中，还包括：定义所述源站回源的下载速率上限和下载速率下限；判断所述下载速率是否大于所述下载速率上限，若是，则将所述下载速率上限作为确定的所述源站回源的下载速率；若否，则判断所述下载速率是否小于所述下载速率下限，若是，则将所述下载速率下限作为确定的所述源站回源的下载速率。在一些实施例中，还包括：定义所述源站回源的下载成功率上限和下载成功率下限；判断所述下载成功率是否大于所述下载成功率上限，若是，则将所述下载成功率上限确定为所述源站回源的下载成功率；若否，则判断所述下载成功率是否小于所述下载成功率下限，若是，则将所述下载成功率下限确定为所述源站回源的下载成功率。在一些实施例中，还包括：根据所述源站的回源流量特征值和所述源站的当前回源流量特征值，确定所述源站的回源权重。在一些实施例中，还包括：采用下述公式根据所述源站的当前回源流量特征值和所述回源流量特征值，确定所述源站的回源权重：其中，Wn为第n个源站的回源权重，Pn为第n源站的回源流量特征值，Pi为源站的当前回源流量特征值。在一些实施例中，还包括：根据所述回源权重，向所述源站分配回源请求。本申请还提供一种源站访问流量的调整装置，包括：发送单元，用于发送针对每个源站的回源请求，并产生相应回源日志，其中，所述回源日志由至少两个源站产生；接收单元，用于接收根据所述每个源站的回源日志，确定的所述每个源站的回源权重；调整单元，用于根据所述每个源站的所述回源权重调整所述每个源站的访问流量。本申请还提供一种电子设备，包括：处理器；存储器，用于存储对网络平台产生数据进行处理的程序，所述程序在被所述处理器读取执行时，执行如下操作：发送针对每个源站的回源请求，并产生相应回源日志，其中，所述回源日志是针对同一回源请求由至少两个源站产生；接收根据所述每个源站的回源日志，确定的所述每个源站的回源权重；根据所述每个源站的所述回源权重调整所述每个源站的访问流量。本申请还提供一种存储设备，存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；所述程序在被所述处理器读取执行时，执行如下操作：发送针对每个源站的回源请求，并产生相应回源日志，其中，所述回源日志是针对同一回源请求由至少两个源站产生；接收根据所述每个源站的回源日志，确定的所述每个源站的回源权重；根据所述每个源站的所述回源权重调整所述每个源站的访问流量。与现有技术相比，本申请具有以下优点:本申请提供的一种源站访问流量的调整方法，通过发送的针对每个源站的回源请求产生的回源日志，接收根据所述回源日志确定的每个源站的回源权重，之后根据每个源站的回源权重调整每个源站的访问流量，从而能够针对每个源站的实际回源情况进行访问流量的调整，使得回源时无需轮询每个源站分配回源请求，避免现有技术中统一设定每个源站的回源流量而带来的服务性能存在差距的情况，以及能够根据每个源站的当前的回源流量，获知当前每个源站服务能力，进而为后续回源请求的分配提供更好的参考；同时能够确保每个源站具有一定的回源流量以避免源站被挂起而导致本文档来自技高网...

【技术保护点】
1.一种源站访问流量的调整方法，包括：/n发送针对每个源站的回源请求，并产生相应回源日志，其中，所述回源日志由至少两个源站产生；/n接收根据所述每个源站的回源日志，确定所述每个源站的回源权重；/n根据所述每个源站的回源权重调整每个源站的访问流量。/n

【技术特征摘要】
1.一种源站访问流量的调整方法，包括：
发送针对每个源站的回源请求，并产生相应回源日志，其中，所述回源日志由至少两个源站产生；
接收根据所述每个源站的回源日志，确定所述每个源站的回源权重；
根据所述每个源站的回源权重调整每个源站的访问流量。


2.根据权利要求1所述的源站访问流量的调整方法，还包括：
提取所述回源日志中的回源特征值；
根据所述回源特征值计算所述回源日志对应的所述源站的回源流量特征值；
根据所述回源流量特征值确定所述源站的回源权重。


3.根据权利要求2所述的源站访问流量的调整方法，还包括：
根据设定的汇总条件，对所述回源日志进行汇总；
在汇总的所述回源日志中提取如下至少一种回源特征值：
回源响应时间的回源特征值；
回源接收数据的大小的回源特征值；
回源请求次数的回源特征值；
回源失败次数的回源特征值。


4.根据权利要求3所述的源站访问流量的调整方法，还包括：
根据预设的探测时间条件，对所述探测时间内的每个源站的所述回源日志进行汇总，和/或，针对每个域名按照IP粒度对所述回源日志进行汇总。


5.根据权利要求3所述的源站访问流量的调整方法，还包括：
根据所述回源特征值确定所述源站回源的下载速率和/或下载成功率；
根据所述下载速率和/或下载成功率，计算所述源站的当前回源流量特征值；
根据所述源站的当前回源流量特征值确定所述源站的回源流量特征值。


6.根据权利要求5所述的源站访问流量的调整方法，还包括：
设定调整系数；
根据所述下载速率和/或下载成功率，以及所述调整系数，计算所述源站的当前回源流量特征值。


7.根据权利要求6所述的源站访问流量的调整方法，其特征在于，所述调整系数是根据倾向于所述下载速率或倾向于所述下载成功率而设定的。


8.根据权利要求5所述的源站访问流量的调整方法，其特征在于，还包括：
设定所述源站的最低回源流量特征值；
判断所述源站的当前回源流量特征值是否大于所述最低回源流量特征值，若是，则将所述源站的当前回源流量特征值确定为所述源站的回源流量特征值，若否，则将所述源站的最低回源流量特征值确定为所述源站的回源流量特征值。


9.根据权利要求8所述的源站访问流量的调整方法，其特征在于，所述设定所述源站的最低回源流量特征值是根据平均每个源站回源比例的10％确定。


10.根据权利要求5所述的源站访问流量的调整方法，还包括：
根据所述回源响应时间的回源特征值和所述回源接收数据的大小的回源特征值，计算所述源站回源的下载速率；
和/或，
根据所述源站的回源请求次数的回源特征值和回源失败次数的回源特征值，计算所述源站回源的下载成功率。

【专利技术属性】
技术研发人员：李志明，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY