异常流量数据的处理方法、装置及服务器制造方法及图纸

本发明专利技术供一种异常流量数据的处理方法、装置及服务器，所述方法包括以下步骤：统计所述服务器的所有网卡的数据出口在预设时间间隔内的总流量；统计所述服务器内各个所述业务资源在所述预设时间间隔内的分流量；当在同一预设时间间隔内，所述总流量与全部所述分流量之和的比值位于第一预设范围内时，对所述分流量进行容错处理。该方法可以在数据源头针对异常数据进行合理的容错处理，避免后端消费方的数据异常，或者出现不符合逻辑的数据样例。

Processing Method, Device and Server of Abnormal Flow Data

The invention provides a processing method, device and server for abnormal traffic data. The method comprises the following steps: counting the total flow of data outlet of all network cards of the server in a predetermined time interval; counting the shunt amount of each service resource in the server in the predetermined time interval; and when the same preset time interval, the total flow and the total flow. When the ratio of the sum of the shunt flows is within the first preset range, the shunt flows are treated with fault tolerance. This method can deal with abnormal data reasonably at the data source, avoid abnormal data of back-end consumers, or produce illogical data samples.

【技术实现步骤摘要】
异常流量数据的处理方法、装置及服务器
本专利技术涉及计算机数据处理
，特别涉及一种异常流量数据的处理方法、装置及服务器。
技术介绍
目前，可以在一台服务器上部署多个业务资源，该业务资源可以是web应用、虚拟机实例或容器。例如，CDN系统的边缘节点中通常部署有多个web应用，客户通过访问各web应用可以获取相应的内容；亦或者，在服务器上部署多个虚拟机或容器，最大限度地提高资源利用率。而在web应用的运行中，通常需要对每个web应用在提供服务时所生成的流量进行统计；对于部署虚拟机或容器的服务器，为了及时侦测资源使用情况，合理调度资源，提高资源利用率，也需要对在其上的虚拟机或容器的流量进行统计。通常情况下，统计流量数据基本都采用软件来实现，软件可能存在bug，或在运行过程中受网络影响，统计流量数据时可能会出现异常数据。异常的流量数据不仅会影响数据本身，还可能影响利用该流量数据的其他相关系统，从而造成重大数据错误，比如移动、联通或电信的天价流量账单等。
技术实现思路
本申请的目的在于提供一种异常流量数据的处理方法，该方法可以在数据源头针对异常数据进行合理的容错处理，避免后端数据消费方的异常，或者出现不符合逻辑的数据样例。为实现上述目的，本申请一方面提供一种异常流量数据的处理方法，所述方法包括以下步骤：统计所述服务器的所有网卡的数据出口在预设时间间隔内的总流量；统计所述服务器内各个所述业务资源在所述预设时间间隔内的分流量；当在同一预设时间间隔内，所述总流量与全部所述分流量之和的比值位于第一预设范围内时，对所述分流量进行容错处理。进一步地，对所述分流量进行容错处理，包括以下步骤：判断所述分流量中是否存在明显异常流量，所述明显异常流量大于所述总流量；若存在所述明显异常流量，则缩小所述明显异常流量或丢弃所述明显异常流量；若不存在所述明显异常流量，则重新确定每个所述业务资源的新分流量，所述新分流量等于相应业务资源的所述分流量乘以均摊系数。进一步地，若存在所述明显异常流量，则缩小所述明显异常流量包括以下步骤：用所述总流量减去除所述明显异常流量之外的全部所述分流量，得到待分配流量；如果存在一个所述明显异常流量，则用所述待分配流量替换所述明显异常流量；如果存在多个所述明显异常流量，则按照所述明显异常流量之间的比例分解所述待分配流量，并用分解出的每个流量数据替换相应的所述明显异常流量。进一步地，若所述比值小于0，则所述均摊系数等于1；若所述比值大于0并且小于1，则所述均摊系数等于所述比值；若所述比值大于1，则所述均摊系数等于1。进一步地，若所述比值落在区间(0，A]内，则所述均摊系数等于A；若所述比值落在区间(A，B)内，则所述均摊系数等于B；若所述比值落在区间[B，C)或(D，E]内，则所述均摊系数等于所述比值；若所述比值落在区间(E，F)内，则所述均摊系数等于E；若所述比值不满足以上条件，则所述均摊系数等于1；其中，A、B、C、D、E、F表示校正系数，0.3＜A＜0.5＜B＜C＜1＜D＜E＜1.3＜F＜2。进一步地，所述第一预设范围为小于0.9或大于1.5。进一步地，还包括以下步骤：当在同一预设时间间隔内，所述总流量与全部所述分流量之和的比值位于第二预设范围内时，生成告警信息。进一步地，所述第二预设范围为小于0.3或大于2。为实现上述目的，本申请另一方面还提供一种异常流量数据的处理装置，包括：统计模块，用于统计服务器的所有网卡的数据出口在预设时间间隔内的总流量，以及所述服务器内各个业务资源在所述预设时间间隔内的分流量；处理模块，用于当在同一预设时间间隔内，所述总流量与全部所述分流量之和的比值位于第一预设范围内时，对所述分流量进行容错处理。进一步地，所述处理模块，具体用于：判断所述分流量中是否存在明显异常流量，所述明显异常流量大于所述总流量；若存在所述明显异常流量，则缩小所述明显异常流量或丢弃所述明显异常流量；若不存在所述明显异常流量，则重新确定每个所述业务资源的新分流量，所述新分流量等于相应业务资源的所述分流量乘以均摊系数。进一步地，所述处理模块，还具体用于：用所述总流量减去除所述明显异常流量之外的全部所述分流量，得到待分配流量；如果存在一个所述明显异常流量，则用所述待分配流量替换所述明显异常流量；如果存在多个所述明显异常流量，则按照所述明显异常流量之间的比例分解所述待分配流量，并用分解出的每个流量数据替换相应的所述明显异常流量。进一步地，若所述比值小于0，则所述均摊系数等于1；若所述比值大于0并且小于1，则所述均摊系数等于所述比值；若所述比值大于1，则所述均摊系数等于1。进一步地，若所述比值落在区间(0，A]内，则所述均摊系数等于A；若所述比值落在区间(A，B)内，则所述均摊系数等于B；若所述比值落在区间[B，C)或(D，E]内，则所述均摊系数等于所述比值；若所述比值落在区间(E，F)内，则所述均摊系数等于E；若所述比值不满足以上条件，则所述均摊系数等于1；其中，A、B、C、D、E、F表示校正系数，0.3＜A＜0.5＜B＜C＜1＜D＜E＜1.3＜F＜2。进一步地，所述处理模块，还用于：当在同一预设时间间隔内，所述总流量与全部所述分流量之和的比值位于第二预设范围内时，生成告警信息。为实现上述目的，本申请另一方面还提供一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的异常流量数据的处理方法。本专利技术提供的异常流量数据的处理方法，采用业务资源的流量与服务器的网卡总流量进行对比的方式，判断业务资源的流量数据是否发生了异常，若发生异常，则服务器自动对异常数据进行容错处理，以避免对后续系统造成影响，如此，在数据源头针对异常数据进行合理的处理，可以避免后端消费方的数据异常，或者出现不符合逻辑的数据样例等；且本实施例以服务器的网卡总流量作为参照标准，不仅便于统计，且可有效保证参照标准的数据准确性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的异常流量数据的处理方法流程示意图；图2为本专利技术实施例提供的异常流量数据的处理装置的结构示意图；图3为本专利技术实施例提供的服务器的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本实施例提供一种异常流量数据的处理方法，应用于部署有多个业务资源的服务器。其中，服务器可以是web服务器，比如CDN系统的边缘节点服务器，则业务资源即是部署在web服务器上的web应用；该服务器也可以是一台部署有虚拟机或容器的物理机，则业务资源即是部署在该物理机上的虚拟机或容器。在统计Web应用提供服务时所产生的流量以及虚拟机或容本文档来自技高网...

【技术保护点】
1.一种异常流量数据的处理方法，其特征在于，应用于部署有多个业务资源的服务器，所述方法包括以下步骤：统计所述服务器的所有网卡的数据出口在预设时间间隔内的总流量；统计所述服务器内各个所述业务资源在所述预设时间间隔内的分流量；当在同一预设时间间隔内，所述总流量与全部所述分流量之和的比值位于第一预设范围内时，对所述分流量进行容错处理。

【技术特征摘要】
1.一种异常流量数据的处理方法，其特征在于，应用于部署有多个业务资源的服务器，所述方法包括以下步骤：统计所述服务器的所有网卡的数据出口在预设时间间隔内的总流量；统计所述服务器内各个所述业务资源在所述预设时间间隔内的分流量；当在同一预设时间间隔内，所述总流量与全部所述分流量之和的比值位于第一预设范围内时，对所述分流量进行容错处理。2.如权利要求1所述的方法，其特征在于，对所述分流量进行容错处理，包括以下步骤：判断所述分流量中是否存在明显异常流量，所述明显异常流量大于所述总流量；若存在所述明显异常流量，则缩小所述明显异常流量或丢弃所述明显异常流量；若不存在所述明显异常流量，则重新确定每个所述业务资源的新分流量，所述新分流量等于相应业务资源的所述分流量乘以均摊系数。3.如权利要求2所述的方法，其特征在于，若存在所述明显异常流量，则缩小所述明显异常流量包括以下步骤：用所述总流量减去除所述明显异常流量之外的全部所述分流量，得到待分配流量；如果存在一个所述明显异常流量，则用所述待分配流量替换所述明显异常流量；如果存在多个所述明显异常流量，则按照所述明显异常流量之间的比例分解所述待分配流量，并用分解出的每个流量数据替换相应的所述明显异常流量。4.如权利要求2所述的方法，其特征在于，若所述比值小于0，则所述均摊系数等于1；若所述比值大于0并且小于1，则所述均摊系数等于所述比值；若所述比值大于1，则所述均摊系数等于1。5.如权利要求2所述的方法，其特征在于，若所述比值落在区间(0，A]内，则所述均摊系数等于A；若所述比值落在区间(A，B)内，则所述均摊系数等于B；若所述比值落在区间[B，C)或(D，E]内，则所述均摊系数等于所述比值；若所述比值落在区间(E，F)内，则所述均摊系数等于E；若所述比值不满足以上条件，则所述均摊系数等于1；其中，A、B、C、D、E、F表示校正系数，0.3＜A＜0.5＜B＜C＜1＜D＜E＜1.3＜F＜2。6.如权利要求1所述的方法，其特征在于，所述第一预设范围为小于0.9或大于1.5。7.如权利要求1所述的方法，其特征在于，还包括以下步骤：当在同一预设时间间隔内，所述总流量与全部所述分流量之和的比值位于第二预设范围内时，生成告警信息。8.如权利要求7所述的方法，其特征在于，所述第二预设范围为小于0.3或大于2。9.一种异常流量数...

【专利技术属性】
技术研发人员：王开鹏，廖训佚，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海,31