一种智能云计算网络流量调优系统和方法技术方案

本发明专利技术特别涉及一种智能云计算网络流量调优系统和方法。该智能云计算网络流量调优系统，由数据采集层，数据分析和建模层以及策略服务层组成。该智能云计算网络流量调优系统与方法，利用人工智能提供优质服务，由被动防御走向主动优化，由静态配置走向动态调整，不仅能够更好地进行流程监控，还能利用机器学习算法挖掘网络的资源瓶颈，获取最佳的带宽配置方案，以提升带宽的利用率，从而提升了用户体验，降低了运营成本和投资；通过策略配置，实现了带宽资源的预警和自动扩容，从而实现了带宽的自动调整。

【技术实现步骤摘要】
一种智能云计算网络流量调优系统和方法
本专利技术涉及云计算与机器学习
，特别涉及一种智能云计算网络流量调优系统和方法。
技术介绍
随着网络流量的激增，以及NFV/SDN/5G等新技术的发展，网络规模迅速扩张，网络拓扑结构和业务类型异常复杂，对网络带宽的规划维护提出了更高的要求。尤其是在云中心多租户的场景下，互联网流量变化复杂，需要专业的知识和经验人工的做带宽的优化。目前常用的网络带宽调整方法，存在以下缺陷：一、运营维护工作量大，依赖人工配置繁琐易出错，采用固定的配置又难以满足灵活的带宽要求；为了保障重要服务，网管员需要人工进行流量调度，难以实现实时流量优化。人工方式运维成本高，对管理员经验要求高，还存在操作失当而导致网络流量阻塞的风险。二：手工配置灵活性差，由于没有实时的预测机制，无法根据流量本身的时间特征、空间特征、业务特征实时调整。为了保障业务质量，运营商往往按经验峰值加上冗余进行配置，在业务低谷时，造成带宽资源的浪费，而在演唱会等热点事件或其它突发事件发生时，又可能因为资源不足而导致网络阻塞。三无法预先感知流量的变化趋势，无法实时的预估流量的变化和故障进行预警，往往是时候机制，即在故障发生后才应急响应，被动的进行扩容。本专利技术提出了一种智能云计算网络流量调优系统和方法。
技术实现思路
本专利技术为了弥补现有技术的缺陷，提供了一种简单高效的智能云计算网络流量调优系统和方法。本专利技术是通过如下技术方案实现的：一种智能云计算网络流量调优系统，其特征在于：由数据采集层，数据分析和建模层以及策略服务层组成；所述数据采集层负责通过探针和网管采集被管网元的流量和质量KPI，同时，数据采集层支持接收第三方的数据；所述数据分析和建模层负责弹性存储和分析由数据采集层采集到的数据，基于存储在大数据平台上的历史观察数据和实时流量数据，通过训练机器学习模型建模型，生产优化策略；所述策略服务层负责对外提供服务接口，将生产的优化策略推送给外部管理节点进行策略的执行；同时对外提供查询接口，供需求方查询。所述数据分析和建模层包括大数据存储分析平台，AI平台算法库，建模数据和流量建模应用模块；所述大数据存储分析平台用于弹性存储和分析由数据源采集到的数据，对不同的数据采用不同的存储，并使用Spark分布式计算框架作为底层平台；所述AI平台算法库用于为上层机器学习应用提供算法支撑；所述建模数据用于机器学习的建模分析，包括存储在大数据平台上的历史观察数据和实时流量数据。本专利技术智能云计算网络流量调优方法，在云技术网络流量调优的场景下，以历史的数据为基础，通过机器学习方法建立预测模型形成策略，从而实时自动调整带宽；具体包括以下步骤：第一步，数据采集利用采集探针和网管采集被管网元的流量以及质量KPI，同时支持采集第三方的数据；第二步，数据清洗和存储将采集的数据进行清洗，将清洗后的数据按行或列存储在大数据存储系统；第三步，模型建立与训练利用机器学习算法对性能数据进行统计分析，得到流量特征模型和流量预测模型，建立动态的流量阈值，并对流量特征模型和流量预测模进行训练；第四步，策略下发与应用通过统一的策略服务接口，主动或者被动分发策略给管理侧；根据实时检测性能数据，判断流量是否超阈值，触发策略执行；利用训练好的流量特征模型获取的流量特征以及训练好的流量预测模型分析的流量规律，制定带宽调整策略；第五步，策略调优根据带宽调整策略进行参数调整，并持续采集数据，判断是否达到目标，进行进一步微调。所述第三步中，基于算法库，采用回归类监督学习方法对流量预测模型进行训练，采用非监督学习方式对流量特征模型进行训练。所述回归类监督学习方法为自回归滑动平均模型ARMA、长短期记忆网络模型LSTM或绝对中位差MAD与Mean均值算法相结合。所述非监督学习方式为k-means聚类算法；对流量特征模型进行训练时，通过k-means聚类算法将相似的流量曲线聚集成一类，挖掘出其中的规律，再通过分类算法根据流量特征进行分类，从而预测出某个时间的流量曲线。所述分类算法采用SVM(SupportVectorMachine，支持向量机)方法。所述第四步中，检测性能数据，触发策略后，根据规律进行调整，以保证业务质量；针对实时性能数据，进行带宽实时超限调整，针对热点事件的检测，则进行带宽阀值的预调整。本专利技术的有益效果是：该智能云计算网络流量调优系统与方法，利用人工智能提供优质服务，由被动防御走向主动优化，由静态配置走向动态调整，不仅能够更好地进行流程监控，还能利用机器学习算法挖掘网络的资源瓶颈，获取最佳的带宽配置方案，以提升带宽的利用率，从而提升了用户体验，降低了运营成本和投资；通过策略配置，实现了带宽资源的预警和自动扩容，从而实现了带宽的自动调整。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图1为本专利技术智能云计算网络流量调优系统示意图。附图2为本专利技术智能云计算网络流量调优系统方法示意图。附图3为本专利技术采样时间段的流量趋势示意图。附图4为本专利技术长短期记忆网络LSTM模型示意图。附图5为本专利技术自回归滑动平均模型ARMA预测曲线示意图。附图6为本专利技术长短期记忆网络模型LSTM预测曲线势示意图。具体实施方式为了使本
的人员更好的理解本专利技术中的技术方案，下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。该智能云计算网络流量调优系统，由数据采集层，数据分析和建模层以及策略服务层组成；所述数据采集层负责通过探针和网管采集被管网元的流量和质量KPI(KeyPerformanceIndicators，关键绩效指标)，同时数据采集层支持接收第三方的数据；所述数据分析和建模层负责弹性存储和分析由数据采集层采集到的数据，基于存储在大数据平台上的历史观察数据和实时流量数据，通过训练机器学习模型建模型，生产优化策略；所述策略服务层负责对外提供服务接口，将生产的优化策略推送给外部管理节点进行策略的执行；同时对外提供查询接口，供需求方查询。所述数据分析和建模层包括大数据存储分析平台，AI平台算法库，建模数据和流量建模应用模块；所述大数据存储分析平台用于弹性存储和分析由数据源采集到的数据，对不同的数据采用不同的存储，并使用Spark分布式计算框架作为本文档来自技高网...

【技术保护点】
1.一种智能云计算网络流量调优系统，其特征在于：由数据采集层，数据分析和建模层以及策略服务层组成；/n所述数据采集层负责通过探针和网管采集被管网元的流量和质量KPI，同时，数据采集层支持接收第三方的数据；/n所述数据分析和建模层负责弹性存储和分析由数据采集层采集到的数据，基于存储在大数据平台上的历史观察数据和实时流量数据，通过训练机器学习模型建模型，生产优化策略；/n所述策略服务层负责对外提供服务接口，将生产的优化策略推送给外部管理节点进行策略的执行；同时对外提供查询接口，供需求方查询。/n

【技术特征摘要】
1.一种智能云计算网络流量调优系统，其特征在于：由数据采集层，数据分析和建模层以及策略服务层组成；
所述数据采集层负责通过探针和网管采集被管网元的流量和质量KPI，同时，数据采集层支持接收第三方的数据；
所述数据分析和建模层负责弹性存储和分析由数据采集层采集到的数据，基于存储在大数据平台上的历史观察数据和实时流量数据，通过训练机器学习模型建模型，生产优化策略；
所述策略服务层负责对外提供服务接口，将生产的优化策略推送给外部管理节点进行策略的执行；同时对外提供查询接口，供需求方查询。


2.根据权利要求1所述的智能云计算网络流量调优系统，其特征在于：所述数据分析和建模层包括大数据存储分析平台，AI平台算法库，建模数据和流量建模应用模块；
所述大数据存储分析平台用于弹性存储和分析由数据源采集到的数据，对不同的数据采用不同的存储，并使用Spark分布式计算框架作为底层平台；
所述AI平台算法库用于为上层机器学习应用提供算法支撑；
所述建模数据用于机器学习的建模分析，包括存储在大数据平台上的历史观察数据和实时流量数据。


3.一种智能云计算网络流量调优方法，其特征在于：在云技术网络流量调优的场景下，以历史的数据为基础，通过机器学习方法建立预测模型形成策略，从而实时自动调整带宽；
具体包括以下步骤：
第一步，数据采集
利用采集探针和网管采集被管网元的流量以及质量KPI，同时支持采集第三方的数据；
第二步，数据清洗和存储
将采集的数据进行清洗，将清洗后的数据按行或列存储在大数据存储系统；
第三步，模型建立与训练
利用机器学习算法对性能数据进行统计分析，得到流量特征模型和...

【专利技术属性】
技术研发人员：鞠澍佺，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：山东;37