优化CDN网络的方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种优化CDN网络的方法、装置及电子设备，其特征在于，包括：构建控制策略优化神经网络模型；使用所述控制策略优化神经网络模型进行路径选择，得到路径选择结果；将所述路径选择结果应用于CDN网络，得到反馈的网络状态数据；根据所述网络状态数据对所述控制策略优化神经网络模型进行参数优化，得到优化后的控制策略优化神经网络模型，用于优化所述CDN网络。

Methods, devices and electronic devices for optimizing CDN network

【技术实现步骤摘要】
优化CDN网络的方法、装置及电子设备
本专利技术涉及人工智能
，尤其涉及一种优化CDN网络的方法、装置及电子设备。
技术介绍
为了向用户提供高性能响应服务，大型内容提供商在全球范围内构建入网点PoP和数据中心DC，所有这些入网点与数据中心专用广域网WAN联网在一起构成集成基础架构。作为内容分发网络CDN的核心，PoP/DC选择和从PoP到DC的路由路径选择在提高在线服务的性能方面起着重要作用，然而由于CDN环境的高动态性和复杂性，选择正确的PoP/DC和路由路径非常困难，现有的启发式方法无法适应广泛环境的变化，选择也不够精准。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种可适应广泛环境变化、选择更精准的优化CDN网络的方法、装置及电子设备以解决问题。基于上述目的，本专利技术提供了一种优化CDN网络的方法，其特征在于，包括：构建控制策略优化神经网络模型；使用所述控制策略优化神经网络模型进行路径选择，得到路径选择结果；将所述路径选择结果应用于CDN网络，得到反馈的网络状态数据；根据所述网络状态数据对所述控制策略优化神经网络模型进行参数优化，得到优化后的控制策略优化神经网络模型，用于优化所述CDN网络。在一些实施方式中，所述控制策略优化神经网络模型包括演员网络和评判家网络：所述演员网络进行路径选择；所述评判家网络对所述演员网络进行打分，得出分数；所述演员网络根据所述分数调整自身参数。在一些实施方式中，所述根据所述网络状态数据对所述控制策略优化神经网络模型进行参数优化包括：根据所述网络状态计算奖励；使用所述奖励对所述评判家网络进行参数优化。在一些实施方式中，所述评判家网络的输出层为线性神经元。在一些实施方式中，所述控制策略优化神经网络模型在模拟器模拟的环境中训练，所述模拟器，被配置为：模拟内容交付环境的动态；设定跟踪不同类型内容传输集的工作负载；根据内容类型分配不同的资源需求；根据资源消耗选定入网点容量和路径带宽；进行状态观察，得到网络状态数据，并将所述网络状态数据传递给所述控制策略优化神经网络模型。在一些实施方式中，所述网络状态数据包括：端到端延迟，接入网点和数据中心的处理时间、客户端和接入网点之间的传输时间以及接入网点和数据中心之间的传输时间；路由距离，路由之间的物理距离；利用率，包括服务器利用率和路径利用率。在一些实施方式中，所述优化所述CDN网络，包括：通过24位子网掩码前缀粒度将客户端组合在一起，为每一组客户端部署一个局部所述优化后的控制策略优化神经网络模型；确定客户端和本地控制的映射，并以粗粒度进行更新。基于同一专利技术构思，本申请还提供了一种优化CDN网络装置，其特征在于，包括：模型构建模块，被配置为构建控制策略优化神经网络模型；路径选择模块，被配置为使用所述控制策略优化神经网络模型进行路径选择，得到路径选择结果；动作模块，被配置为将所述路径选择结果应用于CDN网络，得到反馈的网络状态数据；优化应用模块，被配置为根据所述网络状态数据对所述控制策略优化神经网络模型进行参数优化，得到优化后的控制策略优化神经网络模型，用于优化所述CDN网络。基于同一专利技术构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述实施方式任意一项所述的方法。基于同一专利技术构思，本申请还提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述实施方式任意一项所述方法。从上面所述可以看出，本专利技术提供的一种优化CDN网络的方法、装置及电子设备首次提出将内容交付优化问题转化为机器学习问题的框架，而且将这一框架进行了通用化，因此CDN运营商可以轻松地根据自己的情况定制框架；本申请提出的演员评判家神经网络模型可适应广泛的环境变化，通过不断的迭代，模型自身不断优化，使得路径的选择更精准；而且，本申请技术方案的性能超过了现有算法在整体延迟和所考虑的每种内容类型上的性能，在负载平衡方面表现出最佳性能，可以快速适应环境变化，具有流畅的性能，范化能力更强，在新的工作负载数据集上表现良好。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一个实施例的CDN内容传输端到端流程图；图2为本专利技术一个实施例的传输响应过程示意图；图3为本专利技术一个实施例的控制策略优化神经网络模型图；图4为本专利技术一个实施例的算法示意图；图5为本专利技术一个实施例的两级智能路径控制器的框架图；图6为本专利技术一个实施例的电子设备的硬件结构示意图；图7为本专利技术一个实施例的一种优化CDN网络的方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。需要说明的是，除非另外定义，本专利技术实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。近年来，在线服务和内容（例如，视频流，游戏）的数量不断增加，与此同时，用户感知性能要求上升，然而因为客户遍布全球，远离负责托管这些内容的数据中心交付质量会影响用户体验，从而对内容提供商的收入产生重大影响。为了缓解此问题并改善客户端感知的性能（例如，总体响应时间和吞吐量），帮助减少用户延迟，大型内容提供商已经部署了CDN基础架构和广泛的专用网络，采用分层CDN，所述分层CDN通常具有两层服务器集群：1）全球分布的PoP服务器，存储Web内容的副本（包括视频，文档，图像和音频），这些服务器执行TCPsplitting并提供静态内容；2）数据中心，负责提供动态（通常是个性化的）内容，包括搜索结果和电子邮件消息。所有这些数据中心和PoP都与提供商自己的专用广域网（WAN）联网在一起，它们通过遍布全球的众多入网点（PoP）为客户提供服务，并与高容量数据中心（DC）互连。作为集成基础设施，当客户端发出内本文档来自技高网...

【技术保护点】
1.一种优化CDN网络的方法，其特征在于，包括：/n构建控制策略优化神经网络模型；/n使用所述控制策略优化神经网络模型进行路径选择，得到路径选择结果；/n将所述路径选择结果应用于CDN网络，得到反馈的网络状态数据；/n根据所述网络状态数据对所述控制策略优化神经网络模型进行参数优化，得到优化后的控制策略优化神经网络模型，用于优化所述CDN网络。/n

【技术特征摘要】
1.一种优化CDN网络的方法，其特征在于，包括：
构建控制策略优化神经网络模型；
使用所述控制策略优化神经网络模型进行路径选择，得到路径选择结果；
将所述路径选择结果应用于CDN网络，得到反馈的网络状态数据；
根据所述网络状态数据对所述控制策略优化神经网络模型进行参数优化，得到优化后的控制策略优化神经网络模型，用于优化所述CDN网络。


2.根据权利要求1所述的一种优化CDN网络的方法，其特征在于，所述控制策略优化神经网络模型包括演员网络和评判家网络：
所述演员网络进行路径选择；
所述评判家网络对所述演员网络进行打分，得出分数；
所述演员网络根据所述分数调整自身参数。


3.根据权利要求2所述的一种优化CDN网络的方法，其特征在于，所述根据所述网络状态数据对所述控制策略优化神经网络模型进行参数优化包括：
根据所述网络状态计算奖励；
使用所述奖励对所述评判家网络进行参数优化。


4.根据权利要求2所述的一种优化CDN网络的方法，其特征在于，所述评判家网络的输出层为线性神经元。


5.根据权利要求1所述的一种优化CDN网络的方法，其特征在于，所述控制策略优化神经网络模型在模拟器模拟的环境中训练，所述模拟器，被配置为：
模拟内容交付环境的动态；设定跟踪不同类型内容传输集的工作负载；根据内容类型分配不同的资源需求；根据资源消耗选定入网点容量和路径带宽；进行状态观察，得到网络状态数据，并将所述网络状态数据传递给所述控制策略优化神经网络模型。
<...

【专利技术属性】
技术研发人员：郭得科，李妍，陈洪辉，廖汉龙，武睿，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43