一种网络服务方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术实施例提供了一种网络服务方法、装置、电子设备及可读存储介质，应用于互联网技术领域，所述方法包括：提取各用户请求中的关键特征，根据关键特征以及、预先建立的ISP网络组与关键特征的对应关系，确定各用户请求对应的ISP网络组；针对每个ISP网络组中的每个用户请求，根据深度强化学习算法，通过依次循环执行选取ISP缓存节点、计算该ISP网络组的收益以及更新策略参数的步骤，确定是否存在使ISP网络组的收益最大化且满足用户请求条件的目标ISP缓存节点，若存在，通过目标ISP缓存节点对用户请求进行响应并传输请求数据至用户；否则通过CDN对用户请求进行响应并传输请求数据至用户。本发明专利技术可以提高网络服务质量。

A Network Service Method, Device, Electronic Equipment and Readable Storage Media

The embodiment of the present invention provides a network service method, device, electronic equipment and readable storage medium, which is applied in the field of Internet technology. The method includes: extracting the key features of each user's request, determining the corresponding ISP network group of each user's request according to the key features and the corresponding relationship between the pre-established ISP network group and the key features, and aiming at each ISP network. According to the deep reinforcement learning algorithm, each user request in the group is determined whether there is a target ISP cache node which maximizes the benefits of the ISP network group and satisfies the user's request conditions by performing the steps of selecting ISP cache node, calculating the benefits of the ISP network group and updating the policy parameters in turn. If there is one, the target ISP cache node responds to the user's request through the target ISP cache node. And transmit the request data to the user; otherwise, respond to the user request through CDN and transmit the request data to the user. The invention can improve the quality of network service.

【技术实现步骤摘要】
一种网络服务方法、装置、电子设备及可读存储介质
本专利技术涉及互联网
，特别是涉及一种网络服务方法、装置、电子设备及可读存储介质。
技术介绍
随着互联网的高速发展，CDN(ContentDeliverNetwork，内容分发网络)逐渐成为承载视频、直播、VR(VirtualReality，虚拟现实)等互联网创新应用的基础支持平台和网络提速主力量，其重要性日益提高。现如今互联网数据以每年50％的速率快速增长，据Gartner(第一家信息技术研究和分析的公司)预测，到2020年，全球数据存储量将达到35Zettabyte(十万亿亿字节)。因此，如何高效地进行内容缓存与分发成为学术界与工业界的聚焦热点。相关技术中，内容服务提供商通过向千万家庭用户提供智能硬件桥接ISP(InternetServiceProvider，网络服务提供商)网络，从而将内容缓存到成千上万的ISP缓存节点当中，从而能利用ISP缓存节点的闲时带宽，将数据快速高效地分发至请求源端。该方法通过将用户请求导流至ISP缓存节点，利用ISP闲时带宽，从而缓解数据中心的流量突发压力，节省内容分发网络数据中心的网络带宽。由于ISP缓存节点的缓存内容距离请求源端的距离更近，相比于从内容分发网络远端数据中心进行传输，数据传输效率会得到大幅提升，从而对用户请求响应的服务质量提升。另外，能够有效使用ISP的闲置资源，将CDN的结构成本降至行业最低水平，为直播、VR、4K电视等CDN大需求量行业提供了一个最新技术、最低成本解决方案。但这种服务方法也引发了新的挑战，例如：(1)ISP缓存节点的性能不稳定。相比于数据中心服务器而言，在可用带宽、服务成功率、能够承载的连接数量等方面，ISP小节点的性能可靠性大幅降低，服务抖动现象十分明显；(2)ISP缓存节点的缓存更新。由于存储空间有限，ISP缓存节点的缓存内容不足将成为另一难题。更新速度过慢会导致数据陈旧，利用率低下，而更新速度过快会频繁引发从服务器到节点的数据传输，增大网络流量，降低节点的数据缓存使用率。可见，现有的网络服务方法的服务质量较低。
技术实现思路
本专利技术实施例的目的在于提供一种网络服务方法、装置、电子设备及可读存储介质，以提高网络服务质量。具体技术方案如下：本专利技术实施例提供了一种网络服务方法，所述方法包括：提取所获取的各用户请求中的关键特征，根据所述各用户请求中的关键特征以及、预先建立的网络服务提供商ISP网络组与关键特征的对应关系，确定所述各用户请求对应的ISP网络组，每个ISP网络组中包括至少一个ISP缓存节点；针对每个ISP网络组，对于该ISP网络组中的每个用户请求，根据深度强化学习算法，通过依次循环执行选取ISP缓存节点、计算该ISP网络组的收益以及更新策略参数的步骤，确定是否存在使该ISP网络组的收益最大化且满足用户请求条件的目标ISP缓存节点；如果存在，通过所述目标ISP缓存节点对该用户请求进行响应并传输请求数据至该用户；如果不存在，通过内容分发网络CDN对所述用户请求进行响应并传输请求数据至该用户。可选的，在所述通过所述目标ISP缓存节点对该用户请求进行响应并传输请求数据至该用户之后，所述方法还包括：将所述目标ISP缓存节点的带宽资源更新为传输所述请求数据后的剩余可用带宽，并将所述目标ISP缓存节点的网络状态中的可用带宽更新为所述剩余可用带宽，网络状态包括：可用带宽和是否包含所述请求数据。可选的，所述根据深度强化学习算法，通过依次循环执行选取ISP缓存节点、计算该ISP网络组的收益以及更新策略参数的步骤，确定是否存在使该ISP网络组的收益最大化且满足用户请求条件的目标ISP缓存节点，包括：获取该ISP网络组中每个ISP缓存节点的状态参数，设置该ISP网络组对应的学习模型的参数，所述学习模型的参数包括：价值阈值和循环次数；步骤A，根据初始策略参数π(a|s0)，选取ISP缓存节点，所述初始策略参数π(a|s0)在初始状态s0下选取每个ISP缓存节点时的概率是均等的；其中，初始状态s0表示ISP缓存节点部署之后尚未开始接受任务请求时的状态，a表示对该用户请求选取ISP缓存节点进行匹配和数据传输；步骤B，根据所选取的ISP缓存节点的状态参数，获取该ISP网络组的r值，所述r值包括预先设置的大值和小值，所述大值表示所选取的ISP缓存节点具有响应用户请求的条件，所述小值表示所选取的ISP缓存节点不具有响应用户请求的条件；根据价值函数：V(s,a)＝Eπ(a|s)[r+γW(s′)]，确定在状态s下选取操作a之后的价值V(s,a)；其中，V(s,a)表示在状态s下选取操作a的收益期望，s表示当前环境组内所有ISP缓存节点的状态，s′表示在当前网络状态s下采取操作a之后的网络状态，策略参数π(a|s)表示在状态s下选取操作a的概率，r表示在策略参数π(a|s)下该ISP网络组的奖励值，γ表示折扣率，γ的取值为0-1，W(s′)表示下一个状态s′下达到的最大价值，r+γW(s′)为操作值函数；步骤C，根据优势函数：A(s,a)＝Q(s,a)-V(s,a)，确定是否选取操作a；Q(s,a)＝r+γW(s′)，Q(s,a)表示在状态s下执行了操作a；若A(s,a)大于0，选取操作a，执行步骤D；若A(s,a)不大于0，不选取操作a，返回步骤A；步骤D，根据公式：计算从初始状态s0到状态s的所有状态下的ISP网络组的价值的平均值，判断得到的平均值是否小于所述价值阈值；如果得到的平均值小于所述价值阈值，且选取ISP缓存节点的次数小于循环次数，执行步骤E；如果得到的平均值小于所述价值阈值，且选取ISP缓存节点的次数等于循环次数，确定该ISP网络组内不存在使该ISP网络组的收益最大化且满足响应用户请求条件的目标ISP缓存节点；如果得到的平均值不小于所述价值阈值，将最终选择的ISP缓存节点确定为目标ISP缓存节点；步骤E，根据梯度函数：确定使变化最快的方向，更新策略参数π(a|s)，返回步骤B。可选的，在所述通过CDN对所述用户请求进行响应并传输请求数据至该用户之后，所述方法还包括：将所述请求数据缓存至所述最终选择的ISP缓存节点中，并将所述最终选择的ISP缓存节点的网络状态中的是否包含所述请求数据由不包含所述请求数据更新为包含所述请求数据。可选的，在步骤B之后，所述方法还包括：该ISP网络组将策略参数π(a|s)发送至参数服务器，所述参数服务器根据接收到的自身覆盖的所有ISP网络组发送的策略参数，对参数服务器的策略参数π(a|s)进行更新，并将更新后的策略参数π(a|s)发送给自身覆盖的所有ISP网络组。本专利技术实施例提供了一种网络服务装置，所述装置包括：分组模块，用于提取所获取的各用户请求中的关键特征，根据所述各用户请求中的关键特征以及、预先建立的网络服务提供商ISP网络组与关键特征的对应关系，确定所述各用户请求对应的ISP网络组，每个ISP网络组中包括至少一个ISP缓存节点；节点确定模块，用于针对每个ISP网络组，对于该ISP网络组中的每个用户请求，根据深度强化学习算法，通过依次循环执行选取ISP缓存节点、计算该ISP网络组的收益以及更新策略参数的步骤，确定是否存在使该ISP网络组的收益最大化且满足用本文档来自技高网...

【技术保护点】
1.一种网络服务方法，其特征在于，所述方法包括：提取所获取的各用户请求中的关键特征，根据所述各用户请求中的关键特征以及、预先建立的网络服务提供商ISP网络组与关键特征的对应关系，确定所述各用户请求对应的ISP网络组，每个ISP网络组中包括至少一个ISP缓存节点；针对每个ISP网络组，对于该ISP网络组中的每个用户请求，根据深度强化学习算法，通过依次循环执行选取ISP缓存节点、计算该ISP网络组的收益以及更新策略参数的步骤，确定是否存在使该ISP网络组的收益最大化且满足用户请求条件的目标ISP缓存节点；如果存在，通过所述目标ISP缓存节点对该用户请求进行响应并传输请求数据至该用户；如果不存在，通过内容分发网络CDN对所述用户请求进行响应并传输请求数据至该用户。

【技术特征摘要】
1.一种网络服务方法，其特征在于，所述方法包括：提取所获取的各用户请求中的关键特征，根据所述各用户请求中的关键特征以及、预先建立的网络服务提供商ISP网络组与关键特征的对应关系，确定所述各用户请求对应的ISP网络组，每个ISP网络组中包括至少一个ISP缓存节点；针对每个ISP网络组，对于该ISP网络组中的每个用户请求，根据深度强化学习算法，通过依次循环执行选取ISP缓存节点、计算该ISP网络组的收益以及更新策略参数的步骤，确定是否存在使该ISP网络组的收益最大化且满足用户请求条件的目标ISP缓存节点；如果存在，通过所述目标ISP缓存节点对该用户请求进行响应并传输请求数据至该用户；如果不存在，通过内容分发网络CDN对所述用户请求进行响应并传输请求数据至该用户。2.根据权利要求1所述的网络服务方法，其特征在于，在所述通过所述目标ISP缓存节点对该用户请求进行响应并传输请求数据至该用户之后，所述方法还包括：将所述目标ISP缓存节点的带宽资源更新为传输所述请求数据后的剩余可用带宽，并将所述目标ISP缓存节点的网络状态中的可用带宽更新为所述剩余可用带宽，网络状态包括：可用带宽和是否包含所述请求数据。3.根据权利要求1或2所述的网络服务方法，其特征在于，所述根据深度强化学习算法，通过依次循环执行选取ISP缓存节点、计算该ISP网络组的收益以及更新策略参数的步骤，确定是否存在使该ISP网络组的收益最大化且满足用户请求条件的目标ISP缓存节点，包括：获取该ISP网络组中每个ISP缓存节点的状态参数，设置该ISP网络组对应的学习模型的参数，所述学习模型的参数包括：价值阈值和循环次数；步骤A，根据初始策略参数π(a|s0)，选取ISP缓存节点，所述初始策略参数π(a|s0)在初始状态s0下选取每个ISP缓存节点时的概率是均等的；其中，初始状态s0表示ISP缓存节点部署之后尚未开始接受任务请求时的状态，a表示对该用户请求选取ISP缓存节点进行匹配和数据传输；步骤B，根据所选取的ISP缓存节点的状态参数，获取该ISP网络组的r值，所述r值包括预先设置的大值和小值，所述大值表示所选取的ISP缓存节点具有响应用户请求的条件，所述小值表示所选取的ISP缓存节点不具有响应用户请求的条件；根据价值函数：V(s,a)＝Eπ(a|s)[r+γW(s′)]，确定在状态s下选取操作a之后的价值V(s,a)；其中，V(s,a)表示在状态s下选取操作a的收益期望，s表示当前环境组内所有ISP缓存节点的状态，s′表示在当前网络状态s下采取操作a之后的网络状态，策略参数π(a|s)表示在状态s下选取操作a的概率，r表示在策略参数π(a|s)下该ISP网络组的奖励值，γ表示折扣率，γ的取值为0-1，W(s′)表示下一个状态s′下达到的最大价值，r+γW(s′)为操作值函数；步骤C，根据优势函数：A(s,a)＝Q(s,a)-V(s,a)，确定是否选取操作a；Q(s,a)＝r+γW(s′)，Q(s,a)表示在状态s下执行了操作a；若A(s,a)大于0，选取操作a，执行步骤D；若A(s,a)不大于0，不选取操作a，返回步骤A；步骤D，根据公式：计算从初始状态s0到状态s的所有状态下的ISP网络组的价值的平均值，判断得到的平均值是否小于所述价值阈值；如果得到的平均值小于所述价值阈值，且选取ISP缓存节点的次数小于循环次数，执行步骤E；如果得到的平均值小于所述价值阈值，且选取ISP缓存节点的次数等于循环次数，确定该ISP网络组内不存在使该ISP网络组的收益最大化且满足响应用户请求条件的目标ISP缓存节点；如果得到的平均值不小于所述价值阈值，将最终选择的ISP缓存节点确定为目标ISP缓存节点；步骤E，根据梯度函数：确定使变化最快的方向，更新策略参数π(a|s)，返回步骤B。4.根据权利要求3所述的网络服务方法，其特征在于，在所述通过CDN对所述用户请求进行响应并传输请求数据至该用户之后，所述方法还包括：将所述请求数据缓存至所述最终选择的ISP缓存节点中，并将所述最终选择的ISP缓存节点的网络状态中的是否包含所述请求数据由不包含所述请求数据更新为包含所述请求数据。5.根据权利要求3所述的网络服务方法，其特征在于，在步骤B之后，所述方法还包括：该ISP网络组将策略参数π(a|s)发送至参数服务器，所述参数服务器根据接收到的自身覆盖的所有ISP网...

【专利技术属性】
技术研发人员：张宇超，王文东，阙喜戎，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11