【技术实现步骤摘要】
一种云雾混构环境下基于深度强化学习的服务组合优化部署方法
[0001]本专利技术属于计算机领域中的云计算、边缘计算和服务计算
，涉及云雾混构环境下基于深度强化学习的服务组合优化部署方案，具体涉及一种主要在边缘计算场景下基于深度强化学习的应用服务动态优化部署方法。
技术介绍
[0002]据报道，服务部署已成为云计算环境研究的关注热点，目前，在云场景下关于服务部署的若干相关研究显示，在公有云市场云服务提供商中，在云平台接口、定价、云平台功能方面都较分散，其中，特别是对于数据密集型应用中，支撑其计算的服务部件都是相互有数据依赖和逻辑依赖的组件，如何为多个逻辑上是一个整体的服务部件，选择合适的云端资源，选择一个最佳的部署策略，将其部署，使服务之间的计算效率和通信效率在全局部署方案的搜索空间中是较优的，这就是服务部署问题。
[0003]业内知悉，服务部署问题是典型的优化问题，传统的服务部署方案大多基于启发式算法(heuristic algorithm)。启发式算法的提出通常是借鉴了生物界中发现的规律或从生活中总结出来的经验，其目的是在用户可接受的开销下尽可能快的找到组合优化问题中的优质解；常见的启发式算法有遗传算法、蚁群算法、模拟退火法等。
[0004]随着5G技术的发展，接入网络边缘端的移动设备和物联网设备增多，这些接入的移动设备需要使用边缘端服务器上部署的服务提供的功能，但是像如手机等移动设备的接入数量，会随着时间的改变和用户的移动而呈现规律性的变化；基于启发式算法的服务部署方案会将边缘服务上给服务分...
【技术保护点】
【技术特征摘要】
1.一种云雾混构环境下基于深度强化学习的服务组合优化部署方法，其特征在于，该方法为一种云计算和雾计算同时存在的架构场景下，在多个边缘计节点同时存在的情况下，对边缘节点上的特定服务应用进行部署方案的预测选择，同时对服务应用需要的资源进行调整和分配的方法，其中，采用系统中的资源决策体Agent完成预测的初始服务部署方案和服务的资源分配调整策略，智能决策体Agent中的核心预测算法基于深度强化学习DDPG(Deep Deterministic Policy Gradient)实现。2.按权利要求1所述的方法，其特征在于，所述的方法中，由基于深度强化学习的应用优化部署系统主要集中于实现在雾计算场景的边缘节点所在的边缘服务器中，自动，优化部署服务应用，服务组合优化部署方案的实现针对的服务用户主要是云服务提供商，在满足用户服务部署需求和服务质量要求的同时，高效利用仅有的边缘服务器资源，减少个边缘节点中的服务器能耗，从宏观上减少服务提供商的资金投入，同时保证达到可以接受的应用性能表现，具体的实现过程如下：(1)提出基于深度强化学习DDPG(Deep Deterministic Policy Gradient)的边缘节点服务部署预测系统设计，包括，设计一套在各边缘服务器之上通用的、功能全面的中间代理架构，其将定时接受各个边缘服务器上的采集器Cavisor，定时发送的边缘服务器在上一时间段内CPU，内存，硬盘存储资源的平均使用率和状态，所述的中间代理架构将各边缘服务器上收集到的输入数据进行整合、清洗和处理，形成输入数据集合，随后将数据集合作为智能决策体Agent的输入数据，智能决策体计算出下一时间段各服务应用的部署策略和资源分配量，随后各边缘服务器上的服务按照策略和资源分配量对服务部署进行调整和资源分配；(2)提出针对所述系统的动态服务部署的数学模型，建立动态服务部署的数学模型，使深度强化学习应用于云雾混构场景下的动态服务部署，其中算法的输入数据采集来源于云服务提供商所运维边缘服务器上的时事采集数据，确保系统能够较好的应用到到真实环境中；建立的动态服务部署的数学模型将实体场景中的各种影响因素进行量化，定义并处理数据的格式，解决场景中算法参数的度量和定义问题；(3)提出边缘计算环境下的服务组合部署模型，基于海量用户的需求使服务应用组合爆发式增多，将部分服务组合部署到离用户近的边缘节点上，建立边缘计算环境下的服务组合部求模型，支持服务组合在边缘节点的部署请求。3.按权利要求1所述的方法，其特征在于，所述方法的整个系统运行流程中，包括，进行动态服务部署：各边缘节点由少量服务器组成，所述少量服务器组成了一个边缘节点；在服务组合生命周期的初始节点，根据用户请求对各服务组合在各边缘节点上进行初始部署，随着用户位置变动，时间和环境因素情况变化，根据上一时间段的服务运行状态和请求情况，对下一时间段的整个服务组合部署策略进行调整，服务分配的资源用量进行调整，解决资源利用率低的问题，提高服务质量，在各边缘节点层之上设计中间代理系统，即是基于深度强化学习DDPG开发的边缘节点服务部署预测系统，也即智能决策体Agent：各边缘节点之上运行着数据采集功能模块，模块定时发送上一时间段边缘节点上各个服务组件的请求情况和资源使用情况给智能决策
体Agent，服务提供商根据时间段为智能决策体设定不同的参数，Agent综合设定的参数和收集到的数据，对数据进行处理，产生输入数据，随后将输入数据输入算法模块进行计算，得到下一时间段推荐的服务部署策略，随后将服务部署策略应用到各边缘节点的服务部署中；解决服务提供商关心的，众多服务组件合理的部署到各边缘节点，在服务器的能耗和服务质量之间寻求动态平衡问题。4.按权利要求2或3所述的方法，其特征在于，所述方法中，适用于智能决策体Agent的输入数据的数据量化和采集工作，由基于深度强化学习DDPG(Deep Deterministic Policy Gradient)的边缘节点服务部署预测系统的采集程序完成；所述的动态服务部署问题，需要将现实中复杂多变的云雾混构场景抽象转换为易于描述的、接近真实环境的数学模型，其中基于以下四个假设，获得问题预定义条件：假设一：不同用户在不同时间段内的请求是相互独立的，即一个用户请求在当前时间段内与另外一个用户的请求没有联系；假设二：用户的服务请求种类为m种，这m种不同的用户请求由n个子服务排列组合构成，即用户的请求种类一共有m种，用户请求由来源于这n个子服务的若干个子服务构成，并且这若干个子服务之间存在逻辑依赖及执行顺序先后关系；例如用户请求A可以拆分为n1->n2->n3子服务，用户请求A先经过n1服务的计算，n1服务计算后的结果再作为n2服务的输入，经过n2服务计算得到的结果作为n3服务计算的输入，最后n3服务计算得到结果并将结果返回给用户；假设三：用户请求的每个阶段过程中的报文的长度是大致相等的，即无论是用户在边缘端发起的请求、用户请求在子服务之间的转发计算、用户请求最终返回边缘端的计算结果，其报文的长度均认为是大致相等的；假设四：数据传输过程中单位长度数据报文的传输时延是固定相等的，假设用户移动设备与边缘服务器之间数据报文的单位传输速度是相等的、边缘服务器与云端中心之间数据报文的单位传输速度也是相等的，边缘服务器与边缘服务器之间传输时延等于零。5.按权利要求2或3所述的方法，其特征在于，所述方法中，所述的在边缘动态服务部署问题中，优化目标主要由两个方面组成，其中，一个是用户请求的平均响应时间，另一个是服务器端能耗的大小；针对不同时间段内不同的用户服务请求数量分布情况和种类分布情况动态地调整边缘服务器端服务资源的配比，达到在当前时间内用户请求的条件下最小的用户平均响应时间和最小的服务器能耗；设定评价移动边缘计算动态服务部署方案的评价标准：包括，用户请求平均响应时间和服务器能耗的大小评价指标，所述评价指标的形式化的定义和说明如下：对于某一个时间段内用户服务请求平均响应时间的计算，采用如下计算公式计算，Ti表示该时间段内单个用户服务请求的响应时间，n表示该时间段内用户请求的总数，单个用户服务请求的响应时间是指在整个服务请求从用户发起请求到用户得到计算结果所消耗的时间，按照服务请求的处理过程将响应时间划分为三个部分:服务请求发起
传输时间、服务请求计算时间、服务请求回传时间，对于单个用户服务请求的响应时间计算，采用如下公式计算:T＝T
in
+T
process
+T
out
T
in
为服务请求发起传输时间，表示移动边缘端的用户请求由边缘端设备发送到指定边缘服务器端的传输时间，服务请求发起的过程为移动用户使用边缘端设备发送服务请求数据量大小为D
in
的请求R并通过网络传输到边缘服务器，传输网络的带宽为V
in
，服务请求发起传输时间的计算表达式如下公式所示，T
process
为服务请求计算时间，表示移动边缘计算的用户请求在边缘服务器网络中根据用户请求种类拆分为有逻辑依赖关系的子服务并在边缘服务器之间转发运算的时间，服务请求计算的过程为边缘服务集群接收到数据量大小为D
in
的请求R，然后根据请求的种类将请求R拆分为有逻辑依赖关系的n个子服务，接着各个子服务根据当前各个边缘计算服务器上的服务配比情况在边缘服务器之间进行转发计算并得到最终结果，用户服务请求计算的时间由若干个子服务运算请求时间所构成，t
process_i
为第i个子服务在边缘服务器上运行所需要的时间...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。