【技术实现步骤摘要】
面向处理单元部署的基于值函数的强化学习方法
本专利技术涉及面向处理单元部署的基于值函数的强化学习方法，对代表多个用户的多个处理单元图，通过其响应时间预测，部署在一个资源受限的网络中，以获得该处理单元图平均响应时间最低的效果。
技术介绍
流处理技术通过处理大量实时数据流来发掘数据中潜在的语义，基于分布式内存，对不断产生的动态数据进行处理。具有数据处理快速，高效，低延迟的特点。流处理技术的核心是处理单元，处理单元以图的形式组织，用以处理数据。处理单元图需要一定的计算资源来完成任务。在大多数情况下，拥有计算资源的物理节点由于地理因素、成本因素，通常是分布式的。将处理单元部署在分布式计算节点上，需要从多方面考虑部署方案。在现有的部署方案中，通常考虑将应用部署在最近的网络节点中运行，以达到尽可能小的传输时延以及尽可能小的网络传输量。但是当数据量大幅度增加时，最近的网络节点可能发生拥塞，无法满足响应时间需求。现有技术中仍然需要解决的问题。一方面，系统无法判断一种部署方式是否会发生拥塞。另一方面，系统无法判断如何部署是最合...
【技术保护点】
1.面向处理单元部署的基于值函数的强化学习方法，其特征在于，包括如下步骤：/n步骤1：监控处理单元图部署必要的参数，包括传输速率、处理事件的吞吐率和事件输入率，以便后续将处理单元部署在适当的节点上；/n步骤2：强化学习方法建模：将事件输入率作为状态，根据强化学习模型以及事件输入率的状态s，将强化学习模型中的动作a定义为：在节点资源受限情况下，监控数据源附近的满足资源条件的节点作为候选节点，并选择适当的节点部署；/n步骤3：训练：根据步骤2观察到的事件输入率的状态，以及状态-动作值函数更新方式，按照如下方式选择动作a：以ε的概率随机选择满足资源条件的节点部署；以1-ε的概率选...
【技术特征摘要】 【专利技术属性】
1.面向处理单元部署的基于值函数的强化学习方法，其特征在于，包括如下步骤：
步骤1：监控处理单元图部署必要的参数，包括传输速率、处理事件的吞吐率和事件输入率，以便后续将处理单元部署在适当的节点上；
步骤2：强化学习方法建模：将事件输入率作为状态，根据强化学习模型以及事件输入率的状态s，将强化学习模型中的动作a定义为：在节点资源受限情况下，监控数据源附近的满足资源条件的节点作为候选节点，并选择适当的节点部署；
步骤3：训练：根据步骤2观察到的事件输入率的状态，以及状态-动作值函数更新方式，按照如下方式选择动作a：以ε的概率随机选择满足资源条件的节点部署；以1-ε的概率选择这样的边缘节点部署：满足策略π的映射关系，即在当前策略下，根据当前状态-动作值函数，选择使得值函数最大的动作；记录执行动作后的处理单元图响应时间，作为执行动作得到的奖赏，观察下一个事件输入率的状态，重复步骤3直至达到一定的训练时间；
步骤4：实施：根据训练得到的部署策略，观察事件输入率的状态，并根据训练好的策略执行动作，直到部署所有节点。
2.如权利要求1所述的面向处理单元部署的基于值函数的强化学习方法，其特征在于：步骤1中，在H跳以内的边缘网络环境下，边缘节点Vedge定期收集边缘节点之间的传输速率w、边缘节点处理事件的吞吐率λ以及各个处理单元图的事件输入率r。
3.如权利要求1所述的面向处理单元部署的基于值函数的强化学习方法，其特征在于：步骤1中，对于一个处理单元的事件输入率，采用最近t时间内的平均值；根据各个处理单元最近t时间内每秒ti的数据输入量为n(ti)，从而计算出平均事件输入速率作为处理单元图的事件输入率：
4.如权利要求1所述的面向处理单元部署的基于值函数的强化学习方法，其特征在于：步骤2中，根据一个处理单元的事件输入率的最高值和最低值，将事件输入率平均划分为7个状态S，分别为lowest，low，slow，middle，shigh，high，highest。
5.如权利要求1所述的面向处理单元部署的基于值函数的强化学习方法，其特征在于：步骤2中，策略π由以下公式定义：
技术研发人员：胡昊，王禹又，匡宏宇，陶先平，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。