【技术实现步骤摘要】
基于生成对抗模仿学习的边缘节点动态资源分配方法
[0001]本专利技术涉及边缘节点应用服务资源分配
，特别是一种基于生成对抗模仿学习的边缘节点动态资源分配方法。
技术介绍
[0002]边缘节点的动态资源分配是根据外部环境、日期、时间、季节、最近边缘负载情况等等因素来动态的预测边缘节点未来的负载情况，并根据负载预测结果对不同资源进行分配等管理，例如可以提前对未来应用请求更多服务分配更多资源，从而提升用户服务质量。但目前大多数的方法还是通过人工经验来进行负载预测并进行资源管理，常见的策略包括：在高峰时刻将更多资源分配给不同的应用，在低谷时刻将服务集中，减少电力消耗等等。
[0003]由于边缘负载复杂而且频繁的变化，需要综合考虑多种因素进行负载预测，人工的进行资源分配不仅依赖于长年的经验积累，还有可能对一些关键的因素产生遗漏，并且非常消耗人力。
[0004]近来也有部分研究通过引入机器学习来进行资源分配，通过监督学习时间序列预测等方法对边缘负载进行预测，然后进行资源分配。
[0005]监督学习可以考虑...
【技术保护点】
【技术特征摘要】
1.一种边缘节点动态资源分配方法，其特征是，包括：获取边缘节点上的边缘环境信息，所述边缘环境信息包括用户节点的服务资源请求信息；将所述边缘环境信息输入预先训练的资源分配策略模型，得到资源分配策略模型输出的资源分配方案；根据所述资源分配方案向请求服务资源的各用户节点分配应用服务资源；其中，所述资源分配策略模型的训练包括Q
‑
learning强化学习训练，强化学习训练过程中，边缘节点的资源分配策略为智能体，用户节点的服务资源请求为环境，用户节点在每一轮迭代中的服务资源请求通过预训练的用户请求策略模型生成；所述用户请求策略模型的训练包括生成对抗训练，生成对抗训练过程中，用户请求策略模型作为生成器网咯，与预构建的判别器网络进行生成对抗训练，用户请求策略模型的输入为用户节点状态信息，判别器网络的输入为用户请求策略模型生成的模拟用户服务资源请求信息以及历史真实用户请求信息。2.根据权利要求1所述的方法，其特征是，所述服务资源请求信息包括服务资源请求类型以及所请求的负载量信息；所述边缘环境信息还包括用户节点的状态信息，边缘节点的服务状态信息、边缘参数、负载量信息以及资源分配信息。3.根据权利要求1所述的方法，其特征是，所述资源分配策略模型和用户请求策略模型的训练还包括模仿学习预训练，包括：构建虚拟边缘环境模拟器，所述虚拟边缘环境模拟器包括资源分配神经网络和用户请求神经网络；将历史真实边缘环境信息作为虚拟边缘环境模拟器的输入数据，对资源分配神经网络和用户请求神经网络进行模仿学习训练：利用所述资源分配神经网络学习历史真实边缘环境信息中的资源分配策略，利用所述用户请求神经网络学习历史真实缘环境信息中的用户请求策略；将训练得到的资源分配神经网络作为强化学习训练前的资源分配策略模型，将训练得到的用户请求神经网络作为生成对抗训练前的用户请求策略模型。4.根据权利要求3所述的方法，其特征是，所述用户请求模型的生成对抗训练包括：对应用户请求策略模型构建判别器；由用户请求策略模型生成模拟用户服务资源请求信息；利用历史真实边缘环境信息中的历史真实用户服务资源请求信息和所述模拟用户服务资源请求信息训练判别器网络，计算判别损失和生成损失，根据判别损失和生成损失分别优化判别器网络和用户请求策略模型的网络参数；交替进行用户请求策略模型与判别器网络的生成对抗训练，直至判别器无法区分用户请求策略模型生成的模拟用户服务资源请求信息以及历史真实用户请求信息。5.根据权利要求4所述的方法，其特征是，在强化学习训练中，所述用户请求策略模型根据当前时刻当前用户节点状态、任务以及边缘节点提供的服务资源，确定下一轮次向边缘节点请求的服务资源请求类型及服务负载量，输出为用户服务资源请求信息。6.根据权利要求4所述的方法，其特征是，对所述资源分配策略模型进行强化...
【专利技术属性】
技术研发人员：缪巍巍，张明轩，曾锃，全思平，杨君中，王兴龙，张瑞，张震，滕昌志，李世豪，毕思博，张利，孙琦，赵然，
申请(专利权)人：国网江苏省电力有限公司国网江苏省电力有限公司泰州供电分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。