无线网络多控制器部署和资源分配方法和装置制造方法及图纸

本发明专利技术提供了一种网络多控制器部署和资源分配方法和装置，涉及网络控制的技术领域，包括：确定目标参数；基于粒子群优化算法，目标无线网络参数，粒子群算法参数，对初始部署位置执行第一预设次数迭代优化，得到每个控制器的最优部署位置；基于每个控制器的最优部署位置和每个控制器的资源分配策略确定目标无线网络的初始动作空间；基于强化学习算法，初始状态空间，动作空间和强化学习算法参数，对初始状态空间执行第二预设次数迭代优化，得到目标无线网络的最优资源分配策略，解决了现有的网络多控制器部署和资源分配方法中，网络处理性能较低的技术问题。

Deployment and resource allocation methods and devices for wireless network multi-controllers

The invention provides a method and device for network multi-controller deployment and resource allocation, which relates to the technical field of network control, including: determining target parameters; performing first preset iteration optimization for initial deployment positions based on particle swarm optimization algorithm, target wireless network parameters and particle swarm algorithm parameters to obtain the optimal deployment position of each controller; and based on each control, the optimal deployment position of each controller is obtained. The optimal deployment position of the controller and the resource allocation strategy of each controller determine the initial action space of the target wireless network. Based on the parameters of reinforcement learning algorithm, initial state space, action space and reinforcement learning algorithm, the second preset number of iterations are performed to optimize the initial state space, and the optimal resource allocation strategy of the target wireless network is obtained, which solves the existing network multi-control problem. In the methods of device deployment and resource allocation, network processing performance is low.

【技术实现步骤摘要】
无线网络多控制器部署和资源分配方法和装置
本专利技术涉及网络控制
，尤其是涉及一种网络多控制器部署和资源分配装置。
技术介绍
近几年，随着无线网络中的移动数据指数型增长，如蜂窝网络、物联网等。在2020年大概会有500亿物联网设备添加到移动互联网中。传统的管理技术无法满足用户对任务服务质量的要求。为了应对数据急剧膨胀的挑战，软件定义无线网络将传统的无线网络架构的数据层和控制层解耦，通过控制器有效地管理用户请求资源、优化系统性能。网络的控制功能通过软件定义无线网络的控制器实现，随着网络设备的增加，单个控制器由于其设备本身的能力有限无法高效的管控整个网络，所以在软件定义无线网络中部署多个控制器用于提高控制层的能力是一种解决途径。在有线的软件定义网络中，如何在不同的位置部署合适的控制器影响整个网络的处理性能，该问题称作多控制器部署问题。该问题包括两个部分：确定控制器个数和部署多个控制器，解决方法有粒子群算法、模拟退火算法等。当前多控制器部署问题在软件定义无线网络中刚刚起步，模型主要参考有线网的模型，但并未考虑无线网络中能耗的影响。资源分配问题是提高控制器处理性能的另一个关键问题。现实网络中的系统非常复杂、模型难于精确建立，因此传统的建模方法无法应对现实环境的动态变化做出在线决策。针对上述问题，还未提出有效的解决方案。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种网络多控制器部署和资源分配装置，以缓解了现有的网络多控制器部署和资源分配方法中，网络处理性能较低的技术问题。第一方面，本专利技术实施例提供了一种网络多控制器部署和资源分配方法，该方法包括：确定目标参数，其中，所述目标参数包括：目标无线网络的参数，粒子群算法参数，强化学习算法参数，控制器的初始部署位置；基于粒子群优化算法，目标无线网络参数，粒子群算法参数，对所述初始部署位置执行第一预设次数迭代优化，得到每个控制器的最优部署位置；基于所述每个控制器的最优部署位置和每个所述控制器的资源分配策略确定所述目标无线网络的初始动作空间，其中，所述状态空间用于表征所述目标无线网络的资源分配策略,所述资源分配策略表征各个控制器的剩余计算资源总量和完成任务所需的计算资源量；基于强化学习算法，所述初始状态空间和所述强化学习算法参数，对所述初始状态空间执行第二预设次数迭代优化，得到所述目标无线网络的最优资源分配策略。进一步地，所述粒子群优化算法参数包括：目标参数，更新函数参数，第一预设迭代次数，粒子群中每个粒子的预设位置和每个粒子的预设速度；对所述初始部署位置执行第一预设次数迭代优化每个迭代优化包括：反复执行以下迭代步骤，直至第一迭代次数满足第一预设迭代次数，则基于执行第一预设迭代次数之后得到的粒子群中的每个粒子的目标位置，确定每个所述控制器的最优部署位置：第一计算步骤，利用目标函数对所述目标参数和所述目标无线网络的参数，所述目标参数和粒子群中每个粒子的预设位置进行计算，得到粒子群中每个粒子的目标函数值；第一确定步骤，基于粒子群中每个粒子的目标函数值，确定粒子群中每个粒子的历史最优位置和每个粒子的全局最优位置；第二计算步骤，利用更新函数对所述每个粒子的历史最优位置、所述每个粒子的全局最优位置、所述第一更新函数参数、所述粒子群中每个粒子的预设位置和每个粒子的预设速度进行计算，得到粒子群中每个粒子的目标位置和每个粒子的目标速度；其中，若当前第一迭代次数小于所述第一预设迭代次数，则将所述每个粒子的目标位置确定为所述预设位置，以及将所述每个粒子的目标速度确定为所述预设速度，并返回执行所述第一计算步骤，所述第一确定步骤，和所述第二计算步骤，继续进行迭代计算。进一步地，所述强化学习算法参数包括：目标Q函数参数，损失函数参数，第二预设迭代次数，动作空间参数；对所述初始状态空间执行预设次数迭代优化中每个迭代优化包括：反复执行以下迭代步骤，直至第二迭代次数满足第二预设迭代次数，则基于执行第二预设迭代次数之后得到的状态空间，确定为最优状态空间，并基于所述最优状态空间，确定所述目标无线网络的最优资源分配策略：第三计算步骤，利用目标Q函数对所述目标Q函数参数，所述回报值和所述状态值进行计算，得到所述初始状态空间对应的目标Q函数值；第四计算步骤，利用损失函数对所述损失函数参数和所述目标Q函数值进行计算，得到所述初始状态空间对应的损失函数值；第二确定步骤，基于所述初始状态空间对应的损失函数值，确定目标状态空间；其中，若当前第二迭代次数小于所述第二预设迭代次数，则将所述目标状态空间确定为所述初始状态空间，并返回执行所述第三计算步骤，所述第四计算步骤和所述第二确定步骤，继续进行迭代计算。进一步地，所述目标函数为：其中，其中，在目标无线网络中包含个n控制器和m个控制元素，则控制器为C＝{c1,c2,…,cn}，网络元素为S＝{s1,s2,…,sm},任务定义为Qi＝(wi,ηi)，wi为目标无线网络完成任务需要的CPU周期，ηi为任务的数据量，hi,j为控制器ci和它的控制元素之间的信道增益，p(ci)是控制器的传输功率，σ2是控制元素的噪声，B是信道带宽，代表信道间的干扰，fi为控制器ci的计算能力，ρi是CPU周期的能耗参数。进一步地，所述更新函数为：Vi(n+1)＝wVi(n)+c1ξ1(Pin-Xi(n))+c2ξ2(Pgn-Xi(n))；Xi(n+1)＝Xi(n)+Vi(n+1)；其中，c1，c2均为0至2之间的常数，ξ1和ξ2为影响力系数，w为权重系数，Pin为第i个粒子在第n次迭代后的历史最优位置，Pgn为第i个粒子第在第n次迭代后的全局历史最优位置，Vi(n+1)为第i个粒子在第n+1次迭代后的目标速度，Vi(n)为第i个粒子在第n次迭代后的目标速度，Xi(n+1)第i个粒子在第n+1次迭代后的目标位置，Xi(n)第i个粒子在第n次迭代后的目标位置。进一步地，Qn+1(Sn,An；θ)＝(1-η)Qn(Sn,An；θ)+η[Rn+γmaxQn(Sn+1,An+1；θ)]，其中，Qn(Sn,An；θ)＝Rn+γV(Sn+1)其中,Rn为回报值，Ωj是控制器中当前排队任务的集合Ω中第j个任务，Qn+1(Sn,An；θ)为第n+1次迭代的目标Q函数的函数值，Qn(Sn,An；θ)为第n次迭代的目标Q函数的函数值,Sn为第n次迭代后的状态，Sn+1为第n+1次迭代后的状态，ai为目标动作，V(Sn+1)表示第n+1迭代后的累积回报值，θ为权值系数。进一步地，所述损失函数为：L(θ)＝E[(Qn(Sn,An；θ)-Q(si,ai；θ))2]。第二方面，本专利技术实施例提供了一种网络多控制器部署和资源分配装置，该装置包括：获取单元，第一确定单元，第二确定单元和第三确定单元，其中，所述获取单元用于确定目标参数，其中，所述目标参数包括：目标无线网络的参数，粒子群算法参数，强化学习算法参数，控制器的初始部署位置；所述第一确定单元用于基于粒子群优化算法，目标无线网络参数，粒子群算法参数，对所述初始部署位置执行第一预设次数迭代优化，得到每个控制器的最优部署位置；所述第二确定单元用于基于所述每个控制器的最优部署位置和每个所述控制器的资源分配策略确定所述目标无线网络的初始动作空间，其中，所述状态空间用于表征所本文档来自技高网...

【技术保护点】
1.一种网络多控制器部署和资源分配方法，其特征在于，包括：确定目标参数，其中，所述目标参数包括：目标无线网络的参数，粒子群算法参数，强化学习算法参数，控制器的初始部署位置；基于粒子群优化算法，所述目标无线网络参数，所述粒子群算法参数，对所述初始部署位置执行第一预设次数迭代优化，得到每个控制器的最优部署位置；基于所述每个控制器的最优部署位置和每个所述控制器的资源分配策略确定所述目标无线网络的初始动作空间，其中，所述状态空间用于表征所述目标无线网络的资源分配策略,所述资源分配策略表征各个控制器的剩余计算资源总量和完成任务所需的计算资源量；基于强化学习算法，所述初始状态空间和所述强化学习算法参数，对所述初始状态空间执行第二预设次数迭代优化，得到所述目标无线网络的最优资源分配策略。

【技术特征摘要】
1.一种网络多控制器部署和资源分配方法，其特征在于，包括：确定目标参数，其中，所述目标参数包括：目标无线网络的参数，粒子群算法参数，强化学习算法参数，控制器的初始部署位置；基于粒子群优化算法，所述目标无线网络参数，所述粒子群算法参数，对所述初始部署位置执行第一预设次数迭代优化，得到每个控制器的最优部署位置；基于所述每个控制器的最优部署位置和每个所述控制器的资源分配策略确定所述目标无线网络的初始动作空间，其中，所述状态空间用于表征所述目标无线网络的资源分配策略,所述资源分配策略表征各个控制器的剩余计算资源总量和完成任务所需的计算资源量；基于强化学习算法，所述初始状态空间和所述强化学习算法参数，对所述初始状态空间执行第二预设次数迭代优化，得到所述目标无线网络的最优资源分配策略。2.根据权利要求1所述的方法，其特征在于，所述粒子群优化算法参数包括：目标函数参数，更新函数参数，第一预设迭代次数，粒子群中每个粒子的预设位置和每个粒子的预设速度；对所述初始部署位置执行第一预设次数迭代优化每个迭代优化包括：反复执行以下迭代步骤，直至第一迭代次数满足第一预设迭代次数，则基于执行第一预设迭代次数之后得到的粒子群中的每个粒子的目标位置，确定每个所述控制器的最优部署位置：第一计算步骤，利用目标函数对所述目标函数参数和所述目标无线网络的参数对粒子群中每个粒子的预设位置进行计算，得到粒子群中每个粒子的目标函数值；第一确定步骤，基于粒子群中每个粒子的目标函数值，确定粒子群中每个粒子的历史最优位置和每个粒子的全局最优位置；第二计算步骤，利用更新函数对所述每个粒子的历史最优位置、所述每个粒子的全局最优位置、所述第一更新函数参数、所述粒子群中每个粒子的预设位置和每个粒子的预设速度进行计算，得到所述粒子群中每个粒子的目标位置和每个粒子的目标速度；其中，若当前第一迭代次数小于所述第一预设迭代次数，则将所述每个粒子的目标位置确定为所述预设位置，以及将所述每个粒子的目标速度确定为所述预设速度，并返回执行所述第一计算步骤，所述第一确定步骤和所述第二计算步骤，继续进行迭代计算。3.根据权利要求1所述的方法，其特征在于，所述强化学习算法参数包括：目标Q函数参数，损失函数参数，第二预设迭代次数，动作空间参数；对所述初始状态空间执行预设次数迭代优化中每个迭代优化包括：反复执行以下迭代步骤，直至第二迭代次数满足第二预设迭代次数，则基于执行第二预设迭代次数之后得到的状态空间，确定为最优状态空间，并基于所述最优状态空间，确定所述目标无线网络的最优资源分配策略：第三计算步骤，利用目标Q函数对所述目标Q函数参数，所述回报值和所述状态值进行计算，得到所述初始状态空间对应的目标Q函数值；第四计算步骤，利用损失函数对所述损失函数参数和所述目标Q函数值进行计算，得到所述初始状态空间对应的损失函数值；第二确定步骤，基于所述初始状态空间对应的损失函数值，确定目标状态空间；其中，若当前第二迭代次数小于所述第二预设迭代次数，则将所述目标状态空间确定为所述初始状态空间，并返回执行所述第三计算步骤，所述第四计算步骤和所述第二确定步骤，继续进行迭代计算。4.根据权利要求2所述的方法，其特征在于，所述目标函数为：其中，其中，在目标无线网络中包含个n控制器和m个控制元素，则控制器为C＝{c1,c2,…,cn}，网络元素为S＝{s1,s2,…,sm},所述任务为Qi＝(wi,ηi)，wi为目标无线网络完成任务需要的CPU周期，ηi为任务的数据量，hi,j为控制器ci和它的控制元素之间的信道增益，p(ci)是控制器的传输功率，σ2是控制元素的噪声，B是信道带宽，为信道间的干扰，fi为控制器ci的计算能力，ρi是CPU周期的能耗参数，为上传数据率，为控制器与元素与之间的传输时延，为控制器与元素之间的传输能耗，为控制器的执行任务Qi＝(wi,ηi)所需的时间，为控制器与元素之间的计算能耗。5.根据权利要求2所述的方法，其特征在于，所述更新函数为：Vi(n+1)＝wVi(n)+c1ξ1(Pin-Xi(n))+c2ξ2(Pgn-Xi(n))；Xi(n+1)＝Xi(n)+Vi(n+1)；其中，c1，c2均为0至2之间的常数，ξ1和ξ2为...

【专利技术属性】
技术研发人员：姚海鹏，张培颖，李飞翔，纪哲，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11