无人机集群服务功能链动态配置方法和装置制造方法及图纸

本发明专利技术提供了一种无人机集群服务功能链动态配置方法和装置，涉及无人机通信技术领域，本发明专利技术所使用的目标神经网络模型采用按需协作通信方式进行服务功能链动态部署，对不同队友建立不同队友模型，相比于现有的广播式通信算法或点对点式通信方式，按需通信的方式下，无人机之间传送不同的激励信息，且每个无人机的Q值都要加入其他无人机发送的激励信息，也即，每个无人机在动作选取时都受其余无人机的激励信息影响，并且按需通信还能减少信令的开销，因此，在利用本发明专利技术方法对服务功能链进行动态配置时可以加快收敛速度，提高算法收敛性，使无人机集群网络延迟保持在较低水平。平。平。

【技术实现步骤摘要】
无人机集群服务功能链动态配置方法和装置


[0001]本专利技术涉及无人机通信
，尤其是涉及一种无人机集群服务功能链动态配置方法和装置。

技术介绍

[0002]NFV(network function virtualization，网络功能虚拟化)是一种网络概念，基于虚拟化技术，将网络功能（如：防火墙、路由器、负载均衡器等）从专用硬件中解耦出来，以软件的形式运行在通用服务器上，SFC（Service Function Chain，服务功能链）是在此架构下的网络组链技术，通过将多个虚拟化的网络功能按照一定的顺序组成服务链并部署在物理网络中，从而实现更加灵活的网络服务，比如将防火墙、入侵检测系统、负载均衡器等功能按照一定的顺序组成服务链，实现特定的业务需求。
[0003]现有的一些基于数学优化的服务功能链动态部署方式主要有混合二次约束（ILP）、混合整数线性规划等（MILP）等，在此基础上为降低时间复杂度提出了在边缘云和公共云中存放VNF的方式，从而根据动态变化的网络业务需求形成SFC。除此之外还有一些基于启发式和元启发式算法。但是，基于数学优化的部署方式很难很好地扩展，特别是当问题规模增加时，算法执行效率较低，不能保证执行时间能满足业务需求；启发式算法会导致结果陷入局部最优的情况，而虽然元启发式可以最大程度的逼近最优解，但结果的收敛性不足以达到理想水平。

技术实现思路

[0004]本专利技术的目的在于提供一种无人机集群服务功能链动态配置方法和装置，以加快对服务功能链进行动态配置时的收敛速度，提高收敛性，使无人机集群网络延迟保持在较低水平。
[0005]第一方面，本专利技术提供一种无人机集群服务功能链动态配置方法，应用于目标神经网络模型，包括：步骤1，判断服务功能链的当前配置轮次是否达到预设轮次；若未达到预设轮次，则执行步骤2；若达到预设轮次，则结束服务功能链动态配置流程；步骤2，判断服务功能链的当前配置次数是否达到单轮最大配置次数；其中，每个轮次设有单轮最大配置次数；若未达到单轮最大配置次数，则执行步骤3；若达到单轮最大配置次数，则执行步骤6；步骤3，在所述无人机集群中随机部署服务功能链，以得到所述无人机集群中所有无人机的状态信息和动作；其中，无人机的状态信息包括无人机的计算资源信息和内存资源信息，无人机的动作包括以下其中之一：有VNF部署，无VNF部署；步骤4，基于所有无人机的状态信息为每个无人机构建相应的队友模型，并基于每个无人机的状态信息和相应的队友模型确定所述无人机集群中无人机之间发送的激励信息，以及，更新所述无人机集群中所有无人机的状态信息和动作；步骤5，判断当前状态下，所述无人机集群中非满负荷的无人机数量是否小于预设阈值；如果小于，则执行步骤6；如果大于或等于，则返回步骤2；步骤6，计算所述无人机集群的全局Q值，并基于所述全局Q值优化所述目标神经网络模型的网络参数，并返回
步骤1；其中，目标无人机的全局Q值是所述目标无人机自身的Q值和其他无人机发送给所述目标无人机的激励信息之和；所述目标无人机表示所述无人机集群中的任一无人机。
[0006]在可选的实施方式中，基于所有无人机的状态信息为每个无人机构建相应的队友模型，包括：利用高斯编码模型对所述目标无人机的状态信息和指定无人机的编号进行处理，得到所述目标无人机对所述指定无人机的高斯编码；其中，所述指定无人机表示所述无人机集群中除所述目标无人机之外的任一无人机；对所述高斯编码进行随机采样，得到所述目标无人机对所述指定无人机的队友模型。
[0007]在可选的实施方式中，基于每个无人机的状态信息和相应的队友模型确定所述无人机集群中无人机之间发送的激励信息，包括：基于所述目标无人机的状态信息和目标队友模型确定所述目标无人机向所述指定无人机发送的定制化信息；其中，所述目标队友模型表示所述目标无人机对所述指定无人机的队友模型；基于所述目标无人机的状态信息和所述目标无人机的所有队友模型，确定所述目标无人机与所述指定无人机的通信程度；基于所述目标无人机向所述指定无人机发送的定制化信息，和所述目标无人机与所述指定无人机的通信程度，确定所述目标无人机向所述指定无人机发送的激励信息。
[0008]在可选的实施方式中，更新所述无人机集群中所有无人机的状态信息和动作，包括：利用categorical函数和贪婪策略对所述无人机集群中所有无人机之间的通信程度进行处理，得到所述无人机集群中每个无人机的下一动作；根据每个无人机的下一动作更新自身的状态信息。
[0009]在可选的实施方式中，所述目标神经网络模型的损失函数表示为：；其中，，y表示预设优化目标，表示所述无人机集群的全局Q值，表示无人机的当前状态，表示无人机的动作，表示奖励，表示无人机的下一状态，表示关于Q值的网络参数；，表示目标无人机i对指定无人机j的队友模型，表示目标无人机i的状态信息，表示指定无人机j的编号，表示指定无人机j的动作，D表示经验重放缓冲区，KL表示散度，表示变分分布，表示条件分布；，表示目标无人机i与指定无人机j的通信程度，n表示所述无人机集群中无人机的总数；表示队友建模损失的可调超参数，表示稀疏正则化的可调超参数，表示关于队友模型的网络参数，表示关于激励信息的网络参数。
[0010]第二方面，本专利技术提供一种无人机集群服务功能链动态配置装置，应用于目标神经网络模型，包括：第一判断模块，用于判断服务功能链的当前配置轮次是否达到预设轮次；若未达到预设轮次，则调用第二判断模块；若达到预设轮次，则结束服务功能链动态配置流程；第二判断模块，用于判断服务功能链的当前配置次数是否达到单轮最大配置次数；其中，每个轮次设有单轮最大配置次数；若未达到单轮最大配置次数，则调用部署模块；若
达到单轮最大配置次数，则调用计算和优化模块；部署模块，用于在所述无人机集群中随机部署服务功能链，以得到所述无人机集群中所有无人机的状态信息和动作；其中，无人机的状态信息包括无人机的计算资源信息和内存资源信息，无人机的动作包括以下其中之一：有VNF部署，无VNF部署；构建和确定模块，用于基于所有无人机的状态信息为每个无人机构建相应的队友模型，并基于每个无人机的状态信息和相应的队友模型确定所述无人机集群中无人机之间发送的激励信息，以及，更新所述无人机集群中所有无人机的状态信息和动作；第三判断模块，用于判断当前状态下，所述无人机集群中非满负荷的无人机数量是否小于预设阈值；如果小于，则调用计算和优化模块；如果大于或等于，则调用第二判断模块；计算和优化模块，用于计算所述无人机集群的全局Q值，并基于所述全局Q值优化所述目标神经网络模型的网络参数，并调用第一判断模块；其中，目标无人机的全局Q值是所述目标无人机自身的Q值和其他无人机发送给所述目标无人机的激励信息之和；所述目标无人机表示所述无人机集群中的任一无人机。
[0011]在可选的实施方式中，所述构建和确定模块具体用于：利用高斯编码模型对所述目标无人机的状态信息和指定无人机的编号进行处理，得到所述目标无人机对所述指定无人机的高斯编码；其中，所述指定无人机表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机集群服务功能链动态配置方法，其特征在于，应用于目标神经网络模型，包括：步骤1，判断服务功能链的当前配置轮次是否达到预设轮次；若未达到预设轮次，则执行步骤2；若达到预设轮次，则结束服务功能链动态配置流程；步骤2，判断服务功能链的当前配置次数是否达到单轮最大配置次数；其中，每个轮次设有单轮最大配置次数；若未达到单轮最大配置次数，则执行步骤3；若达到单轮最大配置次数，则执行步骤6；步骤3，在所述无人机集群中随机部署服务功能链，以得到所述无人机集群中所有无人机的状态信息和动作；其中，无人机的状态信息包括无人机的计算资源信息和内存资源信息，无人机的动作包括以下其中之一：有VNF部署，无VNF部署；步骤4，基于所有无人机的状态信息为每个无人机构建相应的队友模型，并基于每个无人机的状态信息和相应的队友模型确定所述无人机集群中无人机之间发送的激励信息，以及，更新所述无人机集群中所有无人机的状态信息和动作；步骤5，判断当前状态下，所述无人机集群中非满负荷的无人机数量是否小于预设阈值；如果小于，则执行步骤6；如果大于或等于，则返回步骤2；步骤6，计算所述无人机集群的全局Q值，并基于所述全局Q值优化所述目标神经网络模型的网络参数，并返回步骤1；其中，目标无人机的全局Q值是所述目标无人机自身的Q值和其他无人机发送给所述目标无人机的激励信息之和；所述目标无人机表示所述无人机集群中的任一无人机。2.根据权利要求1所述的无人机集群服务功能链动态配置方法，其特征在于，基于所有无人机的状态信息为每个无人机构建相应的队友模型，包括：利用高斯编码模型对所述目标无人机的状态信息和指定无人机的编号进行处理，得到所述目标无人机对所述指定无人机的高斯编码；其中，所述指定无人机表示所述无人机集群中除所述目标无人机之外的任一无人机；对所述高斯编码进行随机采样，得到所述目标无人机对所述指定无人机的队友模型。3.根据权利要求2所述的无人机集群服务功能链动态配置方法，其特征在于，基于每个无人机的状态信息和相应的队友模型确定所述无人机集群中无人机之间发送的激励信息，包括：基于所述目标无人机的状态信息和目标队友模型确定所述目标无人机向所述指定无人机发送的定制化信息；其中，所述目标队友模型表示所述目标无人机对所述指定无人机的队友模型；基于所述目标无人机的状态信息和所述目标无人机的所有队友模型，确定所述目标无人机与所述指定无人机的通信程度；基于所述目标无人机向所述指定无人机发送的定制化信息，和所述目标无人机与所述指定无人机的通信程度，确定所述目标无人机向所述指定无人机发送的激励信息。4.根据权利要求3所述的无人机集群服务功能链动态配置方法，其特征在于，更新所述无人机集群中所有无人机的状态信息和动作，包括：利用categorical函数和贪婪策略对所述无人机集群中所有无人机之间的通信程度进
行处理，得到所述无人机集群中每个无人机的下一动作；根据每个无人机的下一动作更新自身的状态信息。5.根据权利要求1所述的无人机集群服务功能链动态配置方法，其特征在于，所述目标神经网络模型的损失函数表示为：；其中，，y表示预设优化目标，表示所述无人机集群的全局Q值，表示无人机的当前状态，表示无人机的动作，表示奖励，表示无人机的下一状态，表示关于Q值的网络参数；，表示目标无人机i对指定无人机j的队友模型，表示目标无人机i的状态信息，表示指定无人机j的编号，表示...

【专利技术属性】
技术研发人员：姚海鹏，李群，买天乐，忻向军，张尼，葛洪武，袁莞迈，吴巍，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：