【技术实现步骤摘要】
本专利技术属于通信，涉及一种基于多智能体机器学习的无人机辅助数据收集方法。
技术介绍
1、随着物联网(iot)技术不断发展，越来越多的设备和物品连接到互联网，构建了一个庞大且高度智能的网络。这个网络不仅实现了设备间的通信和数据传输，还通过云计算、大数据分析等技术实现了智能控制、高效管理和资源优化。iot技术架构通常分为三层：应用层、网络层和感知层。在感知层中，无线传感器网络(wsn)扮演着至关重要的角色。通常，wsn通过无线通信构建多跳自组织网络，从而实现对特定区域内的物体进行感知、采集和处理，然后将结果传输至数据中心。
2、近年来，由于wsn在快速部署、高容错性和低成本等技术优势，广泛应用于大规模分布式监测场景，如灾害监测、环境监测以及基础设施监测等。然而，地质灾害或其他自然灾害通常发生在偏远山区，缺乏蜂窝网络覆盖，数据的收集变得困难。无人机群具有高机动、强协同性并可广覆盖目标区域，为偏远地区wsn的数据收集提供了高效的方案，但uavs在飞行、悬停时会消耗大量能量，无人机群辅助wsn数据收集仍存在挑战。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于多智能体机器学习的无人机辅助数据收集方法。该方法联合优化sns聚类，dcps位置，uavs轨迹以最小化uavs的总能耗。
2、为达到上述目的，本专利技术提供如下技术方案：
3、本专利技术根据复杂山地场景下无人机辅助无线传感器网络的数据采集场景，提供了一种基于多智能体机器学习的低能耗无人
4、s1：构建无人机群辅助的无线传感器网络数据采集模型；
5、s2：设计无人机群总能耗优化方案；
6、s3：优化传感器聚类，确定簇头数量及位置，以及相应的簇成员；
7、s4：优化数据收集点位置，确定每个数据收集点关联的簇头；
8、s5：优化无人机群轨迹规划方案。
9、可选的，在s1中，构建山区场景下uavs辅助wsn的数据采集模型。该模型由地面wsn、dc以及空中uavs组成。wsn中的sns分布在不同海拔高度，为保证sns传输数据的距离在最大通信距离内，对sns进行聚类并分为cms和chs，分别负责感知环境数据和收集数据并上传至uavs。dc作为中央控制器负责确定dcps位置、规划uavs轨迹，并对uavs发送的数据进行处理和分析，以实现对目标区域的环境监测、灾害预警等功能。uavs从dc出发，在dc的调度下，飞行到dcps后悬停，采集并存储与dcps关联的chs上传的数据。uavs完成所有dcps的收集任务后返回dc进行数据卸载。
10、可选的，在s2中，设计传感器聚类优化方案。本由于uav的通信能耗相对于悬停能耗和飞行能耗可忽略不计，本专利技术考虑uavs总能耗由uavs悬停能耗和飞行能耗组成，将最小化uavs总能耗问题分解为最小化uavs悬停能耗和飞行能耗两个子问题。首先，通过优化sns聚类和dcps位置以最小化uavs的总悬停能耗。其次，根据dcps的数量和位置，进行uavs的轨迹规划，以最小化总飞行能耗。
11、可选的，在s3中，提出改进的k-means++算法对sns进行聚类。该算法以sns的最大通信距离为限制，结合gap statistic方法与k-means++聚类算法并基于chs接收功率调整聚类结果，以优化sns聚类。首先，采用gap statistic方法确定最优的聚类。通过比较在不同聚类数下，实际sns分布和随机sns分布的聚类结果的gap统计量之差，选择差值最大的聚类数作为最优聚类数。其次，由于山地地区cms与chs的通信可能会存在阻碍，需要根据chs对cms信号接收状态对聚类结果进行调整。采用k-means++算法求出最优聚类数时的聚类结果，随后计算并判断所有chs对关联的cms的信号接收功率是否大于最小接收功率，若是，则输出chs位置、chs与cms的关联关系；若否，则不满足条件的cms向最大通信距离dmax内的其它chs发送检测信号，选择接收功率最大的ch进行关联。
12、可选的，在s4中，提出了一种基于ddpg的数据收集点位置确定算法。当确定了chs数量和位置后，为了保证高效数据收集，部署uavs在dcps同时收集多个chs的数据，为保证最小化uavs总悬停能耗需要确定最优dcps的位置坐标以及各dcp与chs的关联关系。首先，根据chs数量及dcps最大负载chs的数量计算所需数据收集点个数l。随后，将数据收集点的确定过程建模为连续动作空间的mdp过程，执行本专利技术提出基于的ddpg的数据收集点确定算法，在dc进行集中式训练来确定使uavs总悬停能耗最低的dcps的位置坐标以及各dcp与chs的关联关系。
13、可选的，在s5中，提出一种基于maac算法来进行uavs联合轨迹规划。当确定了dcps的位置坐标后，派遣uavs飞行至dcps执行数据收集任务，单架uav执行多个dcps的数据收集任务，所有uavs合作完成整个目标区域的收集任务，因此需要对uavs进行联合路径规划以最小化uavs总飞行能耗。本专利技术所提算法将每个uav作为一个智能体单独部署策略网络，策略网络在每次迭代中，uav会基于当前的状态和策略执行动作选择下一访问的dcp位置。dc作为中央控制器部署价值网络，对每个uav动作进行评价来协助uav训练策略网络，价值网络基于所有uavs的状态、动作和奖励在dc进行集中化训练。策略网络训练完成后，每个uav通过dc获取目标区域所有sns位置及状态信息基于训练后的策略进行轨迹规划。算法收敛后，将输出总飞行能耗最低的uavs轨迹。
14、本专利技术的有益效果在于：本专利技术设计了复杂山地场景下，一种基于多智能体机器学习的低能耗无人机群辅助数据收集方法。为保证sns传输数据的距离在最大通信距离内，采用聚类算法对sns进行分簇。在每一个簇中选出一个sn作为ch，簇内其他sns将采集的数据发送给ch，由ch将接收到的所有信息进行汇总并发送给无人机。无人机群在dc的调度下飞行到dcps后悬停，并对与dcps相关联的chs上传的数据进行采集和存储。在所有dcps的采集任务完成后，无人机携带数据返回至dc。
15、本专利技术以最小化无人机群总能耗目标，提出基于改进的k-means++聚类算法，优化chs的数量及位置。同时，提出基于ddpg的数据收集点位置确定算法，来确定使uavs总悬停能耗最低的dcps的数量和位置。最后，提出基于多智能体maac的无人机群路径规划算法，以规划无人机群遍历且不重复访问dcps且总飞行能耗最低的轨迹。
16、本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。
本文档来自技高网...【技术保护点】
1.一种基于多智能体机器学习的无人机辅助数据收集方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种基于多智能体机器学习的无人机辅助数据收集方法，其特征在于：在所述S1中，构建无人机群(UnmannedAerial Vehicle Swarm,UAVS)辅助的无线传感器网络(Wireless SensorNetwork,WSN)数据采集模型；该模型由地面WSN、数据中心(Data Center,DC)以及空中UAVS组成；WSN中的传感器节点(Sensor Node,SN)分布在不同海拔高度，为保证SNs传输数据的距离在最大通信距离内，对其进行聚类并分为簇成员(Cluster Member,CM)和簇头(Cluster Head,CH)，分别负责感知环境数据、收集数据并上传至UAVS；DC作为中央控制器负责确定数据收集点(Data Collection Point,DCP)位置、规划UAVS轨迹，并对UAVS发送的数据进行处理和分析，以实现对目标区域的环境监测、灾害预警的功能；UAVS在DC的调度下，飞行到DCP后悬停，采集并存储与当前收集点关联的CH
3.根据权利要求2所述的一种基于多智能体机器学习的无人机辅助数据收集方法，其特征在于：在所述S2中，提供无人机群总能耗优化方案，该方案联合优化SNs聚类、DCPs位置、UAVS路径，以最小化UAVS总能耗。
4.根据权利要求2所述的一种基于多智能体机器学习的无人机辅助数据收集方法，其特征在于：在所述S3中，提出改进的K-means++算法对传感器进行聚类；首先，该算法使用间隔统计量确定最优聚类数；其次，使用K-means++聚类算法对SNs分簇；最后，根据CHs对CMs的接收功率调整分簇，实现SNs最优聚类。
5.根据权利要求2所述的一种基于多智能体机器学习的无人机辅助数据收集方法，其特征在于：在所述S4中，提出了一种基于深度确定性策略梯度(Deep DeterministicPolicy Gradient,DDPG)的数据收集点位置确定算法，确定UAVS收集多个CHs数据时的DCPs位置；将DCPs位置确定问题建模为连续动作空间的马尔科夫决策(Markov DecisionProcess，MDP)过程，在DC进行集中式训练，以确定最优DCPs位置以及DCPs和CHs的关联关系，由此计算出UAVS最小总悬停能耗。
6.根据权利要求2所述的一种基于多智能体机器学习的无人机辅助数据收集方法，其特征在于：在所述S5中，提出一种基于多智能体演员-评论家(Multi-AgentActor-Critic,MAAC)的无人机群路径规划算法；该算法负责规划UAVS不重复访问所有DCPs的轨迹，以最小化UAVS飞行总能耗；每个UAV作为一个智能体单独部署一个策略网络，策略网络在每次迭代中，UAV会基于当前状态和策略执行动作选择下一访问的DCP；DC作为中央控制器部署价值网络，其对每个UAV动作进行评价，协助UAV独立训练策略网络，价值网络基于UAVS和DCPs的状态、动作和奖励在DC进行集中训练；算法收敛后，将输出总飞行能耗最低的UAVS轨迹。
...【技术特征摘要】
1.一种基于多智能体机器学习的无人机辅助数据收集方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种基于多智能体机器学习的无人机辅助数据收集方法，其特征在于：在所述s1中，构建无人机群(unmannedaerial vehicle swarm,uavs)辅助的无线传感器网络(wireless sensornetwork,wsn)数据采集模型；该模型由地面wsn、数据中心(data center,dc)以及空中uavs组成；wsn中的传感器节点(sensor node,sn)分布在不同海拔高度，为保证sns传输数据的距离在最大通信距离内，对其进行聚类并分为簇成员(cluster member,cm)和簇头(cluster head,ch)，分别负责感知环境数据、收集数据并上传至uavs；dc作为中央控制器负责确定数据收集点(data collection point,dcp)位置、规划uavs轨迹，并对uavs发送的数据进行处理和分析，以实现对目标区域的环境监测、灾害预警的功能；uavs在dc的调度下，飞行到dcp后悬停，采集并存储与当前收集点关联的chs上传的数据；当uavs完成所有数据收集点的收集任务后返回dc进行数据卸载。
3.根据权利要求2所述的一种基于多智能体机器学习的无人机辅助数据收集方法，其特征在于：在所述s2中，提供无人机群总能耗优化方案，该方案联合优化sns聚类、dcps位置、uavs路径，以最小化uavs总能耗。
4.根据权利要求2所述的一种基于多智能体机器学习的无人机辅助数据收集方法，其特征在于...
【专利技术属性】
技术研发人员：黄晓舸，王凌志，刘洪世迪，陈前斌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。