基于大小模型切换的无人机集群动态协同推理系统及方法技术方案

本发明专利技术公开了一种基于大小模型切换的无人机集群动态协同推理系统及方法，无人机集群由多架具有计算能力的异构无人机组成，每架无人机包括：部署于每架无人机上的大模型、小模型、环境感知模块和信息反馈模块，环境感知模块与信息反馈模块连接，信息反馈模块与无人机连接，无人机分别与大模型、小模型连接；环境感知模块用于感知环境信息；信息反馈模块用于接收环境感知模块感知的环境信息，并用于与无人机的通信交流和数据传输；大模型用于根据信息反馈模块接收的环境信息进行无人机协同执行推理任务；小模型用于根据信息反馈模块接收的环境信息进行无人机单机执行推理任务，通过大小模型切换从而更好地完成推理任务。小模型切换从而更好地完成推理任务。小模型切换从而更好地完成推理任务。

【技术实现步骤摘要】
基于大小模型切换的无人机集群动态协同推理系统及方法


[0001]本专利技术属于无人机集群协同推理
，具体地，涉及一种基于大小模型切换的无人机集群动态协同推理系统及方法。

技术介绍

[0002]近年来，随着人工智能技术的发展，深度神经网络正在被广泛地应用在包括语音处理、图像识别以及自然语言处理在内的各个领域，并且取得了令人惊艳的表现。然而随着深度神经网络的复杂化，模型所需要的计算以及存储空间都增大了很多，因此对于网络训练以及推理来说都需要更多的资源。由于边缘设备的计算和存储资源往往是有限的，因此，移动设备上的大多数人工智能应用程序通常将数据发送到云服务器，由云服务器来执行模型训练以及推理任务，得到结果之后再将其返回至边缘设备。然而传统的云计算模式存在实时性不够、带宽不足、高能耗以及隐私性差的问题。
[0003]随着边缘设备计算能力以及存储空间的提升以及模型压缩与优化技术的发展，可以将对深度学习模型的推理任务从云服务器移动到边缘设备上来实现，从而有效缓解云计算模式的问题。现有的协同推理方法通常只是将高精度模型进行模型切割并将子模型部署到边缘设备上来进行推理，然而这种推理模式在无人机所处环境有干扰时会导致推理效果不佳，从而影响到实际的应用，缺少鲁棒性。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种基于大小模型切换的无人机集群动态协同推理系统及方法，在推理开始时根据无人机当前所处环境信息来选择用大模型协同推理或者小模型单机推理，从而提高模型推理对推理环境的适用性，具有现实意义与良好的应用前景。
[0005]为实现上述目的，本专利技术采用以下技术方案实现：一种基于大小模型切换的无人机集群动态协同推理系统，无人机集群由多架具有计算能力的异构无人机组成，每架无人机包括：部署于每架无人机上的大模型、小模型、环境感知模块和信息反馈模块，所述环境感知模块与信息反馈模块连接，所述信息反馈模块与无人机连接，所述无人机分别与大模型、小模型连接；
[0006]所述环境感知模块用于感知环境信息；
[0007]所述信息反馈模块用于接收环境感知模块感知的环境信息，并用于与无人机的通信交流和数据传输；
[0008]所述大模型用于根据信息反馈模块接收的环境信息进行无人机协同执行推理任务，所述大模型为高精度复杂机器学习模型；
[0009]所述小模型用于根据信息反馈模块接收的环境信息进行无人机单机执行推理任务，所述小模型为较高精度的轻量机器学习模型。
[0010]进一步地，所述环境感知模块感知的环境信息包括：当前无人机的计算能力和通
信质量。
[0011]进一步地，所述高精度复杂机器学习模型为参数量大于等于10M的深度神经网络模型。
[0012]进一步地，所述较高精度的轻量机器学习模型为参数量小于10M的深度神经网络模型。
[0013]进一步地，本专利技术还提供了一种所述基于大小模型切换的无人机集群动态协同推理系统的无人机集群动态协同推理方法，具体包括如下步骤：
[0014]步骤S1、在N架无人机的集群中，无人机i接收到推理任务需求，通过无人机i上的环境感知模块进行自身信息感知，并通过信息反馈模块将无人机i的自身信息与推理任务需求反馈给无人机集群中剩余的N
‑
1架无人机；所述无人机i的自身信息包括：无人机i的计算能力f
i
、无人机i与剩余的N
‑
1架无人机的通信质量C
i,j
,(j≠i)；
[0015]步骤S2、无人机集群中剩余的N
‑
1架无人机在接收到无人机i的自身信息与推理任务需求后，通过各自环境感知模块对自身当前环境信息进行感知，并通过信息反馈模块将自身当前环境信息反馈至无人机i；所述N
‑
1架无人机中每架无人机的自身当前环境信息包括：无人机a的计算能力f
a
,a∈[1,N],a≠i、无人机a与无人机b之间的通信质量C
a,b
,a,b∈
[0016][1,N],a≠b≠i；
[0017]步骤S3、无人机i根据推理任务需求对收到的N
‑
1架无人机的自身当前环境信息进行判断，并反馈给大模型或小模型执行推理任务。
[0018]进一步地，步骤S3中若推理任务需求有最低时延要求，则步骤S3的具体过程如下：
[0019]步骤S31、根据N
‑
1架无人机的自身当前环境信息估计无人机协同推理的最佳时延L
c
以及所需进行推理任务的Z架无人机，Z∈(1,N)；
[0020]步骤S32、根据推理任务需求估计无人机i进行单机推理的时延L
s
；
[0021]步骤S33、若L
c
≤L
s
，则将推理任务对应的大模型进行模型分割，并分配给Z架不同的无人机，由这Z架无人机来进行协同推理；若L
c
>L
s
,则由无人机i进行小模型单机推理。
[0022]进一步地，步骤S3中若推理任务需求精度为A，则步骤S3的具体过程为：将部署的小模型精度A
s
与推理任务需求精度A进行比较，若A
s
≥A，则由无人机i进行小模型单机推理，若A
s
<A,则在满足推理任务需求精度A下，根据N
‑
1架无人机的自身当前环境信息估计无人机协同推理的最佳时延L
c
以及所需进行推理任务的Z架无人机，由Z架无人机来进行协同推理，Z∈(1,N)。
[0023]进一步地，所述无人机协同推理的最佳时延L
c
的计算过程如下：将N
‑
1架无人机进行组合，根据每架无人机的计算能力获取推理时延，根据N
‑
1架无人机之间的通信质量C
a,b
,a,b∈[1,N],a≠b≠i获取通信时延，将推理时延和通信时延总和最小的作为最佳时延L
c
。
[0024]进一步地，所述无人机i与剩余的N
‑
1架无人机的通信质量C
i,j
,(j≠i)的计算过程为：
[0025][0026]其中，B
i,j
为无人机i与无人机j之间的带宽，S
i,j
为无人机i与无人机j之间信道所传信号的平均功率，M
i,j
为无人机i与无人机j之间信道内部的高斯噪声功率。
[0027]进一步地，所述无人机a与无人机b之间的通信质量C
a,b
的计算过程为：
[0028][0029]其中,B
a,b
为无人机a与无人机b之间的带宽，S
a,b
为无人机a与无人机b之间信道内所传信号的平均功率，M
a,b
为无人机a与无人机b之间信道内部的高斯噪声功率。
...

【技术保护点】

【技术特征摘要】
1.一种基于大小模型切换的无人机集群动态协同推理系统，其特征在于，无人机集群由多架具有计算能力的异构无人机组成，每架无人机包括：部署于每架无人机上的大模型、小模型、环境感知模块和信息反馈模块，所述环境感知模块与信息反馈模块连接，所述信息反馈模块与无人机连接，所述无人机分别与大模型、小模型连接；所述环境感知模块用于感知环境信息；所述信息反馈模块用于接收环境感知模块感知的环境信息，并用于与无人机的通信交流和数据传输；所述大模型用于根据信息反馈模块接收的环境信息进行无人机协同执行推理任务，所述大模型为高精度复杂机器学习模型；所述小模型用于根据信息反馈模块接收的环境信息进行无人机单机执行推理任务，所述小模型为较高精度的轻量机器学习模型。2.根据权利要求1所述的一种基于大小模型切换的无人机集群动态协同推理系统，其特征在于，所述环境感知模块感知的环境信息包括：当前无人机的计算能力和通信质量。3.根据权利要求1所述的一种基于大小模型切换的无人机集群动态协同推理系统，其特征在于，所述高精度复杂机器学习模型为参数量大于等于10M的深度神经网络模型。4.根据权利要求1所述的一种基于大小模型切换的无人机集群动态协同推理系统，其特征在于，所述较高精度的轻量机器学习模型为参数量小于10M的深度神经网络模型。5.一种权利要求1
‑
4任一项所述基于大小模型切换的无人机集群动态协同推理系统的无人机集群动态协同推理方法，其特征在于，具体包括如下步骤：步骤S1、在N架无人机的集群中，无人机i接收到推理任务需求，通过无人机i上的环境感知模块进行自身信息感知，并通过信息反馈模块将无人机i的自身信息与推理任务需求反馈给无人机集群中剩余的N
‑
1架无人机；所述无人机i的自身信息包括：无人机i的计算能力f
i
、无人机i与剩余的N
‑
1架无人机的通信质量C
i，j
，(j≠i)；步骤S2、无人机集群中剩余的N
‑
1架无人机在接收到无人机i的自身信息与推理任务需求后，通过各自环境感知模块对自身当前环境信息进行感知，并通过信息反馈模块将自身当前环境信息反馈至无人机i；所述N
‑
1架无人机中每架无人机的自身当前环境信息包括：无人机a的计算能力f
a
，a∈[1，N]，a≠i、无人机a与无人机b之间的通信质量C
a，b
，a，b∈[1，N]，a≠b≠i；步骤S3、无人机i根据推理任务需求对收到的N
‑
1架无人机的自身当前环境信息进行判断，并反馈给大模型或小模型执行推理任务。6.根据权利要求5所述的基于大小模型切换的无人机集群动态协同推理系统的无人机集群动态协同推理方法，其特征在于，步骤S3中若推理任务需求有最低时延要求，则步骤S3的具体过程如下：步骤S31、根据N
‑
1架无人机的自身当前环境信...

【专利技术属性】
技术研发人员：董超，李玉，屈毓锛，孙浩，张磊，吴启晖，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：