本申请公开了一种多智能体协同感知方法、系统、电子设备及存储介质，所属的技术领域为协同感知技术。所述多智能体协同感知方法包括：根据目标智能体获取的目标数据生成本地查询向量和本地密钥向量，将本地查询向量发送至其他智能体并接收其他智能体生成的外部查询向量；生成匹配分数矩阵并确定目标智能体的通讯群组；对目标智能体和其他智能体的中间特征进行加权融合，得到学生模型特征图；根据学生模型特征图和教师模型特征图对目标智能体进行模型训练和知识蒸馏；若接收到下游任务执行指令，则控制目标智能体与通讯群组中其他智能体进行协同感知，以便完成下游任务。本申请能够在保证智能体感知性能的前提下提高通信效率。率。率。
【技术实现步骤摘要】
一种多智能体协同感知方法、系统、电子设备及存储介质
[0001]本申请涉及协同感知
，特别涉及一种多智能体协同感知方法、系统、电子设备及存储介质。
技术介绍
[0002]通信是协调多个智能体的有效机制。在无人系统、机器人以及多智能体强化学习等领域，智能体可以通过通信来提高整体学习的性能并实现其目标。协同感知技术可以使多个智能体通过通信互补感知到的信息，促进更加全面的感知，从根本上克服单智能体感知如遮挡和远距离等不可避免的问题，提高对感知任务的整体准确性，在自动驾驶以及无人机群等领域存在一定的应用价值。
[0003]现有的协同感知方案大多是从原始数据或者感知结果层面进行协同，从原始数据层面进行早期通信协同则需要大量的通信带宽；从感知结果层面进行后期通信协同，虽然解决了通信带宽的占用问题，但难免会产生噪声影响融合结果的输出，而且训练得到的基于通信的智能体下游任务模型参数量大，对边缘计算设备的部署上线存在较大压力。
[0004]因此，如何在保证智能体感知性能的前提下提高通信效率是本领域技术人员目前需要解决的技术问题。
技术实现思路
[0005]本申请的目的是提供一种多智能体协同感知方法、系统、电子设备及存储介质，能够在保证智能体感知性能的前提下提高通信效率。
[0006]为解决上述技术问题，本申请提供一种多智能体协同感知方法，该多智能体协同感知方法包括：
[0007]根据目标智能体获取的目标数据生成本地查询向量和本地密钥向量，将所述本地查询向量发送至其他智能体并接收所述其他智能体生成的外部查询向量；
[0008]根据所述本地查询向量、所述本地密钥向量和所述外部查询向量生成匹配分数矩阵，并根据所述匹配分数矩阵确定所述目标智能体的通讯群组；其中，所述匹配分数矩阵用于描述智能体之间的连接权重；
[0009]对所述目标智能体和所述通讯群组中其他智能体的中间特征进行加权融合，得到学生模型特征图；
[0010]根据所述学生模型特征图和教师模型特征图对所述目标智能体进行模型训练和知识蒸馏；其中，所述教师模型特征图包括教师模型从原始数据层面协同感知后经过编码器得到的中间特征，所述原始数据为所述目标智能体和所有所述其他智能体在同一时刻获取的数据的拼接结果；
[0011]若接收到下游任务执行指令，则控制所述目标智能体与所述通讯群组中其他智能体进行协同感知，以便完成下游任务。
[0012]可选的，根据所述本地查询向量、所述本地密钥向量和所述外部查询向量生成匹
配分数矩阵，包括：
[0013]对所述本地查询向量和所述本地密钥向量进行相似度匹配函数的计算，得到所述目标智能体的自身匹配分数；
[0014]对所述外部查询向量和所述本地密钥向量进行相似度匹配函数的计算，得到所述目标智能体与所述其他智能体的连接权重；
[0015]基于自注意力机制根据所述自身匹配分数和所述连接权重生成所述匹配分数矩阵。
[0016]可选的，根据所述匹配分数矩阵确定所述目标智能体的通讯群组，包括：
[0017]利用激活函数对所述匹配分数矩阵进行修剪，并根据修剪后的所述匹配分数矩阵构建通讯群组。
[0018]可选的，在将所述本地查询向量发送至其他智能体之前，还包括：
[0019]将所述本地查询向量压缩为预设维度的向量。
[0020]可选的，根据所述学生模型特征图和教师模型特征图对所述目标智能体进行模型训练和知识蒸馏，包括：
[0021]根据所述学生模型特征图和所述教师模型特征图计算知识蒸馏损失；
[0022]计算所述目标智能体和所述教师模型的下游任务损失；
[0023]根据所述知识蒸馏损失和所述下游任务损失确定总损失函数，利用所述总损失函数对所述目标智能体进行模型训练和知识蒸馏。
[0024]可选的，在对所述目标智能体和所述通讯群组中其他智能体的中间特征进行加权融合之前，还包括：
[0025]利用所述目标智能体中的图像编码器对所述目标数据进行编码得到中间特征。
[0026]可选的，控制所述目标智能体与所述通讯群组中其他智能体进行协同感知，包括：
[0027]利用所述目标智能体提取当前数据的中间特征；
[0028]将所述当前数据的中间特征发送至所述通讯群组中的其他智能体，并接收所述通讯群组中的其他智能体发送的数据。
[0029]本申请还提供了一种多智能体协同感知系统，该系统包括：
[0030]向量交互模块，用于根据目标智能体获取的目标数据生成本地查询向量和本地密钥向量，将所述本地查询向量发送至其他智能体并接收所述其他智能体生成的外部查询向量；
[0031]群组确定模块，用于根据所述本地查询向量、所述本地密钥向量和所述外部查询向量生成匹配分数矩阵，并根据所述匹配分数矩阵确定所述目标智能体的通讯群组；其中，所述匹配分数矩阵用于描述智能体之间的连接权重；
[0032]特征图生成模块，用于对所述目标智能体和所述通讯群组中其他智能体的中间特征进行加权融合，得到学生模型特征图；
[0033]训练模块，用于根据所述学生模型特征图和教师模型特征图对所述目标智能体进行模型训练和知识蒸馏；其中，所述教师模型特征图包括教师模型从原始数据层面协同感知后经过编码器得到的中间特征，所述原始数据为所述目标智能体和所有所述其他智能体在同一时刻获取的数据的拼接结果；
[0034]协同感知模块，用于若接收到下游任务执行指令，则控制所述目标智能体与所述
通讯群组中其他智能体进行协同感知，以便完成下游任务。
[0035]本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述多智能体协同感知方法执行的步骤。
[0036]本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述多智能体协同感知方法执行的步骤。
[0037]本申请提供了一种多智能体协同感知方法，该多智能体协同感知方法包括：根据目标智能体获取的目标数据生成本地查询向量和本地密钥向量，将所述本地查询向量发送至其他智能体并接收所述其他智能体生成的外部查询向量；根据所述本地查询向量、所述本地密钥向量和所述外部查询向量生成匹配分数矩阵，并根据所述匹配分数矩阵确定所述目标智能体的通讯群组；其中，所述匹配分数矩阵用于描述智能体之间的连接权重；对所述目标智能体和所述通讯群组中其他智能体的中间特征进行加权融合，得到学生模型特征图；根据所述学生模型特征图和教师模型特征图对所述目标智能体进行模型训练和知识蒸馏；其中，所述教师模型特征图包括教师模型从原始数据层面协同感知后经过编码器得到的中间特征，所述原始数据为所述目标智能体和所有所述其他智能体在同一时刻获取的数据的拼接结果；若接收到下游任务执行指令，则控制所述目标智能体与所述通讯群组中其他智能体进行协同感知，以便完成下游任务。
[0038]本申请中目标智能体本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多智能体协同感知方法，其特征在于，包括：根据目标智能体获取的目标数据生成本地查询向量和本地密钥向量，将所述本地查询向量发送至其他智能体并接收所述其他智能体生成的外部查询向量；根据所述本地查询向量、所述本地密钥向量和所述外部查询向量生成匹配分数矩阵，并根据所述匹配分数矩阵确定所述目标智能体的通讯群组；其中，所述匹配分数矩阵用于描述智能体之间的连接权重；对所述目标智能体和所述通讯群组中其他智能体的中间特征进行加权融合，得到学生模型特征图；根据所述学生模型特征图和教师模型特征图对所述目标智能体进行模型训练和知识蒸馏；其中，所述教师模型特征图包括教师模型从原始数据层面协同感知后经过编码器得到的中间特征，所述原始数据为所述目标智能体和所有所述其他智能体在同一时刻获取的数据的拼接结果；若接收到下游任务执行指令，则控制所述目标智能体与所述通讯群组中其他智能体进行协同感知，以便完成下游任务。2.根据权利要求1所述多智能体协同感知方法，其特征在于，根据所述本地查询向量、所述本地密钥向量和所述外部查询向量生成匹配分数矩阵，包括：对所述本地查询向量和所述本地密钥向量进行相似度匹配函数的计算，得到所述目标智能体的自身匹配分数；对所述外部查询向量和所述本地密钥向量进行相似度匹配函数的计算，得到所述目标智能体与所述其他智能体的连接权重；基于自注意力机制根据所述自身匹配分数和所述连接权重生成所述匹配分数矩阵。3.根据权利要求1所述多智能体协同感知方法，其特征在于，根据所述匹配分数矩阵确定所述目标智能体的通讯群组，包括：利用激活函数对所述匹配分数矩阵进行修剪，并根据修剪后的所述匹配分数矩阵构建通讯群组。4.根据权利要求1所述多智能体协同感知方法，其特征在于，在将所述本地查询向量发送至其他智能体之前，还包括：将所述本地查询向量压缩为预设维度的向量。5.根据权利要求1所述多智能体协同感知方法，其特征在于，根据所述学生模型特征图和教师模型特征图对所述目标智能体进行模型训练和知识蒸馏，包括：根据所述学生模型特征图和所述教师模型特征图计算知识蒸馏损失；计算所述目标智能体和所述教师模型的下游任务损失；根据所述知识蒸馏损失...
【专利技术属性】
技术研发人员：刘瑜，宫宁，李徵，姜智卓，何友，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。