基于多智能体时空建模与决策的人机协同感知方法技术

本发明专利技术提出一种基于多智能体时空建模与决策的人机协同感知方法，包括：步骤1，启动全分布式的多智能体深度强化学习框架FD

【技术实现步骤摘要】
基于多智能体时空建模与决策的人机协同感知方法


[0001]本专利技术涉及移动群体感知
，具体涉及一种基于多智能体时空建模与决策的人机协同感知方法。

技术介绍

[0002]移动群体感知技术是物联网和人工智能相结合的前沿研究方向，它利用大量普通用户使用的移动设备作为基本感知单元，通过物联网和移动互联网进行协作，实现感知任务分发与感知数据收集利用，最终完成大规模、复杂的城市与社会感知任务，移动群体感知技术近年来催生了许多成功的商业案例，如滴滴打车和美团外卖。然而基于移动设备的移动群体感知系统往往会受到多方面的影响，如用户移动的不确定性，移动设备的质量问题，而这些因素会导致采集的数据质量低下、用户满意度差。
[0003]除了以人群为核心的移动群体感知技术，得益于无人机、无人车等无人平台技术的飞速发展，使用无人平台在城市环境中收集并传播感知数据正在成为现实，由于无人平台在城市环境中具有高效率的机动性，已被应用于航空摄影、快递、救灾等多个领域。
[0004]考虑到如今城市中人群和移动无人平台(如投送快递的无人快递车)共存的情况，人机协本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多智能体时空建模与决策的人机协同感知方法，其特征在于，包括：步骤1，启动全分布式的多智能体深度强化学习框架FD
‑
MAPPO，各无人平台清空各自的样本库，随机初始化各自的数据采集策略，以完全分布式的方式与人群协同开始数据采集任务；步骤2，各无人平台使用各自的卷积神经网络提取出各自局部观察中的空间特征；步骤3，各无人平台启动三维记忆存储映射Cubic Map，使用基于全局的卷积读取操作，从各自的三维记忆存储映射中提取全局历史信息；步骤4，各无人平台基于各自局部观察中的空间特征和从各自的三维记忆存储映射中提取的全局历史信息，使用基于上下文互相关的读取操作，根据三维记忆存储映射中的信息与局部空间特征和全局历史信息之间的互相关系数，对三维记忆存储映射中的信息进行加权；步骤5，各无人平台基于当前局部观察中的空间特征对三维记忆存储映射进行局部更新；步骤6，各无人平台基于当前局部观察中的空间特征、从各自的三维记忆存储映射中提取的全局历史信息和上下文信息，使用卷积操作生成特征向量，各无人平台结束三维记忆存储映射Cubic Map；步骤7，各无人平台基于特征向量，使用策略函数生成动作，使用价值函数生成价值估计，各无人平台执行产生的动作，获得奖励值；步骤8，反复执行步骤2
‑
7，直到本次数据采集任务结束，各无人平台基于各自的轨迹数据优化策略函数和价值函数；步骤9，反复执行步骤1
‑
8，直到人机协同数据采集效率保持稳定，结束全分布式的多智能体深度强化学习框架FD
‑
MAPPO。2.根据权利要求1所述的基于多智能体时空建模与决策的人机协同感知方法，其特征在于，步骤1中包括：步骤1.1，无人平台集群中各无人平台u清空样本库随机初始化参数θ
u
；步骤1.2，初始化时间步t＝0，开始和人机协同群智感知环境交互。3.根据权利要求1所述的基于多智能体时空建模与决策的人机协同感知方法，其特征在于，步骤2包括：步骤2.1，对于当前时间步t，人机协同群智感知环境有全局状态s
t
，各无人平台u根据其在全局空间中的位置获得相应的局部观察步骤2.2，各无人平台u使用卷积神经网络φ(
·
)提取出各自局部观察中的空间特征4.根据权利要求1所述的基于多智能体时空建模与决策的人机协同感知方法，其特征在于，步骤3中，全局历史时空信息被存储在三维记忆存储映射当中，使用基于全局的卷积读取操作，将全部存储数据视为一个整体，使用卷积神经网络来提取全局信息，如下式(1)：
式(1)中：φ
read
(
·
)代表卷积神经网络。5.根据权利要求1所述的基于多智能体时空建模与决策的人机协同感知方法，其特征在于，步骤4包括：步骤4.1、用可学习参数矩阵从当前局部空间特征和全局特征中通过卷积操作提取一个查询向量如下式(2)：式(2)中：...

【专利技术属性】
技术研发人员：刘驰，王宇，朴成哲，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：