一种通信敏感的多智能体协同方法技术

本发明专利技术提出了一种通信敏感的多智能体协同方法，应用于车联网通信技术领域。本发明专利技术方法包括：智能体利用信息过滤模块，将局部观测的消息编码为隐状态向量，即压缩过滤后的消息，在发送消息前，利用共享介质访问控制模块对消息评分，由边缘计算节点根据评分对消息价值排序，向具有topK消息价值的智能体发送确认信息，智能体收到确定后发送消息；边缘计算节点接收所有消息，利用消息蒸馏模块提取有效信息，汇总分发给各智能体；在汇总智能体消息的过程中，利用基于图信息瓶颈的图卷积汇总方式，保留智能体拓扑结构信息，并对汇总消息进行蒸馏。本发明专利技术减少了冗余和无效信息在智能体间的传输，节约了通信资源，提高多智能体的决策能力和协同效率。策能力和协同效率。策能力和协同效率。

【技术实现步骤摘要】
一种通信敏感的多智能体协同方法


[0001]本专利技术涉及车联网通信技术以及多智能体协同
，尤其涉及一种在通信资源受限场景下多智能体协同方法。

技术介绍

[0002]自动驾驶汽车的控制系统架构主要由感知模块、决策模块和控制模块构成。感知模块负责感知周围环境。在车联网的条件下，车辆即作为感知器又作为执行器。车辆即通过车载传感器感知周围环境，也利用车联网技术与其他车辆或道路设施进行交互，共享感知到的环境信息。从而协作地建立起对周围环境地完整认知。决策模块主要负责驾驶动作规划。根据感知模块获得的周围环境信息，从环境信息中提取有效信息，根据有效信息判断当前环境状态，基于环境状态做出动作规划，输出动作决策。控制模块负责将决策模块输出的动作决策转换为车辆的控制指令，其中对车辆的控制分为横向控制和纵向控制。横向控制指的是通过控制方向盘转角来控制车辆行驶的航向，纵向控制指的是通过控制车辆的油门、挡位、刹车来控制车辆的行驶速度。
[0003]在车联网环境下，车辆通过V2X(Vehicle to X)可以全面、精确的感知周围环境。自动驾驶汽车的规划系统不仅需要通过感知模块获得其他交通要素当前的状态，还需要通过V2X获得更大范围的交通状态，才能据此做出正确高效的驾驶决策规划。在车联网的基础上可以实现车辆的协同调度，实现基于通信的多智能车辆的协同。但是V2X通过无线通信的方式进行消息的传输，所以消息的传输会受到通信资源的限制，在传输过程中需要考虑通信资源限制问题。在通信资源受限的情况下，需要将需要传输的消息进行过滤压缩，并且为了提高车辆的协同效果，需要智能车辆能够从接收到的所有消息中提取出有效的信息辅助车辆做出驾驶决策。在进行信息过滤压缩的过程中，需要车辆能够从消息中分辨出哪些信息是有效信息，哪些信息是冗余信息，从而使车辆能够在消息过滤压缩的过程中保留有效信息，减少进行信息过滤压缩对智能车辆通信的影响，保证车辆协同的效果。同时，智能车辆在进行信息提取的过程中需要车辆能够从接收到的大量消息中判断出对当前车辆有效的信息，从接收到的所有消息中提取出有效的信息辅助车辆做出驾驶决策。
[0004]现有文献1(公开号为CN110471297A的中国专利技术专利)在2019年11月19日公开了一种多智能体协同控制方法、系统及设备，通过设置交互价值函数作为一种内在激励价值函数，使得每个智能体对有影响力的状态和行为点进行更频繁的探索；通过激励智能体之间的交互，促使多个智能体之间产生合作，以有效地解决复杂合作型任务。但是该技术方案中，多智能体在进行协同的过程中没有自发的通信行为，多智能体之间没有进行有效信息的即时通信，单智能体无法获得当前环境下其他智能体有效的观测信息用于辅助当前智能体进行决策。这会使智能体无法做出能够提高全局奖励的最优动作决策。
[0005]现有文献2(公开号为CN109726903A的中国专利技术专利)在2019年5月7日公开了一种基于注意力机制的分布式多智能体协同决策方法，基于注意力机制对分布式多智能体观测信息进行融合，自主发现局部信息的相互关系，为单智能体构建全局决策信息。但是该技术
方案中，在智能体之间进行通信的过程中没有考虑到通信资源的限制问题，现实环境中两个智能体之间的通信是受到当前通信资源的限制的，智能体之间的通信不满足当前环境下的带宽限制或进行通信的智能体数量太多会使智能体之间无法进行有效的通信，智能体无法接收到正确的信息。这会使智能体无法做出符合当前环境状态的最优动作决策。
[0006]现有文献3(公开号为CN108921298A的中国专利技术专利申请)在2018年11月30日公开了一种强化学习多智能体沟通与决策方法，将所有智能体的状态特征作为沟通信息输入至VLAD(局部聚合描述向量)层中进行软分配与聚类，将聚类后的沟通信息分发给各个智能体，由各个智能体将自身的状态特征与接收到的聚类后的沟通信息进行聚合，进行动作决策，进而提高智能体的决策水平。但是该技术方案中，智能体是根据接收到的聚类后的信息与自身的状态特征聚合后进行动作决策，这样会使聚合信息的过程中无法根据特定智能体所处的环境进行有针对性的信息聚合，为当前智能体提取更有效的信息，同时在进行信息传输的过程中没有考虑到现实场景中的通信资源的限制问题。这会使代智能体接收到的有效信息不足或信息冗余，无法做出符合当前环境状态的最优动作决策。
[0007]现有文献4(公开号为CN112434792A的中国专利技术专利申请)在2021年3月2日公开了一种用于多智能体系统协同通信和控制的强化学习算法，针对通过一定拓扑结构的通信网络发送和接收消息进行信息共享的多智能体系统，给出了一种强化学习算法，使多智能体系统能够通过训练，在每个智能体上构建通信策略和控制策略。但是该技术方案中，智能体之间的通信是基于固定拓扑结构的，智能体之间无法进行自由的通信，智能体不能有选择性的进行消息的发送，这会使对于特定智能体的有效信息无法直接发送给特定的智能体，无法避免智能体发送冗余信息淹没有效信息。智能体接收到信息的有效性会受到限制，不利于智能体根据接收到的信息做出最优的动作决策。
[0008]综上，现有技术中存在对现实场景中的通信资源的限制考虑不足，智能体接收到有效信息不足，不能最优动作决策的问题，因此，需要进一步考虑在通信资源受限的情况下车辆的协同通信方式，以提高车辆获取有效信息的效率以及做出更优的动作决策。

技术实现思路

[0009]针对上述现有技术存在的问题，本专利技术考虑智能车辆在有限通信资源下的通信情况，提供了一种通信敏感的多智能体协同方法，基于信息瓶颈进行信息过滤，以满足带宽限制，基于多头注意力机制进行信息蒸馏，以辅助智能体提取有效信息，基于共享介质访问控制模块对发生的信息进行评分和发送控制，以减少无效消息对通信资源的占用以及防止在接收端淹没有效消息。
[0010]本专利技术的一种通信敏感的多智能体协同方法，在自动驾驶场景，车辆作为智能体分散在协同区域中，为每个智能体设置多智能体通信模块，多智能体通信模块包括信息过滤模块、消息蒸馏模块和共享介质访问控制模块。本专利技术通信敏感的多智能体协同方法包括如下步骤：
[0011]步骤1，使用变分自动编码器VAE构建信息过滤模块，信息过滤模块将输入的智能体获得的局部观测的消息向量编码为隐状态向量，将作为压缩过滤后的消息发送出去；信息过滤模块在训练时，满足消息向量方差的约束；
[0012]步骤2，智能体在发送消息前，利用共享介质访问控制模块对消息进行评分，并发
送出去；在环境中设置边缘计算节点，边缘计算节点接收所有智能体发送来的评分，根据评分对消息价值进行排序，向具有topK消息价值的智能体发送确认信息，智能体收到确定信息后将压缩过滤后的消息发送出去；
[0013]所述共享介质访问控制模块，其分数生成层为一个全连接网络，智能体i根据消息m
i
生成的消息分数将s
i
表示为：s
i
＝Sigmoid(m
i
W
i
)，其中W<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通信敏感的多智能体协同方法，其特征在于，在自动驾驶场景，车辆作为智能体分散在协同区域中，为每个智能体设置多智能体通信模块，多智能体通信模块包括信息过滤模块、消息蒸馏模块和共享介质访问控制模块；所述方法包括如下步骤：步骤1，使用变分自动编码器VAE构建信息过滤模块，信息过滤模块将输入的智能体获得的局部观测的消息向量编码为隐状态向量，将作为压缩过滤后的消息发送出去；信息过滤模块在训练时，满足消息向量方差的约束；步骤2，智能体在发送消息前，利用共享介质访问控制模块对消息进行评分，并发送出去；在环境中设置边缘计算节点，边缘计算节点接收所有智能体发送来的评分，根据评分对消息价值进行排序，向具有topK消息价值的智能体发送确认信息，智能体收到确定信息后将压缩过滤后的消息发送出去；共享介质访问控制模块的分数生成层为一个全连接网络，智能体i根据消息m
i
生成的消息分数将s
i
表示为：s
i
＝Sigmoid(m
i
W
i
)，其中W
i
为全连接网络的参数矩阵；步骤3，边缘计算节点接收所有智能体发送出来的消息，利用消息蒸馏模块从接收的所有消息中提取有效信息；消息蒸馏模块基于多头注意力机制，产生三类向量，分别是查询向量、目标向量和值向量，基于三类向量计算注意力权重，计算接收消息的加权消息，得到有效信息；边缘计算节点对有效信息提取后，进行汇总，分发给场景中各智能体；智能体通信过程中，利用图卷积通信，保留通信过程的拓扑结构，汇总消息，同时引入图信息瓶颈对汇总消息和拓扑结构进行蒸馏，其中，对拓扑结构进行蒸馏的...

【专利技术属性】
技术研发人员：李静林，袁泉，刘丽哲，罗贵阳，李梓延，刘志晗，王尚广，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：