一种抵御随机通信中断的鲁棒协同感知方法及系统技术方案

本发明专利技术提供了一种抵御随机通信中断的鲁棒协同感知方法，包括：在每个时序关键帧，对输入自身智能体的观测原始数据，使用特征编码模型提取特征；当与智能体的通信中断发生时，智能体基于自身存储的历史特征，依次通过历史特征补全模型和预测模型，预测出当前时间戳下可能的融合特征；将融合特征视为一个虚拟智能体的特征，进行信息共享和特征融合，将虚拟智能体的特征与自身智能体当前的感知特征及其他当前可以正常通信的智能体的特征进行融合，获得融合结果；使用特征解码模型将融合结果进行解码，得到感知结果

【技术实现步骤摘要】
一种抵御随机通信中断的鲁棒协同感知方法及系统


[0001]本专利技术设计信号处理
，特别涉及一种抵御随机通信中断的鲁棒协同感知方法及系统
。

技术介绍

[0002]感知是机器人系统的关键部分，吸引了广泛领域的极大关注
。
随着传感器和感知算法的快速发展，智能体的感知能力在过去的十年中取得了巨大的进步
。
然而，由于感知范围有限，单智能体感知从根本上受到限制
。
例如，对于单个智能体，远距离感知和实际的遮挡场景带来的问题几乎不可能被解决
。
为了解决这些问题，协同感知技术被提出，使相邻的智能体能够彼此共享信息，这样每个智能体都可以感知视线和视野之外的环境
。
随着这种思路被越来越多的人所采纳，一些有效的协同感知方法被渐渐提出，也验证了协同感知的有效性
。
[0003]然而，协作感知的成功不仅取决于精心设计的协作策略，还取决于理想的通信条件
。
不幸的是，现实世界中的通信很少是完美的
。
尽管通信技术正在不断发展，一些基本问题仍然不可避免
。
例如，随机中断是由通信信道不稳定
、
设备故障等环境因素引起的常见通信问题之一
。
在这种情况下，任意两个智能体之间的通信链路都可能以一定的概率中断
。
因此，智能体要通过一个不完整的通信图进行通信，缺少部分节点，只能共享部分信息，这将严重影响协作性能
。
遗憾的是，大多数关于协作感知的研究并没有考虑到通讯中断的情况
。

技术实现思路

：
[0004]本专利技术针对上述现有技术中存在的问题，提出一种对抗通信中断的鲁棒协同感知
(IA
‑
RCP)
方法及系统
。
[0005]本专利技术的技术方案为，一种抵御随机通信中断的鲁棒协同感知方法，包括：
[0006]在每个时序关键帧，对输入的自身智能体的观测原始数据，使用特征编码模型提取其特征；
[0007]当与某一或者某些智能体的通信中断发生时，智能体基于自身存储的历史特征，依次通过历史特征补全模型和预测模型，预测出当前时间戳下可能的融合特征，作为因通信中断丢失而恢复的信息；
[0008]将所述恢复的信息视为来自于一个虚拟智能体的特征，进行信息共享和特征融合，将所述虚拟智能体的特征与自身智能体当前的感知特征及其他当前可以正常通信的智能体的特征一起进行融合，获得融合结果；
[0009]使用特征解码模型将所述融合结果进行解码，得到感知结果
。
[0010]优选地，所述在每个时序关键帧，对输入的自身智能体的观测原始数据，使用特征编码模型提取其特征，包括：使用特征提起编码模型
E(
·
)
提取任意智能体
a
i
的原始观测为
X
i
，得到特征
F
i
，关系式为
F
i
＝
E(X
i
)。
[0011]优选地，所述历史特征的获取，包括：
[0012]在过去的任意关键帧，所述智能体的特征由所述特征编码模型确定并进行信息共享；
[0013]使用权重计算模型
M(
·
)
基于每对智能体的特征计算得到每个特征的空间注意权重，并基于空间注意权重进行聚合得到融合特征
H
i
，关系式为：
[0014][0015][0016]其中
F
j
→
i
表示
F
j
从智能体
a
j
的自身坐标系被转化到智能体
a
i
的自身坐标系后的特征，而
m
j
→
i
代表的是在聚合期间特征
F
j
→
i
的空间注意权重；
[0017]任意智能体
a
i
存储其过去
k
个关键帧的融合特征，表示为以及每个关键帧各融合前特征的融合权重
[0018]利用相对位姿信息，将所述过去
k
个关键帧的融合特征转换到当前时间
t
的坐标系，得到用于信息恢复过程的历史特征，关系式为
[0019][0020]其中，上标部分的
t
‑
τ
→
t
表示从
t
‑
τ
时刻坐标系到
t
时刻坐标系的坐标变换，
ξ
(t
‑
τ
→
t)
是基于智能体
a
i
在两个不同时间点的位姿信息的变换函数
。
[0021]优选地，所述历史特征补全模型，对过去的有可能缺失部分信息关键帧的所述不完整历史特征进行补全，包括：
[0022]根据距离当前时刻最远的关键帧特征预测其在下一个关键帧的状态，并将其与在下一个时间点
t
‑
k+1
接收到的特征进行聚合以获得完善后时间点
t
‑
k+1
的特征，并不断重复，直至补全所有历史特征；
[0023]所述补全历史特征的关系式为：
[0024][0025][0026]其中
S
为一个预测模型，用于预测给定输入特征在下一关键帧时刻的状态；在完成补全过程之后，将所有历史特征连结得到
[0027]优选地，利用一个预测模型
P(
·
)
，基于得到的补全后的历史特征，预测当前时刻
t
的特征状态
C
i
，关系式为：
[0028][0029]P(
·
)
与
S(
·
)
的网络结构相同，但输入维度不同，
S(
·
)
的输入为单一时刻的特征，而
P(
·
)
的输入为连结起来的所有历史特征
。
[0030]优选地，将所述特征
C
i
视为来自一个虚拟智能体的特征，和其他在当前时刻
t
收到的来自其他智能体的特征以及智能体
a
i
自身特征一起进行聚合，得到
t
时刻的融合特征关系式为：
[0031][0032]优选地，所述使用特征解码模型将所述融合结果进行解码，得到感知结果，包括：通过一个特征解码模型
D(
·
)
，将融合特征解码并得到最终的感知结果具体关系式为：
[0033]优选地，还包括：空间注意力掩膜约本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种抵御随机通信中断的鲁棒协同感知方法，其特征在于，包括：在每个时序关键帧，对输入每个智能体的观测原始数据，使用特征编码模型提取其特征；当与至少一个智能体的通信中断发生时，智能体基于自身存储的历史特征，依次通过历史特征补全模型和预测模型，预测出当前时间戳下可能的融合特征，作为因通信中断丢失而恢复的信息；将所述恢复的信息视为来自于一个虚拟智能体的特征，将所述虚拟智能体的特征与自身智能体当前的感知特征及其他当前可以正常通信的智能体的特征一起进行融合，获得融合结果；使用特征解码模型将所述融合结果进行解码，得到感知结果
。2.
根据权利要求1所述的一种抵御随机通信中断的鲁棒协同感知方法，其特征在于，所述在每个时序关键帧，对输入的自身智能体的观测原始数据，使用特征编码模型提取其特征，包括：使用特征提起编码模型
E(
·
)
提取任意智能体
a
i
的原始观测为
X
i
，得到特征
F
i
，关系为
F
i
＝
E(X
i
)。3.
根据权利要求2所述的一种抵御随机通信中断的鲁棒协同感知方法，其特征在于，所述历史特征的获取，包括：在过去的任意关键帧，所述智能体的特征由所述特征编码模型确定并进行信息共享；使用权重计算模型
M(
·
)
基于每对智能体的特征计算得到每个特征的空间注意权重，并基于所述空间注意权重进行聚合得到融合特征
H
i
，关系为：，关系为：其中
F
j
→
i
表示
F
j
从智能体
a
j
的自身坐标系被转化到智能体
a
i
的自身坐标系后的特征，而
m
j
→
i
代表的是在聚合期间特征
F
j
→
i
的空间注意权重；任意智能体
a
i
存储其过去
k
个关键帧的融合特征，表示为以及每个关键帧各融合特征的融合权重利用相对位姿信息，将所述过去
K
个关键帧的融合特征转换到当前时间
t
的坐标系，得到用于信息恢复过程的历史特征，关系为其中，上标部分的
t
‑
τ
→
t
表示从
t
‑
τ
时刻坐标系到
t
时刻坐标系的坐标变换，
ξ
(t
‑
τ
→
t)
是基于智能体
a
i
在两个不同时间点的位姿信息的变换函数
。4.
根据权利要求3所述的一种抵御随机通信中断的鲁棒协同感知方法，其特征在于，所述历史特征补全模型，对过去的有可能缺失部分信息关键帧的不完整的所述历史特征进行补全，包括：根据距离当前时刻最远的关键帧特征预测其在下一个关键帧的状态，并将其与在下一个时间点
t
‑
k+1
接收到的特征进行聚合以获得完善后时间点
t
‑
k+1
的特征，
并不断重复，直至补全所有历史特征；所述补全历史特征的关系式为：
τ
＝
1,2,
…
,k
‑1其中
S(
·

【专利技术属性】
技术研发人员：陈思衡，任顺利，张文军，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：