低照度条件下快速移动目标多视角协同跟踪方法及装置制造方法及图纸

本发明专利技术公开了一种低照度条件下快速移动目标多视角协同跟踪方法及装置，所述方法包括低照度条件下快速移动目标多视角跟踪算法和无人机集群协同跟踪算法；利用无人机搭载的毫米波雷达传感器、RGB视觉传感器与红外视觉传感器进行多源环境感知；通过三时空异构对齐算法将多源感知数据在时间和空间维度上归一化；将时空归一化后的多源融合感知数据输入多源融合感知特征计算网络进行当前帧下被追踪目标的世界坐标计算；将计算结果与上一帧的计算结果进行对比，判断被追踪目标在世界坐标系下的位置和移动方向的变化；通过集群通信共享被追踪目标的世界坐标信息，使用多智能体强化学习进行无人机集群的轨迹制定与更新，实现无人机集群协同跟踪。机集群协同跟踪。机集群协同跟踪。

【技术实现步骤摘要】
低照度条件下快速移动目标多视角协同跟踪方法及装置


[0001]本专利技术涉及无人机目标跟踪
，特别涉及一种低照度条件下快速移动目标多视角协同跟踪方法及装置。

技术介绍

[0002]近年来，无人机技术得到快速发展，与深度学习、强化学习等人工智能技术的结合，使得无人机技术能够完成多种任务。同时，因为无人机具有小巧灵活、自主智能等特点，被广泛运用于民用、军事等领域中，例如位置场景的定位建图、路径规划等。在无人机的各类应用领域中，目标跟踪是大部分任务的核心，无人机目标跟踪任务受制于场景的复杂性以及追踪目标的多变性，使得目标特征提取以及模型建立存在困难，对追踪性能提出了巨大挑战。
[0003]传统目标追踪技术多采用视觉数据作为目标追踪的数据来源，但是在低照度场景下，这类数据大多会出现视觉信息模糊、目标特征包含信息量不足等缺陷，从而严重影响最终的追踪性能；另一方面，基于无人机的目标追踪方法大都采用单体无人机进行相关目标追踪，在诸如地下洞穴等复杂环境中极易因为障碍物遮挡和地形突变导致目标丢失。

技术实现思路

[0004]针对上述问题，本专利技术的目的在于提供一种低照度条件下快速移动目标多视角协同跟踪方法及装置，在低照度场景中，部署无人机集群，并为每台无人机配备相应的多源融合感知器件，作为多视角融合数据来源，在无人机集群中任意一个智能体完成目标定位后，使用多智能体强化学习算法实现协同跟踪，达到低照度条件下快速移动目标多视角协同跟踪的目的。
[0005]为解决上述技术问题，本专利技术的实施例提供如下方案：
[0006]一方面，提供了一种低照度条件下快速移动目标多视角协同跟踪方法，所述方法包括低照度条件下快速移动目标多视角跟踪算法和无人机集群协同跟踪算法；
[0007]所述低照度条件下快速移动目标多视角跟踪算法包括以下步骤：
[0008]利用无人机搭载的包括毫米波雷达传感器、RGB视觉传感器与红外视觉传感器在内的传感器进行多源环境感知；
[0009]通过三时空异构对齐算法将不同传感器接收到的多源感知数据在时间和空间维度上归一化；
[0010]将时空归一化后得到的多源融合感知数据输入多源融合感知特征计算网络进行当前帧下被追踪目标的世界坐标计算；
[0011]将计算结果与上一帧的计算结果进行对比，判断被追踪目标在世界坐标系下的位置和移动方向的变化；
[0012]所述无人机集群协同跟踪算法包括以下步骤：
[0013]通过集群通信共享被追踪目标的世界坐标信息，使用多智能体强化学习进行无人
机集群的轨迹制定与更新，保证被追踪目标处在无人机感知范围的中心，实现无人机集群协同跟踪。
[0014]优选地，所述三时空异构对齐算法具体包括：
[0015]首先，对传感器采集的多源感知数据进行预处理；对于毫米波雷达传感器的感知数据，剔除包括静止目标、空目标在内的无效数据；对于RGB视觉传感器与红外视觉传感器的感知数据，进行图像去噪，突出目标特征；
[0016]之后，对去噪后的RGB视觉传感器与红外视觉传感器的感知数据进行时空对齐，由于二者在同一无人机上的视角方向相对固定，因此使用机器学习方法中的SIFT算子进行对齐；
[0017]在此基础上，以RGB视觉传感器的感知数据为依据，对毫米波雷达传感器的感知数据进行校准；对于时间异构性，以毫米波雷达的感知数据采样频率为基准，进行雷视时间校准，对于空间异构性，根据两种传感器的实际部署位置进行统一坐标系的建立，构建各自坐标系与世界坐标系之间的转换关系；最后完成三种感知数据的时空异构对齐。
[0018]优选地，在完成数据预处理之后，使用三时空异构对齐算法进行多源感知数据的尺度归一化；以RGB视觉传感器的感知数据所在的空间尺度以及时间纬度为基准，将红外视觉传感器与毫米波雷达传感器的感知数据分别对齐；
[0019]对于红外视觉传感器与RGB视觉传感器的感知数据对齐，由于二者相对于无人机机体本身固定，视角变化浮动较小，因此使用SIFT算子进行标定，将RGB视觉传感器感知数据的空间参数固定，使用同一时间纬度下的红外视觉传感器感知数据作为输入，输出得到像素对齐的红外视觉传感器感知数据；在时间纬度上，二者采用相同的采样频率进行对齐；
[0020]对于毫米波雷达传感器与RGB视觉传感器的感知数据对齐，对于二者的时间校准，将RGB视觉传感器采样频率作为时间基准，每次采样发送一个脉冲频率，中控在接收到该脉冲频率后在毫米波雷达传感器采样中进行帧数确定作为采样结果，达到时间校准的目的；对于二者空间校准，需要统一坐标系，将雷达视频定义为求解一个特征矩阵[x,y,1]T
，采集4对目标的雷达物理坐标与视频左边进行标定，之后建立雷达与世界坐标系的标定关系，其转换关系计算公式如下：
[0021][0022]其中(x,y)为雷达检测目标坐标，(x',y')为转换后的世界坐标，Δ为相关坐标轴之间的缩放关系，α和β表示对应坐标轴的平移量，θ表示坐标系旋转角度。
[0023]优选地，所述多源融合感知特征计算网络是卷积神经网络，包含各传感器的特征提取模块、特征融合模块以及目标位置预测模块；
[0024]特征提取模块对各个传感器的感知数据进行目标特征提取，将完成提取的特征送入特征融合模块得到多源融合感知特征，最后根据目标位置预测模块计算出目标在当前帧的位置，并根据拍摄该目标的无人机的传感器相对位置向世界坐标系进行转换，得到目标在当前世界坐标系中的位置。
[0025]优选地，在特征提取模块，针对三种传感器感知数据搭建特征提取网络，使用轻量化的CSPDarknet53网络进行RGB视觉传感器感知数据和红外视觉传感器感知数据的特征提取，使用轻量化的VGG
‑
13网络进行毫米波雷达传感器感知数据的特征提取，将毫米波雷达
传感器输入感知数据转换为与RGB视觉传感器感知数据大小相同的雷达特征；
[0026]在特征融合模块，将三种传感感知数据的特征进一步处理后拼接为一个复合向量，计算公式为：
[0027]F
fusion
＝σ(f
radar
+f
RGB
+f
IR
)
[0028]f
*
＝W2·
τ(W1·
τ(W0(AvgPool(F*
)
)))
[0029]式中σ和τ代表Sigmoid激活函数和ReLU激活函数，W0、W1和W2为网络权重参数，F
*
为特征图，f
radar
为提取的雷达特征，f
RGB
为提取的RGB视觉特征，f
IR
为提取的红外视觉特征，F
fusion
为融合特征，f
*
为拼接的特征图；
[0030]经过拼接后的特征图送入目标位置预测模块进行目标位置的确定；之后根据RGB视觉传感器坐标系与世界坐标系之间的转换关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低照度条件下快速移动目标多视角协同跟踪方法，其特征在于，所述方法包括低照度条件下快速移动目标多视角跟踪算法和无人机集群协同跟踪算法；所述低照度条件下快速移动目标多视角跟踪算法包括以下步骤：利用无人机搭载的包括毫米波雷达传感器、RGB视觉传感器与红外视觉传感器在内的传感器进行多源环境感知；通过三时空异构对齐算法将不同传感器接收到的多源感知数据在时间和空间维度上归一化；将时空归一化后得到的多源融合感知数据输入多源融合感知特征计算网络进行当前帧下被追踪目标的世界坐标计算；将计算结果与上一帧的计算结果进行对比，判断被追踪目标在世界坐标系下的位置和移动方向的变化；所述无人机集群协同跟踪算法包括以下步骤：通过集群通信共享被追踪目标的世界坐标信息，使用多智能体强化学习进行无人机集群的轨迹制定与更新，保证被追踪目标处在无人机感知范围的中心，实现无人机集群协同跟踪。2.根据权利要求1所述的照度条件下快速移动目标多视角协同跟踪方法，其特征在于，所述三时空异构对齐算法具体包括：首先，对传感器采集的多源感知数据进行预处理；对于毫米波雷达传感器的感知数据，剔除包括静止目标、空目标在内的无效数据；对于RGB视觉传感器与红外视觉传感器的感知数据，进行图像去噪，突出目标特征；之后，对去噪后的RGB视觉传感器与红外视觉传感器的感知数据进行时空对齐，由于二者在同一无人机上的视角方向相对固定，因此使用机器学习方法中的SIFT算子进行对齐；在此基础上，以RGB视觉传感器的感知数据为依据，对毫米波雷达传感器的感知数据进行校准；对于时间异构性，以毫米波雷达的感知数据采样频率为基准，进行雷视时间校准，对于空间异构性，根据两种传感器的实际部署位置进行统一坐标系的建立，构建各自坐标系与世界坐标系之间的转换关系；最后完成三种感知数据的时空异构对齐。3.根据权利要求2所述的照度条件下快速移动目标多视角协同跟踪方法，其特征在于，在完成数据预处理之后，使用三时空异构对齐算法进行多源感知数据的尺度归一化；以RGB视觉传感器的感知数据所在的空间尺度以及时间纬度为基准，将红外视觉传感器与毫米波雷达传感器的感知数据分别对齐；对于红外视觉传感器与RGB视觉传感器的感知数据对齐，由于二者相对于无人机机体本身固定，视角变化浮动较小，因此使用SIFT算子进行标定，将RGB视觉传感器感知数据的空间参数固定，使用同一时间纬度下的红外视觉传感器感知数据作为输入，输出得到像素对齐的红外视觉传感器感知数据；在时间纬度上，二者采用相同的采样频率进行对齐；对于毫米波雷达传感器与RGB视觉传感器的感知数据对齐，对于二者的时间校准，将RGB视觉传感器采样频率作为时间基准，每次采样发送一个脉冲频率，中控在接收到该脉冲频率后在毫米波雷达传感器采样中进行帧数确定作为采样结果，达到时间校准的目的；对于二者空间校准，需要统一坐标系，将雷达视频定义为求解一个特征矩阵[x,y,1]
T
，采集4对目标的雷达物理坐标与视频左边进行标定，之后建立雷达与世界坐标系的标定关系，其
转换关系计算公式如下：其中(x,y)为雷达检测目标坐标，(x',y')为转换后的世界坐标，Δ为相关坐标轴之间的缩放关系，α和β表示对应坐标轴的平移量，θ表示坐标系旋转角度。4.根据权利要求2所述的照度条件下快速移动目标多视角协同跟踪方法，其特征在于，所述多源融合感知特征计算网络是卷积神经网络，包含各传感器的特征提取模块、特征融合模块以及目标位置预测模块；特征提取模块对各个传感器的感知数据进行目标特征提取，将完成提取的特征送入特征融合模块得到多源融合感知特征，最后根据目标位置预测模块计算出目标在当前帧的位置，并根据拍摄该目标的无人机的传感器相对位置向世界坐标系进行转换，得到目标在当前世界坐标系中的位置。5.根据权利要求4所述的照度条件下快速移动目标多视角...

【专利技术属性】
技术研发人员：何斌，吉祥鑫，李刚，程斌，王志鹏，张朋朋，周艳敏，朱忠攀，蒋烁，朱晗，李鑫，
申请(专利权)人：同济大学，
类型：发明
国别省市：