无人机视觉跟踪方法技术

本申请提供一种无人机视觉跟踪方法

【技术实现步骤摘要】
无人机视觉跟踪方法、系统、无人机及可读存储介质


[0001]本专利技术涉及无人机控制
，尤其涉及一种无人机视觉跟踪方法
、
系统
、
无人机及可读存储介质
。

技术介绍

[0002]随着技术的不断进步，无人机在民用和军用领域均得到广泛应用
。
而固定翼无人机具有航行速度快
、
航时长等优点，被广泛应用于地面目标的跟踪上
。
[0003]通常采用在无人机上搭载视觉传感器的方式，获取地面目标的图像信息，进而实现对目标的跟踪
。
其中，视觉传感器可以为云台相机
。
现有技术在对无人机进行控制的时候，需要建立无人机的模型和云台的模型，并且，需要云台姿态将与无人机姿态耦合，使得解耦的难度较大
。

技术实现思路

[0004]本申请提供一种无人机视觉跟踪方法
、
系统
、
无人机及可读存储介质，不需要建立无人机的模型和云台的模型，也不需要解耦
。
[0005]本申请提供一种无人机视觉跟踪方法，包括：
[0006]获取无人机所固联的云台上相机采集的目标图像；
[0007]识别被跟踪目标在所述目标图像中相对于图像中心区域的相对偏移位置；
[0008]根据所述相对偏移位置，得到所述无人机及所述云台的控制量信息；
[0009]根据所述控制量信息，以所述图像中心区域为基准，联合控制所述无人机及所述云台以使所述被跟踪目标处于所述图像中心区域
。
[0010]进一步的，所述根据所述相对偏移位置，得到所述无人机及云台的控制量信息，包括：
[0011]将所述相对偏移位置
、
云台当前位姿，飞行信息及无人机的位姿，输入至无人机控制模型，输出得到所述无人机及云台的控制量信息；其中，所述无人机控制模型是采用视觉信息和无人机飞行环境的物理参数形成的目标图像样本训练得到的
。
[0012]进一步的，所述方法还包括：采用如下方式，训练得到所述无人机控制模型：通过域随机化方法，对模拟环境中的视觉信息和无人机飞行环境的物理参数进行随机化，增大无人机控制模型的样本量；以及，基于强化学习算法，利用所增大后的样本量进行无人机控制模型的训练，得到所述无人机控制模型；所述无人机控制模型用于迁移到真实的所述无人机
。
[0013]进一步的，所述将所述相对偏移位置
、
云台当前位姿，飞行信息及无人机的位姿，输入至无人机控制模型，输出得到所述无人机及云台的控制量信息，包括：
[0014]将所述相对偏移位置，云台当前位姿，飞行信息及无人机的位姿，作为强化学习算法的观测量；
[0015]将无人机偏航角速度及云台目标位姿，作为所述强化学习算法的动作；
[0016]将所述相对偏移位置的平方作为所述强化学习算法中的奖励函数的惩罚项；
[0017]将所述无人机的航行速度，作为所述奖励函数的奖励项；
[0018]利用所述观测量
、
所述动作及所述奖励函数，通过所述强化学习算法，得到所述无人机及所述云台的控制量信息
。
[0019]进一步的，所述利用所述观测量
、
所述动作及所述奖励函数，通过所述强化学习算法，得到所述无人机及所述云台的控制量信息，包括：
[0020]在所述观测量和所述动作的条件下，多次迭代确定所述奖励函数的奖励值；
[0021]通过多次迭代的所述奖励值，选择累计奖励值最大对应的状态空间和动作空间，作为所述控制量信息
。
[0022]进一步的，所述无人机为固定翼无人机；
[0023]所述云台搭载单目相机；所述云台具有两自由度，所述云台用于通过调整俯仰角和偏航角跟踪目标；
[0024]将所述云台固联在所述固定翼无人机上
。
[0025]进一步的，所述识别被跟踪目标在所述目标图像中相对于图像中心区域的相对偏移位置，包括：
[0026]使用轻量化模型将所述目标图像划分为多个网格单元；所述多个网格单元对包含该网格的目标的检测和定位；
[0027]利用所述多个网格单元，估计目标标签和与所述目标标签对应的目标出现在网格单元的各单元格中的概率分布；
[0028]依据所述概率分布进行非极大值抑制，得到目标的目标检测结果；所述目标检测结果包括目标的大小和中心位置；
[0029]接收用户针对所述目标图像的所述目标选定的感兴趣目标，作为被跟踪目标；
[0030]跟踪所述被跟踪目标在所述目标图像中的当前图像帧相对于图像中心区域的相对偏移位置
。
[0031]进一步的，所述轻量化模型包括使用
YOLO
算法的网络结构，其中，所述网络结构包含
24
个卷积层和2个全连接层；
[0032]所述使用轻量化模型将所述目标图像划分为多个网格单元，包括：
[0033]通过所述
YOLO
算法，采用所述卷积层，提取所述目标图像的图像特征；
[0034]所述利用所述多个网格单元，估计目标标签和与所述目标标签对应的目标出现在网格单元的各单元格中的概率分布，包括：
[0035]通过所述全连接层对所述图像特征进行预测，将所述图像特征转换为所述目标的预测值；所述预测值包括目标的边界坐标及所述目标对应的目标标签的概率
。
[0036]进一步的，所述跟踪所述被跟踪目标在所述目标图像中的当前图像帧相对于图像中心区域的相对偏移位置，包括：
[0037]采用核相关滤波算法，根据所述目标图像中的当前图像帧的信息以及之前图像帧的信息，确定相关信息；
[0038]利用所述相关信息，与新获取的所述当前图像帧之后的图像帧进行相关性计算，得到所述被跟踪目标的跟踪结果
。
[0039]本申请的提供一种无人机视觉跟踪系统，包括：
[0040]目标图像获取模块，用于获取无人机所固联的云台上相机采集的目标图像；
[0041]相对偏移位置识别模块，用于识别被跟踪目标在所述目标图像中相对于图像中心区域的相对偏移位置；
[0042]控制量信息确定模块，用于根据所述相对偏移位置，得到所述无人机及所述云台的控制量信息；
[0043]联合控制模块，用于根据所述控制量信息，以所述图像中心区域为基准，联合控制所述无人机及所述云台以使所述被跟踪目标处于所述图像中心区域
。
[0044]本申请的提供一种无人机，包括一个或多个处理器，用于实现如上任一项所述的方法
。
[0045]本申请的提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现如上任一项所述的方法
。
[0046]在一些实施例中，本申请的无人机视觉跟踪方法，获取无人机所固联的云台上相机采集的目标图像；识别被跟踪目标在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种无人机视觉跟踪方法，其特征在于，包括：获取无人机所固联的云台上相机采集的目标图像；识别被跟踪目标在所述目标图像中相对于图像中心区域相对偏移位置；根据所述相对偏移位置，得到所述无人机及所述云台的控制量信息；根据所述控制量信息，以所述图像中心区域为基准，联合控制所述无人机及所述云台以使所述被跟踪目标处于所述图像中心区域
。2.
如权利要求1所述的无人机视觉跟踪方法，其特征在于，所述根据所述相对偏移位置，得到所述无人机及云台的控制量信息，包括：将所述相对偏移位置
、
云台当前位姿，飞行信息及无人机的位姿，输入至无人机控制模型，输出得到所述无人机及云台的控制量信息；其中，所述无人机控制模型是采用视觉信息和无人机飞行环境的物理参数形成的目标图像样本训练得到的
。3.
如权利要求2所述的无人机视觉跟踪方法，其特征在于，所述方法还包括：采用如下方式，训练得到所述无人机控制模型：通过域随机化方法，对模拟环境中的视觉信息和无人机飞行环境的物理参数进行随机化，增大无人机控制模型的样本量；以及，基于强化学习算法，利用所增大后的样本量进行无人机控制模型的训练，得到所述无人机控制模型；所述无人机控制模型用于迁移到真实的所述无人机
。4.
如权利要求2所述的无人机视觉跟踪方法，其特征在于，所述将所述相对偏移位置
、
云台当前位姿，飞行信息及无人机的位姿，输入至无人机控制模型，输出得到所述无人机及云台的控制量信息，包括：将所述相对偏移位置，云台当前位姿，飞行信息及无人机的位姿，作为强化学习算法的观测量；将无人机偏航角速度及云台目标位姿，作为所述强化学习算法的动作；将所述相对偏移位置的平方作为所述强化学习算法中的奖励函数的惩罚项；将所述无人机的航行速度，作为所述奖励函数的奖励项；利用所述观测量
、
所述动作及所述奖励函数，通过所述强化学习算法，得到所述无人机及所述云台的控制量信息
。5.
如权利要求4所述的无人机视觉跟踪方法，其特征在于，所述利用所述观测量
、
所述动作及所述奖励函数，通过所述强化学习算法，得到所述无人机及所述云台的控制量信息，包括：在所述观测量和所述动作的条件下，多次迭代确定所述奖励函数的奖励值；通过多次迭代的所述奖励值，选择累计奖励值最大对应的状态空间和动作空间，作为所述控制量信息
。6.
如权利要求1至5任一项所述的无人机视觉跟踪方法，其特征在于，所述无人机为固定翼无人机；所述云台搭载单目相机；所述云台具有两自由度，所述云台用于通过调整俯仰角和偏航角跟踪目标；将所述云台固联在所述固定翼无...

【专利技术属性】
技术研发人员：王沛东，陈付幸，王令，
申请(专利权)人：之江实验室，
类型：发明
国别省市：