基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统技术方案

本发明专利技术属于无人机技术领域，公开了一种基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统，使用HOG+SVM对图片中的目标进行检测；然后通过设计孪生网络感受野大小、网络总步长和特征填充这三个重要影响因素改进AlexNet网络结构，并加入平滑矩阵和背景抑制矩阵，有效的利用前几帧的特征；融合多层特度特征元素在线学习目标外观变化及背景抑制，并使用连续的视频序列训练。本发明专利技术利用动态孪生网络保证精度和实时跟踪的平衡，使用动态更新网络快速学习目标外观变化，充分利用目标时空信息，有效解决漂移和目标遮挡等问题。本发明专利技术选择更深网络获取目标特征，使用外观学习和背景抑制来进行动态跟踪，有效增加鲁棒性。

Method and system of dynamic updating visual tracking aerial photography based on rotorcraft robot

【技术实现步骤摘要】
基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
本专利技术属于无人机
，尤其涉及一种基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统。
技术介绍
目前，最接近的现有技术：无人机(UnmannedAerialVehicle,UAV)是通过无线电遥控设备或程序控制装置操纵的不载人飞行器，能够在无人干预的情况下自主的完成飞行任务。军事上，由于旋翼飞行机器人体积小、机动性强且易于控制等特点，使其能在极端环境下作业，因此在反恐防爆、交通监控与抗震救灾中得到广泛的应用。民用领域中，无人机可以用于高空拍摄、行人检测等领域。旋翼飞行机器人在执行特定任务时，通常需要对特定的目标进行跟踪飞行，实时传送目标的信息到地面站。因此，基于视觉的旋翼飞行机器人的跟踪飞行得到广泛的关注，成为当前的研究热点。旋翼飞行机器人的跟踪飞行指的是低空飞行的旋翼飞行机器人上搭载相机，实时获取地面移动目标的图像帧序列，计算目标的图像坐标将其作为视觉伺服控制的输入，得到飞行器所需要的速度，进而自动控制旋翼飞行机器人的位置与姿态，实现被跟踪的地面移动目标维持在相机的视野中心附近。传统的孪生网络跟踪方法实时性较好，但是出现目标遮挡导致目标丢失后加上背景较复杂或光照的影响时，仍以第一帧作为标准参考将可能出现无法正确跟踪目标的情况。针对旋翼飞行机器人航拍过程中出现的遮挡、目标的外观变化、跟踪器漂移及背景因素干扰等影响，导致目标丢失的情况。综上所述，现有技术存在的问题是：(1)现有旋翼飞行机器人航拍过程中出现的遮挡、光照及背景因素干扰等影响，容易导致漂移、目标丢失等情况。(2)现有技术中，跟踪器提取特征基本使用的是AlexNet网络，采用更深的CIResNet网络能提取关于目标更深层次的特征，以便跟踪器在搜索区域中锁定目标并减少复杂背景的影响。(3)尽管现有的孪生网络跟踪器运行帧率很高，但它的框架里没有更新部分，意味着跟踪器不能快速应对目标或背景的剧烈变化，可能在一些情况下导致跟踪漂移。解决上述技术问题的难度：目标外观在跟踪过程中发生剧烈变化时，使用颜色特征和轮廓特征辨别搜索区域中目标位置的方法可能会失效。跟踪过程中如果对每一帧都进行重新检测或使用阈值判断其是否出现跟踪丢失的情况会增大运算时间。使用CIResNet网络进行特征提取可以获得更多特征信息，但由于相比于AlexNet网络而言CIResNet网络更深，会导致跟踪器帧率轻微下降。解决上述技术问题的意义：使用更深的网络提取特征能提升跟踪精度，能提高跟踪器的整体性能。动态更新部分使跟踪器的鲁棒性上升，跟踪器不再只学习第一帧的特征信息，而是不断学习前一帧跟踪结果，使跟踪器适应目标的变化。CIResNet网络能有效提取更多样本特征，跟踪器能学习到目标更多特征信息，适应复杂背景能力上升。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统。本专利技术是这样实现的，一种基于旋翼飞行机器人的动态更新视觉跟踪航拍方法，包括以下步骤：步骤一，利用HOG特征提取算法和支持向量机算法SVM对输入的图像进行目标检测；步骤二，将目标检测得到的目标框信息传递给视觉跟踪部分，采用基于CIResNet网络的动态更新孪生网络对目标进行实时跟踪。进一步，步骤一中，目标检测方法为：(1)将图像分割成若干个连通区域，为8×8像素细胞单元；(2)采集细胞单元中各像素点的梯度幅值和梯度方向，把[-90°,90°]的梯度方向平均划分为9个区间(bin)，并使用梯度幅值作为权重；(3)对单元内每个像素的梯度幅值在各个方向bin区间进行直方图统计，得到一个一维的梯度方向直方图；(4)在空间块上对直方图进行对比度归一化；(5)通过检测窗口提取HOG描述子，将检测窗口中所有块的HOG描述子组合起来形成最终的特征向量；(6)将特征向量输入线性SVM，使用SVM分类器进行目标检测；(7)检测窗口划分为重叠的块，对这些块计算HOG描述子，形成的特征向量放到线性SVM中进行目标/非目标的二分类；(8)检测窗口在整个图像的所有位置和尺度上进行扫描，并对输出的金字塔进行非极大值抑制来检测目标；步骤(4)所述对直方图进行对比度归一化的方法为：首先计算出每个直方图在这个区间的密度，然后根据这个密度对区间中的各个细胞单元做归一化。进一步，步骤一中，所述HOG特征提取方法具体包括：①将整个图像进行规范化，采用Gamma校正法对输入图像的颜色空间进行标准化；Gamma校正公式如下：f(I)＝Iγ；其中，I为图像像素值，γ为Gamma校正系数；②计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作捕获轮廓和一些纹理信息，进一步弱化光照的影响；Gx(x,y)＝H(x+1,y)-H(x-1,y)；Gy(x,y)＝H(x,y+1)-H(x,y-1)；式中，Gx(x,y)，Gy(x,y)，分别表示输入图像中像素点(x,y)处的水平方向梯度，垂直方向梯度；式中，G(x,y)，H(x,y)，α(x,y)分别表示像素点在(x,y)处的梯度幅值，像素值和梯度方向；③直方图计算：将图像划分成小的细胞单元，为局部图像区域提供一个编码；④把细胞单元组合成大的块，块内归一化梯度直方图；⑤将检测窗口中所有重叠的块进行HOG特征的收集，并结合成最终的特征向量供分类使用。进一步，步骤二对目标进行实时跟踪包括：(1)从视频序列中获取第一帧作为模板帧O1，使用当前帧获取搜索区域Zt，通过CIResNet-16网络分别获得fl(O1)和fl(Zt)；(2)网络增加变换矩阵V和变换矩阵W，这两个矩阵皆可在频域中通过FFT进行快速计算。变换矩阵V由第t-1帧的跟踪结果和第一帧目标求得，其作用在目标模板的卷积特征上，学习目标的变化使得第t时刻的模板的卷积特征近似等于第t-1时刻的模板卷积特征，使当前帧相对于前几帧的变化变得平滑；变换矩阵W由第t-1帧的跟踪结果求得，作用在第t时刻候选区域的卷积特征上，学习背景抑制以此消除目标区域中不相关的背景特征造成的影响；对于变换矩阵V和变换矩阵W，使用正则线性回归进行训练，fl(O1)和fl(Zt)通过变换矩阵后分别获得和其中“*”代表循环卷积操作，代表目标外观形态变化，得到经过当前更新后的目标模板，代表背景抑制变换，得到更适合当前的搜索模板；最终模型如下：最终模型在孪生网络的基础上加入平滑矩阵V和背景抑制W两个变换矩阵，平滑矩阵V学习前一帧的外观变化；背景抑制矩阵W消除背景中杂乱影响因子。进一步，步骤二中，基于CIResNet的动态更新孪生网络包括：(Ⅰ)通过裁剪操作后进入7×7卷积，以删除受填充影响的特征；(Ⅱ)通过步幅为2的最大本文档来自技高网...

【技术保护点】
1.一种基于旋翼飞行机器人的动态更新视觉跟踪航拍方法，其特征在于，所述基于旋翼飞行机器人的动态更新视觉跟踪航拍方法包括以下步骤：/n步骤一，利用HOG特征提取算法和支持向量机算法SVM对输入的图像进行目标检测；/n步骤二，将目标检测得到的目标框信息传递给视觉跟踪部分，采用基于CIResNet网络的动态更新孪生网络对目标进行实时跟踪。/n

【技术特征摘要】
1.一种基于旋翼飞行机器人的动态更新视觉跟踪航拍方法，其特征在于，所述基于旋翼飞行机器人的动态更新视觉跟踪航拍方法包括以下步骤：
步骤一，利用HOG特征提取算法和支持向量机算法SVM对输入的图像进行目标检测；
步骤二，将目标检测得到的目标框信息传递给视觉跟踪部分，采用基于CIResNet网络的动态更新孪生网络对目标进行实时跟踪。


2.如权利要求1所述基于旋翼飞行机器人的动态更新视觉跟踪航拍方法，其特征在于，步骤一中，目标检测方法为：
(1)将图像分割成若干个连通区域，为8×8像素细胞单元；
(2)采集细胞单元中各像素点的梯度幅值和梯度方向，把[-90°,90°]的梯度方向平均划分为9个区间(bin)，并使用梯度幅值作为权重；
(3)对单元内每个像素的梯度幅值在各个方向bin区间进行直方图统计，得到一个一维的梯度方向直方图；
(4)在空间块上对直方图进行对比度归一化；
(5)通过检测窗口提取HOG描述子，将检测窗口中所有块的HOG描述子组合起来形成最终的特征向量；
(6)将特征向量输入线性SVM，使用SVM分类器进行目标检测；
(7)检测窗口划分为重叠的块，对这些块计算HOG描述子，形成的特征向量放到线性SVM中进行目标/非目标的二分类；
(8)检测窗口在整个图像的所有位置和尺度上进行扫描，并对输出的金字塔进行非极大值抑制来检测目标；
步骤(4)所述对直方图进行对比度归一化的方法为：
首先计算出每个直方图在这个区间的密度，然后根据这个密度对区间中的各个细胞单元做归一化。


3.如权利要求1所述基于旋翼飞行机器人的动态更新视觉跟踪航拍方法，其特征在于，步骤一中，所述HOG特征提取方法具体包括：
①将整个图像进行规范化，采用Gamma校正法对输入图像的颜色空间进行标准化；Gamma校正公式如下：
f(I)＝Iγ；
其中，I为图像像素值，γ为Gamma校正系数；
②计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作捕获轮廓和一些纹理信息，进一步弱化光照的影响；
Gx(x,y)＝H(x+1,y)-H(x-1,y)；
Gy(x,y)＝H(x,y+1)-H(x,y-1)；
式中，Gx(x,y)，Gy(x,y)，分别表示输入图像中像素点(x,y)处的水平方向梯度，垂直方向梯度；






式中，G(x,y)，H(x,y)，α(x,y)分别表示像素点在(x,y)处的梯度幅值，像素值和梯度方向；
③直方图计算：将图像划分成小的细胞单元，为局部图像区域提供一个编码；
④把细胞单元组合成大的块，块内归一化梯度直方图；
⑤将检测窗口中所有重叠的块进行HOG特征的收集，并结合成最终的特征向量供分类使用。


4.如权利要求1所述基于旋翼飞行机器人的动态更新视觉跟踪航拍方法，其特征在于，步骤二对目标进行实时跟踪包括：
(1)从视频序列中获取第一帧作为模板帧O1，使用当前帧获取搜索区域Zt，通过CIResNet-16网络分别获得fl(O1)和fl(Zt)；
(2)网络增加变换矩阵V和变换矩阵W，所述两个矩阵皆在频域中通过FFT进行快速计算。变换矩阵V由第t-1帧的跟踪结果和第一帧目标求得，其作用在目标模板的卷积特征上，学习目标的变化使得第t时刻的模板的卷积特征近似等于第t-1时刻的模板卷积特征，使当前帧相对于前几帧的变化变得平滑；变换矩阵W由第t-1帧的跟踪结果求得，作用在第t时刻候选区域的卷积特征上，学习背景抑制消除目标区域中不相关的背景特征造成的影响；
对于变换矩阵V和变换矩阵W，使用正则线性回归进行训练，fl(O1)和fl(Zt)通过变换矩阵后分别获得和其中“*”代表循环卷积操作，代表目标外观形态变化，得到经过当前更新后的目标模板，代表背景抑制变换，得到更适合当前的搜索模板；最终模型如下：



最终模型在孪生网络的基础上加入平滑矩阵V和背景抑制W两个变换矩阵，平滑矩阵V学习前一帧的外观变化；背景抑制矩阵W消除背景中杂乱影响因子。


5.如权利要求1所述基于旋翼飞行机器人的动态更新视觉跟踪航拍方法，其特征在于，步骤二中，基于CIResNet的动态更新孪生网络包括：
(Ⅰ)通过裁剪操作后进入7×7卷积，以删除受填充影响的特征；
(Ⅱ)通过步幅为2的最大池化层后进入改进后的网络CIResNet单元，CIR单元阶段...

【专利技术属性】
技术研发人员：谭建豪，谭姗姗，殷旺，刘力铭，王耀南，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43