一种基于代理共享网络的多无人机单目标跟踪方法及装置制造方法及图纸

本发明专利技术公开了一种基于代理共享网络的多无人机单目标跟踪方法及装置，所述方法包括以下步骤：操纵多个无人机从不同方面对相同的目标进行拍摄和跟踪，收集得到的数据集被分为训练集和测试集；通过ASNet网络模型在多个无人机上训练共同的跟踪器，该跟踪器能有效地实时学习目标外观变换和背景抑制变换，获取多无人机模板的响应图，并采用自监督的方式融合响应图，通过视野感知融合获得跟踪结果；使用训练集训练ASNet网络模型，使用验证集测试ASNet网络模型，用户使用训练完成的ASNet网络模型获取跟踪结果。所述装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。本发明专利技术显著提高了目标的跟踪精度。

【技术实现步骤摘要】
一种基于代理共享网络的多无人机单目标跟踪方法及装置
本专利技术涉及目标跟踪领域，尤其涉及一种基于代理共享网络的多无人机单目标跟踪方法及装置。
技术介绍
目标跟踪是计算机视觉中一个长期的、基础的且具有挑战性的问题，人们已经在该领域研究长达几十年。目标跟踪分为单目标跟踪和多目标跟踪。单目标跟踪的任务定义为：给定某视频序列初始帧的目标大小与位置，预测后续帧中该目标的大小与位置。多目标跟踪的定义为：给定一个图像序列，找到图像序列中运动的物体，并将不同帧中的运动物体一一对应，然后给出不同物体的运动轨迹。受深度学习在图像分类和目标检测领域成功应用的启发，基于深度学习的目标跟踪取得了优异的性能。目前，目标跟踪领域提出了许多具有重要意义的基准数据集，如VOT[1]、OTB[2]、LaSOT[3]、UAV123[4]、Campus[5]、VisDrone-2018[6]和UAVDT[7]等。这些数据集具有高清的视频帧和丰富的注释，大大推动了目标跟踪领域的发展。基于上述数据集，涌现出大量的优秀算法，如KCF[8]、MDNet[9]、SiamFC[10]、SiamRPN++[11]等，以SiamRPN++为例，其通过SiameseNetwork(孪生神经网络)进行特征提取并通过RegionProposalNetwork(提取候选区域网络)产生候选区域实现了端到端的训练，在VOT、OTB等数据集上均取得了较好的表现。这些算法对于改良目标跟踪的性能起了重要的意义。然而，现存的数据集大多是针对单摄像头或者使用静态的传感器进行多摄像头跟踪。随着时代的发展，无人机由于灵活度高、跟踪距离长的特性引起了人们的关注，但是针对多无人机的数据集尚有所欠缺。同时，由于受到目标外观变化、遮挡物和视野外物体的影响，目前已有的单目标跟踪模型的性能常受到限制。虽然一些基于多摄像头的算法能够使用多个摄像头来评估公共子空间，起到融合多视图信息、提升模型鲁棒性的效果，但是该方法主要为多目标跟踪设计，无法直接应用到单目标跟踪中。参考文献：[1]M.Kristan,A.Leonardis,J.Matas,M.Felsberg,R.P.Pflflugfelder,L.Cehovin,T.Voj′1r,G.Hager,A.Lukezic,andetal.,“ThevisualobjecttrackingVOT2016challengeresults,”inECCVW,2016,pp.777–823.[2]Y.Wu,J.Lim,andM.-H.Yang,“Objecttrackingbenchmark,”T-PAMI,vol.37,no.9,pp.1834–1848,2015.[3]H.Fan,L.Lin,F.Yang,P.Chu,G.Deng,S.Yu,H.Bai,Y.Xu,C.Liao,andH.Ling,“Lasot:Ahigh-qualitybenchmarkforlarge-scalesingleobjecttracking,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2019,pp.5374–5383.[4]M.Mueller,N.Smith,andB.Ghanem,“AbenchmarkandsimulatorforUAVtracking,”inECCV,2016,pp.445–461.[5]A.Robicquet,A.Sadeghian,A.Alahi,andS.Savarese,“Learningsocialetiquette:Humantrajectoryunderstandingincrowdedscenes,”inECCV,2016,pp.549–565.[6]P.Zhu,L.Wen,X.Bian,H.Ling,andQ.Hu,“Visionmeetsdrones:Achallenge,”CoRR,vol.abs/1804.07437,2018.[7]D.Du,Y.Qi,H.Yu,Y.Yang,K.Duan,G.Li,W.Zhang,Q.Huang,andQ.Tian,“Theunmannedaerialvehiclebenchmark:objectdetectionandtracking,”inECCV,2018,pp.370–386.[8]D.Comaniciu,V.Ramesh,andP.Meer,“Real-timetrackingofnon-rigidobjectsusingmeanshift,”inCVPR,vol.2.IEEE,2000,pp.142–149.[9]H.NamandB.Han,“Learningmulti-domainconvolutionalneuralnetworksforvisualtracking,”inCVPR,2016,pp.4293–4302.[10]L.Bertinetto,J.Valmadre,J.F.Henriques,A.Vedaldi,andP.H.Torr,“Fully-convolutionalsiamesenetworksforobjecttracking,”inECCV.Springer,2016,pp.850–865.[11]B.Li,W.Wu,Q.Wang,F.Zhang,J.Xing,andJ.Yan,“Siamrpn++:Evolutionofsiamesevisualtrackingwithverydeepnetworks,”inCVPR,2019.
技术实现思路
本专利技术提供了一种基于代理共享网络的多无人机单目标跟踪方法及装置，本专利技术制作了第一个基于多无人机的单目标跟踪数据集，并在无人机上以自监督的方式训练一个公共的跟踪器，显著提高了目标的跟踪精度，详见下文描述：一种基于代理共享网络的多无人机单目标跟踪方法，所述方法包括以下步骤：操纵多个无人机从不同角度对相同的目标进行拍摄和跟踪，收集得到的数据集被分为训练集和测试集；通过ASNet网络模型在多个无人机上训练共同的跟踪器，该跟踪器能有效地实时学习目标外观变换和背景抑制变换，获取多无人机模板的响应图，并采用自监督的方式融合响应图，通过视野感知融合获得跟踪结果；使用训练集训练ASNet网络模型，使用验证集测试ASNet网络模型，用户使用训练完成的ASNet网络模型获取跟踪结果。其中，所述数据集包括：互不重叠的双无人机数据集和三无人机数据集，数据集中的视频序列分为若干种类和属性标签。进一步地，所述ASNet网络模型基于DSiam的网络结构，用于在多个无人机上训练一个公共的跟踪器，并进行特征提取，实时学习目标外观变换和背景抑制变换。其中，所述ASNet网络模型基于过去帧和当前帧的目标重新检测策略，具体为：当目标跟踪评分小于等于阈值时，通过从局部到全局逐步扩大搜索区域的方式重新检测可能丢失本文档来自技高网...

【技术保护点】
1.一种基于代理共享网络的多无人机单目标跟踪方法，其特征在于，所述方法包括以下步骤：/n操纵多个无人机从不同角度对相同的目标进行拍摄和跟踪，收集得到的数据集被分为训练集和测试集；/n通过ASNet网络模型在多个无人机上训练共同的跟踪器，该跟踪器能有效地实时学习目标外观变换和背景抑制变换，获取多无人机模板的响应图，并采用自监督的方式融合响应图，通过视野感知融合获得跟踪结果；/n使用训练集训练ASNet网络模型，使用验证集测试ASNet网络模型，用户使用训练完成的ASNet网络模型获取跟踪结果。/n

【技术特征摘要】
1.一种基于代理共享网络的多无人机单目标跟踪方法，其特征在于，所述方法包括以下步骤：
操纵多个无人机从不同角度对相同的目标进行拍摄和跟踪，收集得到的数据集被分为训练集和测试集；
通过ASNet网络模型在多个无人机上训练共同的跟踪器，该跟踪器能有效地实时学习目标外观变换和背景抑制变换，获取多无人机模板的响应图，并采用自监督的方式融合响应图，通过视野感知融合获得跟踪结果；
使用训练集训练ASNet网络模型，使用验证集测试ASNet网络模型，用户使用训练完成的ASNet网络模型获取跟踪结果。


2.根据权利要求1所述的一种基于代理共享网络的多无人机单目标跟踪方法，其特征在于，所述数据集包括：互不重叠的双无人机数据集和三无人机数据集，数据集中的视频序列分为若干种类和属性标签。


3.根据权利要求1所述的一种基于代理共享网络的多无人机单目标跟踪方法，其特征在于，所述ASNet网络模型基于DSiam的网络结构，用于在多个无人机上训练一个公共的跟踪器，并进行特征提取，实时学习目标外观变换和背景抑制变换。


4.根据权利要求1所述的一种基于代理共享网络的多无人机单目标跟踪方法，其特征在于，所述ASNet网络模型基于过去帧和当前帧的目标重新检测策略，具体为：
当目标跟踪评分小于等于阈值时，通过从局部到全局逐步扩大搜索区域的方式重新检测可能丢失的目标。


5.根据权利要求1所述的一种基于代理共享网络的多无人机单目标跟踪方法，其特征在于，所述采用自监...

【专利技术属性】
技术研发人员：朱鹏飞，庄剑，张重阳，郑佳宇，张轩宇，胡清华，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12