一种基于小样本学习的多目标濒危动物跟踪方法技术

本发明专利技术属于计算机视觉技术领域，特别涉及一种基于小样本学习的多目标濒危动物跟踪方法，该方法包括：将待检测的视频进行全采样得到视频帧序列；对视频帧进行预处理，将所有预处理后的视频帧输入到小样本目标检测器中，得到待检测视频中目标的位置信息和类别信息；将目标位置信息输入到特征提取网络中，提取每个目标的表征信息；采用卡尔曼滤波预测目标在后续视频帧中的位置，得到运动特征；将表征信息和运动特征进行融合，并通过IOU匹配和级联匹配完成数据关联，实现多目标跟踪；本发明专利技术设计了一种基于小样本学习的多目标跟踪模型，采用该模型能对不存在大量样本的濒危动物在使用少量训练数据进行训练的情况下实现同时对多个濒危动物准确快速的跟踪。个濒危动物准确快速的跟踪。个濒危动物准确快速的跟踪。

【技术实现步骤摘要】
一种基于小样本学习的多目标濒危动物跟踪方法


[0001]本专利技术属于计算机视觉
，特别涉及一种基于小样本学习的多目标濒危动物跟踪方法。

技术介绍

[0002]多目标跟踪(Multiple Object Tracking,MOT)的主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持每个目标的唯一ID。在实际生活中多目标跟踪与视频监控，自动驾驶等领域都有着密切的联系，这些实际需求引起了人们对MOT的极大兴趣。Zhongdao Wang等人提出了结构名为JDE(Jointly learns the Detedctor and Embedding model)的多目标跟踪范式，JDE范式将多目标跟踪中的目标检测阶段与数据关联阶段嵌入到一个网络中来实现，这使得网络可以进行端到端的学习，从而加快检测速度，目前此方法虽然可以达到SOTA，但是在存在类干扰的情况下，外貌特征无法获得具有辨别性的和准确的匹配置信度。其还将与之相对应的学习范式命名为SDE范式，即检测与数据关联是两个独立的模型，这种结构可以具有较高的性能但相对来说实时性差一些。基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于小样本学习的多目标濒危动物跟踪方法，其特征在于，针对具有稀疏性场景的濒危动物，采用基于小样本学习的多目标跟踪方法对多目标进行跟踪，包括：获取待检测的视频数据，将视频数据输入到基于小样本的多目标跟踪模型中，得到多目标跟踪结果；采用基于小样本学习的多目标跟踪模型对待检测的视频数据进行多目标跟踪的过程包括：S1：将待检测的视频进行全采样得到视频帧序列，并对每一帧进行预处理；S2：采用基于特征重加权的小样本目标检测器对预处理后的视频帧进行目标检测，得到视频帧中目标的位置信息和类别信息；S3：采用卡尔曼滤波算法对每个目标的位置信息进行处理，得到下一时刻该目标的位置信息，根据下一时刻目标的位置信息得到目标的运动特征；S4：根据视频帧中目标的位置信息从视频帧中切割出目标；采用基于小样本学习方法训练得到的特征提取网络对切割出的目标进行特征提取，获取目标的表观特征；S5：对前后帧目标的运动特征和表观特征进行数据关联，实现多目标跟踪。2.根据权利要求1所述的一种基于小样本学习的多目标濒危动物跟踪方法，其特征在于，对视频帧进行预处理过程包括：对视频进行全采样得到视频帧序列，将每一帧图像经过维纳滤波消除濒危动物在快速运动的情况下产生的运动模糊，并对滤波后的每一帧图像进行裁剪操作，得到448*448大小的消除运动模糊后的视频帧。3.根据权利要求1所述的一种基于小样本学习的多目标濒危动物跟踪方法，其特征在于，采用基于特征重加权的小样本目标检测器对预处理后的视频帧进行检测的过程包括：基于特征重加权的小样本目标检测器包括元特征提取模块、重加权模块以及一阶段检测网络；采用元特征提取模块对图像i进行特征提取得到元特征F＝D(i)；采用重加权模块获取支持集中每一个目标的全局表征ω
i
＝M(li,M
i
)，在获取目标的全局表征的过程中，采用mask通道对图像中的目标位置进行标注，使得支持集中每一张图像变为四通道(R，G，B，Mask)；将元特征和全局表征进行通道域相乘得到重加权后的元特征Mask)；将元特征和全局表征进行通道域相乘得到重加权后的元特征采用一阶段检测网络对重加权后的元特征进行视频帧中目标的位置回归和类别信息提取，得到视频帧中目标的位置信息和类别信息，其中，ω
i
表示第i个目标的全局表征；M表示重加权模块；li表示支持集数据；M
i
表示支持集中每张图像对应的四通道数据；RGB表示图像的全彩图模式，具有R\G\B三个通道，R表示red，G表示green，B表示blue；F表示元特征；N表示目标的全局表征总数。4.根据权利要求1所述的一种基于小样本学习的多目标濒危动物跟踪方法，其特征在于，采用卡尔曼滤波算法对每个目标的位置信息进行处理的过程包括：在经过小样本目标检测器之后，得到的目标位置信息和类别信息作为目标检测框，对每一个检测框使用卡尔曼滤波器预测其后续帧的位置；使用马氏距离来度量检测框与预测框之间的距离，对马氏距离进行阈值化处理；设置阈值t
(1)
，将小于指定阈值t
(1)
的马氏距离设置为关联成功。5.根据权利要求4所述的一种基于小...

【专利技术属性】
技术研发人员：丰江帆，肖欣欣，缑梦洁，王迪妮，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：