本发明专利技术公开了一种基于小样本学习的多目标跟踪算法及系统，属于视频追踪技术领域，包括以下步骤：S1：选定目标并获取其深度特征；S2：训练深度神经网络并植入边缘计算系统；S3：保存图像并记录图像及拍摄设备信息；S4：进行IoU匹配和特征相似性度量；S5：目标跟踪接力。本发明专利技术利用边缘计算实时性强的特点，降低对云中心的计算、存储和网络带宽的需求，提高视频分析的速度；结合卡尔曼滤波和深度学习技术对视频目标进行预测和跟踪，可以解决解决视频目标跟踪中需要人员值守和进行筛选等费时费力的问题。
1、随着城市建设的发展，各种视频监控设备和应用系统被应用与城市的各个主要出入口和重要路口，并逐步由主要干道向社区和街巷延伸。但是，视频监控平台需要值守人员全天候轮班值守，且对于可疑目标追踪时，需要从海量的视频中筛选目标并描绘出目标的运动轨迹，人力物力成本较高，且不能全面掌握现场状况。
2、传统的目标定位方法分为静态背景下目标定位和复杂背景下目标定位，这些定位方法都需要对背景进行估计和补偿后，将背景拼接为一个完整的背景并锁定背景区域，最终实现目标定位。
3、传统的完整多摄像头接力跟踪主要使用单摄像头进行机内跟踪后再进行多摄像头之间的交接。多摄像头之间的交接分为摄录图像之间有重叠区域的目标跟踪交接和无重叠区域的目标跟踪交接。有重叠区域的目标跟踪交接通过重叠区域进行两个摄像头之间的图像变换矩阵的计算，进而实现两个摄像头之间的目标信息映射；无重叠区域的目标跟踪交接存在视觉盲区，无法在视觉交界处实现目标的跟踪信息传递，多采用目标的特征信息进行匹配的算法实现多摄像头之间的目标信息传递和跟踪。
4、上述传统的目标定位方法依赖于环境信息或者对目标的特征需要进行手工标注，容易由于环境信息的差异对目标定位存在偏差或者手工标注特征使得目标识别出现困难，在目标定位的鲁棒性、环境适应性和准确性方面都较低，而且目标识别和定位的运算都集中运算，不能很好满足目标的跟踪实时性。因此，提出了一种基于边缘计算的视频接力跟踪方法及系统。
r/>技术实现思路
1、为解决上述技术问题，本专利技术提出一种基于小样本学习的多目标跟踪算法。
2、本专利技术的技术方案为一种基于小样本学习的多目标跟踪算法，包括以下步骤：
3、一种基于小样本学习的多目标跟踪算法，其特征在于，具体步骤如下：
4、s1：选定目标并获取其深度特征
5、将视频输入目标检测网络，提取视频中含有目标的图像形成图像集，并将图像集放入特征提取网络获得目标的深度特征；
6、s2：训练深度神经网络
7、训练深度神经网络，并将训练好的深度神经网络植入边缘计算系统中；
8、s3：确定一帧包含目标的图像并记录图像和拍摄设备信息
9、选定视频的图像流中含有目标的任一幅图像，记录图像在视频中的时间位置t1和图像的拍摄设备在监控网络中的位置p1；
10、s4：进行iou匹配和特征相似性度量
11、预测目标下一次可能出现的位置，并对检测结果和跟踪结果进行iou匹配，并对跟踪失败结果进行特征相似度度量；
12、s5：目标跟踪接力
13、以p1为原点，对监控网络的拍摄设备节点，由内而外选取在t1时间附近的视频进行目标检测，并对目标进行时间序列上的跟踪接力。
14、根据权利要求1所述的一种基于小样本学习的多目标跟踪算法，其特征在于：所述步骤s1的具体过程如下：
15、s11：将视频流输入目标检测网络，对所获得的图像集，记其中一幅图像为gt，检测目标在it中的坐标位置（xti,1，yti,1， xti,2，yti,2），其中（xti,1，yti,1）表示图像it中目标i的左上角，其中（xti,2，yti,2）表示图像it中目标i的右下角；
16、s12：根据检测到的坐标位置截取图像集的目标部分，并将截取到的目标图像输入特征提取网络获取每个目标的深度特征。
17、根据权利要求2所述的一种基于小样本学习的多目标跟踪算法，其特征在于：步骤s11中所述的目标检测网络，采用轻量级的目标检测网络nanodet进行训练得到。
18、根据权利要求2所述的一种基于小样本学习的多目标跟踪算法，其特征在于：步骤s12中所述的特征提取网络，采用能避免模型层数过多带来的梯度爆炸和梯度消失问题的resnet神经网络。
19、根据权利要求1所述的一种基于小样本学习的多目标跟踪算法，其特征在于：步骤s2的具体过程如下：将resnet神经网络提取的目标深度特征对深度神经网络进行训练，将训练好的深度神经网络植入边缘计算系统中。
20、根据权利要求5所述的一种基于小样本学习的多目标跟踪算法，其特征在于：所述的深度神经网络，使用轻量化的深度神经网络mobilenetv1。
21、根据权利要求1所述的一种基于小样本学习的多目标跟踪算法，其特征在于：所述的步骤s4的具体过程如下：
22、s41：采用卡尔曼滤波算法对目标进行跟踪预测，并检测在下一帧图像中目标的准确位置，将预测位置与检测位置进行iou匹配；
23、s42：判断步骤s41中的iou值是否大于预设阈值，对于iou值低于所设阈值的目标，对当前视频图像与相邻拍摄设备所得的视频图像进行特征相似度度量。
24、根据权利要求1所述的一种基于小样本学习的多目标跟踪算法，其特征在于：所述步骤s5的具体过程如下：对跟踪失败目标，计算其与相邻拍摄设备已存储的视频图像所获取目标的深度特征之间的相似度，并判断特征相似度最大值是否超过所预设的阈值。
25、一种基于小样本学习的多目标跟踪系统，其特征在于，采用上述的视频接力跟踪方法对视频的目标进行跟踪，包括：
26、位置和特征提取模块，用于筛选出视频中包含目标的图像帧，获取图像帧中的目标区域和及其深度特征；
27、边缘计算系统模块，用于对监控网络的拍摄节点所得视频进行边缘式计算和目标跟踪，提高监控网络目标跟踪的实时性；
28、iou模块，用于对卡尔曼滤波产生的目标预测位置和目标实际跟踪结果进行iou匹配；
29、相似性度量模块，使用欧式距离对目标预测值与实际值之间的iou区域进行相特征似性度量判断；
30、接力跟踪模块，对于目标在一幅图像g1内预测失败时，定位该图像周围相邻的拍摄设备，获取相邻拍摄设备在一定时间范围的视频形成含有目标的图像集，并对图像中的目标与图像g1中预测的目标进行特征相似度度量判断，在匹配成功后则对该目标进行跟踪；
31、中央处理模块，用于协调其他模块之间的分工合作，并进行任务的分配和信息汇总。
32、所述位置和特征提取模块、边缘计算系统模块、iou模块、相似性度量模块、接力跟踪模块均与中央处理模块存在电和信号连接。
本文档来自技高网...
【技术保护点】
1.一种基于小样本学习的多目标跟踪算法，其特征在于，具体步骤如下：
2.根据权利要求1所述的一种基于边缘计算的视频目标跟踪方法，其特征在于：所述步骤S1的具体过程如下：
3.根据权利要求2所述的一种基于小样本学习的多目标跟踪算法，其特征在于：步骤S11中所述的目标检测网络，采用轻量级的目标检测网络NanoDet进行训练得到。
4.根据权利要求2所述的一种基于小样本学习的多目标跟踪算法，其特征在于：步骤S12中所述的特征提取网络，采用能避免模型层数过多带来的梯度爆炸和梯度消失问题的ResNet神经网络。
5.根据权利要求1所述的一种基于小样本学习的多目标跟踪算法，其特征在于：步骤S2的具体过程如下：将ResNet神经网络提取的目标深度特征对深度神经网络进行训练，将训练好的深度神经网络植入边缘计算系统中。
6.根据权利要求5所述的一种基于小样本学习的多目标跟踪算法，其特征在于：所述的深度神经网络，使用轻量化的深度神经网络MobileNetV1。
7.根据权利要求1所述的一种基于边缘计算的视频目标跟踪方法，其特征在于：所述的步骤S4的具体过程如下：
8.根据权利要求1所述的一种基于小样本学习的多目标跟踪算法，其特征在于：所述步骤S5的具体过程如下：对跟踪失败目标，计算其与相邻拍摄设备已存储的视频图像所获取目标的深度特征之间的相似度，并判断特征相似度最大值是否超过所预设的阈值。
9.一种基于小样本学习的多目标跟踪算法，其特征在于，采用上述的视频接力跟踪方法对视频的目标进行跟踪，包括：
...
【技术特征摘要】
1.一种基于小样本学习的多目标跟踪算法，其特征在于，具体步骤如下：
2.根据权利要求1所述的一种基于边缘计算的视频目标跟踪方法，其特征在于：所述步骤s1的具体过程如下：
3.根据权利要求2所述的一种基于小样本学习的多目标跟踪算法，其特征在于：步骤s11中所述的目标检测网络，采用轻量级的目标检测网络nanodet进行训练得到。
4.根据权利要求2所述的一种基于小样本学习的多目标跟踪算法，其特征在于：步骤s12中所述的特征提取网络，采用能避免模型层数过多带来的梯度爆炸和梯度消失问题的resnet神经网络。
5.根据权利要求1所述的一种基于小样本学习的多目标跟踪算法，其特征在于：步骤s2的具体过程如下：将resnet神经网络提取的目标深度特征对深...
【专利技术属性】
技术研发人员：廖家设，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。