本发明专利技术涉及一种基于EStag和SORT的昆虫多个体跟踪方法和系统，属于昆虫的多目标追踪领域。包括：设计多个不同二维平面标记EStag并分别粘贴在多个目标昆虫身上；采集多个体昆虫视频进行帧图像处理，得到图像数据集；其中，所述多个体昆虫视频包括针对所述多个目标昆虫录制的视频和针对多个非目标昆虫录制的视频；使用所述图像数据集训练得到昆虫目标检测模型，所述昆虫目标检测模型用于基于输入的帧图像进行昆虫个体识别；基于包含所述多个目标昆虫的视频，基于昆虫目标检测模型，使用融合EStag的SORT多目标跟踪算法实现对所述多个目标昆虫的多个体跟踪。本发明专利技术方法检测效率高、精度高，可以实现对多个昆虫的长期稳定的视觉跟踪。踪。踪。
【技术实现步骤摘要】
一种基于EStag和SORT的昆虫多个体跟踪方法和系统
[0001]本专利技术属于昆虫的多目标追踪领域，尤其涉及一种基于EStag和SORT的昆虫多个体跟踪方法和系统。
技术介绍
[0002]社会性昆虫通常被作为模式生物来理解从遗传、发育到社会行为的各种生命过程。当在实验中研究多只社会性昆虫时，最基本的挑战就是收集不同昆虫个体随时间变化的空间位置信息。一种流行的方法时给实验昆虫做人工标记(标签、剪翅)，进行长期的视觉跟踪，耗费时间和精力、难度大，而且随着实验样本增加，跟踪效率显著下降；基于深度学习的检测和重识别也是非常热门的视觉跟踪方法，检测精度高、速度快，但是错误容易在视频帧之间传播，不适合处理时间跨度较大的跟踪任务。
技术实现思路
[0003]鉴于上述的分析，本专利技术旨在提供一种基于EStag和SORT的昆虫多个体跟踪方法和系统，通过深度卷积网络检测昆虫个体位置，基于检测框识别贴在昆虫身上的标记EStag，结合SORT多目标跟踪算法，实现对多个昆虫的视觉跟踪。
[0004]一方面，本专利技术提供了一种基于EStag和SORT的昆虫多个体跟踪方法，具体包括如下步骤：
[0005]设计多个不同二维平面标记EStag并分别粘贴在多个目标昆虫身上；
[0006]采集多个体昆虫视频进行帧图像处理，得到图像数据集；其中，所述多个体昆虫视频包括针对所述多个目标昆虫录制的视频和针对多个非目标昆虫录制的视频；
[0007]使用所述图像数据集训练得到昆虫目标检测模型，所述昆虫目标检测模型用于基于输入的帧图像进行昆虫个体识别；
[0008]基于包含所述多个目标昆虫的视频，基于昆虫目标检测模型，使用融合EStag的SORT多目标跟踪算法实现对所述多个目标昆虫的多个体跟踪。
[0009]进一步的，所述基于包含所述多个目标昆虫的视频，基于昆虫目标检测模型，使用融合EStag的SORT多目标跟踪算法实现对所述多个目标昆虫的多个体跟踪包括：
[0010]基于所述昆虫目标检测模型确定多个目标昆虫在当前帧的检测框；
[0011]基于包含所述多个目标昆虫的视频中的前一帧，使用线性速度模型卡尔曼滤波器进行多个目标昆虫的位置预测获得多个目标昆虫在当前帧的预测框；
[0012]用融合了IOU和EStag相似度的度量指标代替SORT算法的IOU对所述预测框和检测框进行关联匹配，实现对所述多个目标昆虫的多个体跟踪，其中，IOU为SORT跟踪算法中预测框和检测框的相似度度量指标。
[0013]进一步的，所述融合了IOU和EStag相似度的度量指标的计算公式为：
[0014]S＝λ1IOU+λ2S
t
；
[0015]其中，S为融合了IOU和EStag相似度的度量指标，表示预测框和检测框的相似程
度，St表示预测框和检测框中的EStag相似度，λ1和λ2分别为权重系数，λ2＞λ1。
[0016]进一步的，所述二维平面标记EStag为二维码；所述预测框和检测框中的EStag相似度的计算公式为：
[0017][0018]其中，hamming distance表示计算相似度的两个EStag的二维码矩阵的汉明距离。
[0019]进一步的，所述二维平面标记EStag的设计方法包括：每个二维码中心由唯一的4
×
4的16位的0、1编码矩阵组成，矩阵周围依次填充一层白色像素和一层黑色像素边界；所述16位编码由10位标识位和6位循环冗余校验码组成。
[0020]进一步的，所述二维平面标记EStag的设计方法还包括：
[0021]二维码只在一个方向有效；
[0022]黑、白像素各自占比均不少于二维码的四分之一；
[0023]所有有效二维码两两之间的汉明距离均不小于3。
[0024]进一步的，所述昆虫目标检测模型为将YOLOv5s模型剪枝后得到的YOLOv5s
‑
slim模型，所述剪枝包括去掉YOLOv5s的多尺度特征图预测和剪掉YOLOv5s的BottleneckCSP模块。
[0025]另一方面，本专利技术还提供了一种基于EStag和SORT的昆虫多个体跟踪系统，包括：
[0026]模型训练模块，用于使用基于采集到的多个体昆虫视频得到的图像数据集，训练所述昆虫目标检测模型得到训练好的昆虫目标检测模型；
[0027]视觉跟踪模块，用于基于训练好的昆虫目标检测模型，使用融合EStag的SORT多目标跟踪算法实现对所述多个目标昆虫的多个体跟踪，得到多个体昆虫在不不同帧的位置信息。
[0028][0029]进一步的，所述昆虫目标检测模型为将YOLOv5s模型剪枝后得到的YOLOv5s
‑
slim模型，所述剪枝包括去掉YOLOv5s的多尺度特征图预测和剪掉YOLOv5s的BottleneckCSP模块。
[0030]进一步的，所述融合EStag的SORT多目标跟踪算法的相似度度量指标为：
[0031]S＝λ1IOU+λ2St；
[0032]其中，S表示预测框和检测框的相似程度，IOU为SORT跟踪算法中预测框和检测框的相似度度量指标，S
t
表示预测框和检测框中的EStag相似度，λ1和λ2分别为权重系数，λ2＞λ1。
[0033]本专利技术至少可以实现下述之一的有益效果：
[0034]通过将EStag标记信息作为高置信度的表征信息融入到SORT算法当中，基于目标检测模型的检测框对EStag识别，使得EStag识别速度更快，同时利用ESTag有效的维持个体身份；而当EStag无法正确识别时，融合算法可退化为原始的SORT算法；两者的融合实现了
多目标昆虫的长期、稳定的跟踪。
[0035]通过对YOLOv5模型剪枝得到的更轻量级的YOLOv5s
‑
slim模型作为基于EStag和SORT的昆虫多个体跟踪方法的目标检测模型，在保持精度的前提下，显著的提升了目标检测的推断速度。
[0036]通过使用本专利技术设计的二维平面标记EStag，可以用较低的分辨率和很小的像素边长使得标记缩小到足够小且能被正确识别，可以适合体积较小的昆虫，实施方便；并且能同时对150只昆虫进行标记，满足对昆虫的多目标追踪需求。
[0037]通过提供基于EStag和SORT的昆虫多个体跟踪系统，可以支持用户对多个昆虫进行更加方便的观察和获取个体特征和群体特征。
[0038]本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。
附图说明
[0039]附图仅用于示出具体实施例的目的，而并不认为是对本专利技术的限制，在整个附图中，相同的参考符号表示相同的部件；
[0040]图1为本专利技术方法流程图；
[0041]图2为二本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于EStag和SORT的昆虫多个体跟踪方法，其特征在于，包括如下步骤：设计多个不同二维平面标记EStag并分别粘贴在多个目标昆虫身上；采集多个体昆虫视频进行帧图像处理，得到图像数据集；其中，所述多个体昆虫视频包括针对所述多个目标昆虫录制的视频和针对多个非目标昆虫录制的视频；使用所述图像数据集训练得到昆虫目标检测模型，所述昆虫目标检测模型用于基于输入的帧图像进行昆虫个体识别；基于包含所述多个目标昆虫的视频，基于昆虫目标检测模型，使用融合EStag的SORT多目标跟踪算法实现对所述多个目标昆虫的多个体跟踪。2.根据权利要求1所述的跟踪方法，其特征在于，所述基于包含所述多个目标昆虫的视频，基于昆虫目标检测模型，使用融合EStag的SORT多目标跟踪算法实现对所述多个目标昆虫的多个体跟踪包括：基于所述昆虫目标检测模型确定多个目标昆虫在当前帧的检测框；基于包含所述多个目标昆虫的视频中的前一帧，使用线性速度模型卡尔曼滤波器进行多个目标昆虫的位置预测获得多个目标昆虫在当前帧的预测框；用融合了IOU和EStag相似度的度量指标代替SORT算法的IOU对所述预测框和检测框进行关联匹配，实现对所述多个目标昆虫的多个体跟踪，其中，IOU为SORT跟踪算法中预测框和检测框的相似度度量指标。3.根据权利要求2所述的跟踪方法，其特征在于，所述融合了IOU和EStag相似度的度量指标的计算公式为：S＝λ1IOU+λ2S
t
；其中，S为融合了IOU和EStag相似度的度量指标，表示预测框和检测框的相似程度，S
t
表示预测框和检测框中的EStag相似度，λ1和λ2分别为权重系数，λ2＞λ1。4.根据权利要求3所述的跟踪方法，其特征在于，所述二维平面标记EStag为二维码；所述预测框和检测框中的EStag相似度的计算公式为：其中，hamming distance表示计算相似度的两个EStag的二维码矩阵的汉明距离。5.根据权利要求4所述的跟踪方法，其特征在于，所述二维平面标...
【专利技术属性】
技术研发人员：葛瑨，王宪辉，吴承市，刘小峰，兰恒敬，
申请(专利权)人：中国科学院动物研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。