一种基于IoU的水下多目标跟踪方法技术

本发明专利技术涉及计算机视觉和水下目标跟踪技术，为基于IoU的水下多目标跟踪方法，获取水下感兴趣目标的数据集；训练并获得收敛的目标检测模型；对输入的当前图像帧进行图像增强；使用训练好的目标检测模型对增强后的图像帧进行目标检测，得到该帧的所有检测框信息和检测得分；通过场景拥挤检测算法，自适应调整目标检测的得分阈值，筛选部分检测目标，对检测目标集合划分为高、低得分检测目标集合；计算各检测目标与各运动轨迹之间的IoU得分，对检测目标与运动轨迹进行分集匹配；根据匹配结果对所有检测目标与运动轨迹进行状态转移处理，以保持检测目标ID的一致性。本发明专利技术可自适应调整检测目标的得分阈值，能有效地提高水下多目标跟踪的实时性。

An underwater multi-target tracking method based on IOU

【技术实现步骤摘要】
一种基于IoU的水下多目标跟踪方法
本专利技术涉及计算机视觉及目标跟踪技术，具体为一种基于IoU(intersection-over-union，交并比)的水下多目标跟踪方法。
技术介绍
近年来，多目标跟踪因其具有的潜在学术和商业潜力，在计算机视觉中逐渐备受关注，也在现实生活中有许多实际应用，例如视频监控、人机交互、人工智能、虚拟现实等。与单目标跟踪不同的是，这些实际需求引起了额外的一系列具有挑战性的问题，例如目标间的相似外观造成的互相影响、目标间频繁遮挡、轨道初始化和终止条件等，如何妥善处理以上问题是解决多目标跟踪的关键所在。以往的多目标跟踪算法常常只针对同一类型的目标，例如行人、车辆，很少算法关注多类型的多目标跟踪，原因在于该问题的应用场景不多，而且需要构建多类外观特征提取方法，以及进行多类目标检测，导致算法复杂度较高，速度较慢，难以满足实时需求。而且，以往在水下的多目标跟踪通常是根据声纳、传感器等手段进行非直观的定位跟踪，很少算法直接从视觉方向解决。如今随着摄影设备不断改良，水下数据集相对更容易收集获取，我们也能够直接在视频图像中对水下多个感兴趣的目标进行跟踪。现有的多目标跟踪技术根据轨迹初始化方法大部分是基于检测的在线跟踪，即在跟踪前先进行目标检测，将得到的每一帧的目标定位框作为目标轨迹的一部分，并且只使用当前帧及之前的图像帧作为跟踪线索。以往因为目标检测算法的不成熟，导致得到的目标常常回归得不够精准，从而需要算法在跟踪部分设计得更加复杂来提高跟踪准确度，例如提取目标的外观特征、运动特征、交互特征来进行相似度度量，在跟踪部分再加入检测器做周边检测等，这些过程往往需要耗费大量时间，使算法实时性大打折扣。但随着科技进步，深度学习领域飞速发展，目标检测技术也越来越成熟，我们通过目标检测能得到的目标更加准确，这为我们实现更高效便捷的跟踪器提供了基础。另外，随着深度学习的进步，越来越多的跟踪算法在特征提取阶段中融入了深度卷积神经网络，例如resnet、siamesenetwork、inceptionnetwork等，虽然这类方法能提取较鲁棒的目标外观特征，但其往往消耗大量时间，导致算法难以达到实时。而只使用人工设计的传统特征如hog、sift等作为度量目标相似性标准的算法，则在准确度上有所欠缺。因此，如何同时提高算法的准确性和实时性是亟需解决的重要挑战之一。
技术实现思路
针对现有多目标跟踪技术存在准确率与实时性难以兼顾平衡的不足，本专利技术提供一种在确保多目标跟踪准确率的同时，能极大有效地提高跟踪实时性的水下多目标跟踪算法，该算法基于IoU技术，通过场景拥挤检测算法自适应调整检测目标的得分阈值，能针对水下多分类多目标进行跟踪。本专利技术采用以下技术方案实现：基于IoU的水下多目标跟踪方法，包括以下步骤：S1、获取水下感兴趣目标的数据集，进行图像预处理、图像增强；S2、将数据集划分为训练集、测试集与验证集，训练并获得收敛的目标检测模型；S3、对输入的当前图像帧进行图像增强；S4、使用训练好的目标检测模型对S3进行增强后的图像帧进行目标检测，得到该帧的所有检测框信息和该帧的检测得分；S5、通过场景拥挤检测算法，自适应调整目标检测的得分阈值，筛选部分检测目标，同时根据检测得分对检测目标集合划分为高、低得分检测目标集合；S6、计算各检测目标与各运动轨迹之间的IoU得分；S7、根据IoU得分，对检测目标与运动轨迹进行分集匹配；S8、根据步骤S7的匹配结果对所有检测目标与运动轨迹进行状态转移处理，以保持检测目标ID的一致性。本专利技术相对于现有技术，具有如下的优点及效果：1、本专利技术对多类别的多个目标跟踪过程，没有复杂的特征提取方法，线上不使用深度学习神经网络，通过场景拥挤检测算法自适应调整检测目标的得分阈值，结合IoU度量方法，对水下多分类多目标进行跟踪；能达到简单高效，实时性高，同时保持较高的准确率的效果。2、针对水下的多分类多目标跟踪，方向新颖，所需硬件要求不高，也有实际应用价值，可用于实际应用中，如海洋生物研究、水下探测、水下捕捞等工作。附图说明图1是本专利技术的多目标跟踪流程图；图2是yolov3网络结构示意图；图3是任务分配过程中匹配算法的集合轨迹状态转移示意图。具体实施方式下面通过附图及实施例对本专利技术作进一步详细的描述，但本专利技术的实施方式并不限于此。本专利技术基于IoU的水下多目标跟踪方法，包括目标检测部分的准备流程以及某一帧多目标跟踪部分的流程。其中，目标检测部分包括以下步骤S1-S2，某一帧多目标跟踪部分如图1所示，包括以下步骤S3-S8：S1、获取水下感兴趣目标的数据集，进行图像预处理、图像增强等操作；S2、将数据集划分为训练集、测试集与验证集，然后选用合适的卷积神经网络作为backbone进行线下训练，最终获得收敛的目标检测模型；S3、对输入的当前图像帧进行图像增强；S4、使用训练好的目标检测模型对步骤S3增强后的图像帧进行目标检测，得到该帧的所有检测框信息以及该帧的检测得分；S5、通过场景拥挤检测算法，自适应调整目标检测的得分阈值，筛选部分检测目标，同时根据检测得分对检测目标集划分为高、低得分检测目标集合；S6、计算各检测目标与各运动轨迹之间的IoU得分；S7、根据IoU得分，对检测目标与运动轨迹进行基于匈牙利匹配的分集匹配；S8、根据步骤S7的匹配结果对所有检测目标与运动轨迹进行状态转移处理，包括运动轨迹初始化与终止等，以保持检测目标ID的一致性。上述步骤S1、S3中的图像增强主要针对水下环境的视频而言，与陆地上拍摄的普通图像不同，复杂的水下成像环境和光照条件导致目前水下成像系统拍摄的图像往往具有对比度低、纹理模糊、颜色失真、非均匀光照、可视范围有限等质量退化问题。同时考虑到算法实时性需求，因此，本专利技术主要使用基于加权L1正则化的水下图像清晰化算法来进行图像增强，以解决上述问题，如公式(1)所示：其中，Sc、分别表示为c通道的颜色信息、均值、均方差、最大值以及最小值；θc表示调整图像动态范围的参数，通常根据图像基调统计信息来取值，如果图像基调统计信息为蓝则取[2.3,1,1]，如果图像基调统计信息为绿则取[2,1.3,0.5]。在步骤S2中，本专利技术首先随机打乱数据集，然后按照7：2：1的比例划分训练集、测试集与验证集；接着对训练集进行数据增强，包括采用裁剪、旋转、平移、形变、遮挡等操作，以此来缓解水下数据集较少的问题。在卷积神经网络backbone的选择上，考虑到本专利技术在目标检测部分需要有较高准确度的需求，而yolov3具有多尺度、高效准确、同时可轻量简便等特点，并且它在COCO、VOC等多个目标检测公开数据集的实验结果优越、性能卓越，所以本实施例选择yolov3作为训练卷积神经网络backbone，其网络结构如图2所示。另外，在训练过程中，本专利技术对比了迁移本文档来自技高网...

【技术保护点】
1.一种基于IoU的水下多目标跟踪方法，其特征在于，包括以下步骤：/nS1、获取水下感兴趣目标的数据集，进行图像预处理、图像增强；/nS2、将数据集划分为训练集、测试集与验证集，训练并获得收敛的目标检测模型；/nS3、对输入的当前图像帧进行图像增强；/nS4、使用训练好的目标检测模型对S3进行增强后的图像帧进行目标检测，得到该帧的所有检测框信息和该帧的检测得分；/nS5、通过场景拥挤检测算法，自适应调整目标检测的得分阈值，筛选部分检测目标，同时根据检测得分对检测目标集合划分为高、低得分检测目标集合；/nS6、计算各检测目标与各运动轨迹之间的IoU得分；/nS7、根据IoU得分，对检测目标与运动轨迹进行分集匹配；/nS8、根据步骤S7的匹配结果对所有检测目标与运动轨迹进行状态转移处理，以保持检测目标ID的一致性。/n

【技术特征摘要】
1.一种基于IoU的水下多目标跟踪方法，其特征在于，包括以下步骤：
S1、获取水下感兴趣目标的数据集，进行图像预处理、图像增强；
S2、将数据集划分为训练集、测试集与验证集，训练并获得收敛的目标检测模型；
S3、对输入的当前图像帧进行图像增强；
S4、使用训练好的目标检测模型对S3进行增强后的图像帧进行目标检测，得到该帧的所有检测框信息和该帧的检测得分；
S5、通过场景拥挤检测算法，自适应调整目标检测的得分阈值，筛选部分检测目标，同时根据检测得分对检测目标集合划分为高、低得分检测目标集合；
S6、计算各检测目标与各运动轨迹之间的IoU得分；
S7、根据IoU得分，对检测目标与运动轨迹进行分集匹配；
S8、根据步骤S7的匹配结果对所有检测目标与运动轨迹进行状态转移处理，以保持检测目标ID的一致性。


2.根据权利要求1所述的水下多目标跟踪方法，其特征在于，步骤S5中场景拥挤检测算法对第t帧的场景拥挤检测计算公式为：



其中，ρd表示检测得分阈值，α表示预设得分阈值偏移值，numr表示检测框与轨迹框发生重叠的个数，num表示检测框总数，β表示预设的最低检测框总数值。


3.根据权利要求2所述的水下多目标跟踪方法，其特征在于，所述α设为0.2，β设为10。


4.根据权利要求1-3中任一项所述的水下多目标跟踪方法，其特征在于，步骤S5中根据检测得分对检测目标集合划分为高、低得分检测目标集合时，对第t帧的检测分集公式为：
Dhigh＝{sd≥max(savg,smed),d∈D}
Dlow＝{sd＜max(savg,smed)∪sd＞ρd,d∈D}
其中，Dhigh和Dlow分别表示高得分检测目标集合和低得分检测目标集合，D表示检测目标总集合，sd表示检测目标d的得分，savg和smed分别表示检测得分总集合的平均值和中位数。


5.根据权利要求4所述的水下多目标跟踪方法，其特征在于，步骤S6中计算各检测目标与各运动轨迹之间的IoU得分时，计算第t帧的检测目标d与运动轨迹k之间的IoU的公式为...

【专利技术属性】
技术研发人员：纪庆革，余浩强，吴箫，林鹏，
申请(专利权)人：中山大学，广东海启星海洋科技有限公司，
类型：发明
国别省市：广东;44