一种轻量化的目标检测与基于语义分割的自动跟踪方法技术

本发明专利技术公开了一种轻量化的目标检测与基于语义分割的自动跟踪方法，属于目标检测和目标跟踪技术领域。本发明专利技术首先设置了一种轻量化的目标检测网络，用于获取图像中待检测目标的坐标信息和类别结果，为后续跟踪步骤中对新目标的进入和旧目标消失的辨别做准备；进而在语义分割的目标跟踪算法的基础之上，实现对目标的自动初始化以及目标从边界进入和消失的识别；本发明专利技术可以应用于公共安全、边防巡检、农业植保、救灾救火等垂直应用领域，提升对指定目标的检测与跟踪性能。标的检测与跟踪性能。标的检测与跟踪性能。

【技术实现步骤摘要】
一种轻量化的目标检测与基于语义分割的自动跟踪方法


[0001]本专利技术涉及目标检测和目标跟踪等计算机视觉
，尤其涉及一种轻量化的目标检测与基于语义分割的自动跟踪方法。

技术介绍

[0002]随着AI智能的发展，无人机因其具备轻捷灵敏、自主智能、范围覆盖广、环境依赖低等特点，常被选作空中观测搭载平台，以协助在不同场景需求、不同作业环境下，高质高效、省时省力地完成目标任务。“无人机+”也常结合目标检测和目标跟踪等计算机视觉技术，向公共安全、边防巡检、农业植保、救灾救火等垂直应用领域发展。因此无人机与计算机视觉技术的结合，具有深远而重大地社会意义、经济效益与应用价值。
[0003]目标检测与目标跟踪作为计算机视觉的两大基础研究任务。其中，目标检测旨在利用算法来提取目标的表观特征和轮廓区域等信息，以从视频或图像序列中辨别出感兴趣目标和非感兴趣背景，是将目标定位与目标分类两个子任务二合一的技术。而目标跟踪则是通过对摄像头捕获的图像序列分析，计算并找到下一帧图像中目标的确切位置，进而为跟踪平台随动控制、视频序列分析和理解提供轨迹等信息。相较于目标检测关注目标的类别和位置，目标跟踪则更聚焦于目标的运动轨迹。但目标检测与跟踪两者技术并非分割且独立的。目标跟踪根据是否结合使用目标检测算法，划分为Detection
‑
Free Tracking和Detection
‑
Based Tracking两类：前者根据第一帧图像中给出的初始框作为目标假设展开后续跟踪；后者依赖于目标检测模型得到的目标假设，然后进行跟踪和轨迹更新。
[0004]此外，目标跟踪算法又根据实现原理划分为预测评分、边界框回归、语义分割三大类别。前两类算法在追踪目标发生较大形变时追踪框与目标框之间的IOU值大幅度下降，在追踪目标快速移动时产生追踪框漂移等现象。而基于语义分割实现像素级追踪更关注目标本身，用可旋转矩形框对目标进行标定精度更高，对于形变或运动的物体有着更为精准的追踪效果。基于语义分割实现的跟踪除了可快速获取目标的类别、位置、轨迹等基础信息外，还可根据部位分割和关键点识别等技术进一步对目标的搭载、姿态、行为意图等进行延展分析。但现有的基于语义分割实现的跟踪方法均为Detection
‑
Free Tracking方法，需依赖人工框选跟踪目标来启动模型，且模型无法识别目标从视线范围内的离开与进入。因此需要一种可搭载于移动端设备的轻量级方法，在对目标进行实时语义分割的同时还能完成自动跟踪，以克服现有方法存在的问题。

技术实现思路

[0005]本专利技术的目的在于，提供一种轻量化的目标检测方法，并将其与基于语义分割的跟踪算法相结合，得到一种可搭载部署于移动端设备且能够对目标进行实时语义分割的自动跟踪方法。
[0006]本专利技术采用的技术方案如下：
[0007]一种轻量化的目标检测与基于语义分割的自动跟踪方法，包括如下步骤：
[0008]步骤1：构建并训练轻量化的目标检测网络：
[0009]步骤1.1：以416
×
416
×
3的图像作为目标检测网络的输入，输入图像首先经过一次卷积核为3
×
3的普通卷积操作，得到208
×
208
×
32的特征层，用于后续步骤的特征提取；其中完成一次普通卷积操作由“卷积+归一化+ReLu激活函数”三步组成；
[0010]步骤1.2：步骤1.1获得的特征层作为该步骤的输入，用于对特征信息进行提取。
[0011]采用深度可分离卷积操作替代原YOLOv4的普通卷积操作，能够使得模型体积的大幅度缩减和计算量成倍的减少。完成一次深度可分离卷积操作过程如下：首先经过3
×
3的深度卷积(默认步长为1)，然后进行归一化和ReLU函数激活，继而采用1
×
1实现逐点卷积，同样进行归一化和激活操作，使得数据标准化的同时引入非线性映射以更好模拟真实的数据规律。经深度可分离卷积多次特征提取和让通道数扩增的下采样操作后，最终输出尺度分别为52
×
52
×
256、26
×
26
×
512、13
×
13
×
1024的三个有效特征层P3、P4、P5，作为后续步骤的输入。
[0012]步骤1.3：将步骤1.2中得到的特征层P3、P4、P5输入至特征增强模块，具体如下：
[0013]步骤1.3
‑
1：将步骤1.2得到的特征层P5作为该步骤的输入，依次利用四个不同尺度的池化核做最大池化进行处理，最大池化的池化核大小分别为13
×
13、9
×
9、5
×
5、1
×
1，并将池化后得到的4个特征层拼接堆叠，通过卷积核为1
×
1的普通卷积，调整为13
×
13
×
512的特征层后输出；
[0014]步骤1.3
‑
2：经过步骤1.2特征提取后得到特征层P3、P4、P5，经过步骤1.3
‑
1得到特征层，记为P6。首先将P3至P6这4个特征层依次执行3
×
3的普通卷积，使得4个特征层的通道数保持一致。继而以“P6
‑
P5
‑
P4
‑
P3”的方向完成多次上采样操作和与相邻层特征层逐点信息相加的操作，接着以“P3
‑
P4
‑
P5
‑
P6”的方向完成多次下采样操作和与相邻层特征层逐点信息相加的操作，最后得到4个特征层的输出；
[0015]步骤1.3
‑
3：步骤1.3
‑
2为完成一次双向融合网络，记为一个block。将该block的输出经3
×
3的普通卷积后，再次作为下一层block的输入，多次重复执行步骤1.3
‑
2。完成最后一次block操作后，将最终得到的4个特征层作为下一步骤的输入；
[0016]步骤1.4：若用于训练模型的数据集包含k类目标，那么对步骤1.3
‑
3输出的4个特征层，
[0017]完成卷积核为3
×
3和1
×
1的交替卷积，共计5次卷积，将4个特征层的通道数统一调整为(k+5)
×
3，用于预测结果信息的解码，即预测目标的中心点坐标、预测框的宽和高、预测框的置信度以及k类目标的编码(例如one
‑
hot编码)；
[0018]步骤1.5：对用于训练目标检测网络的数据集中的图像进行图像预处理，使图像尺寸调整为416
×
416
×
3后，对步骤步骤1.1至步骤1.4所限定的目标检测网络进行网络模型训练处理，当满足阈值的训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量化的目标检测与基于语义分割的自动跟踪方法，其特征在于，包括下列步骤：步骤1：构建并训练轻量化的目标检测网络：步骤1.1：以416
×
416
×
3的图像作为目标检测网络的输入，输入图像首先经过一次卷积核为3
×
3的普通卷积操作，得到208
×
208
×
32的特征层；其中，完成一次普通卷积操作依次包括卷积运算，批归一化和ReLu函数激活；步骤1.2：对步骤1.1获得的208
×
208
×
32的特征层进行多次深度可分离卷积操作，并将最后三次的深度可分离卷积操作输出的特征层经让通道数扩增的下采样操作后，输出尺度分别为52
×
52
×
256、26
×
26
×
512、13
×
13
×
1024的三个特征层分别标记为P3、P4、P5；其中，完成一次深度可分离卷积操作包括：首先经过3
×
3的深度卷积，然后进行批归一化和ReLU函数激活，接着采用1
×
1的卷积核实现逐点卷积，再进行批归一化和ReLU函数激活操作，得到一次深度可分离卷积操作输出的特征层；其中，深度卷积的步长设置为1；步骤1.3：将特征层P3、P4、P5输入至特征增强模块进行增强处理，具体如下：步骤1.3
‑
1：将特征层P5依次利用四个不同尺度的池化核执行最大池化处理，其中四个池化核大小分别为13
×
13、9
×
9、5
×
5、1
×
1，并将最大池化后得到的4个特征层拼接堆叠，再通过卷积核为1
×
1的普通卷积，调整为13
×
13
×
512的特征层，并记为特征层P6；步骤1.3
‑
2：将特征层P3、P4、P5和P6依次执行卷积核为3
×
3的普通卷积，使得4个特征层的通道数保持一致，继而以“P6
‑
P5
‑
P4
‑
P3”的方向完成多次上采样操作和与相邻层特征层逐点信息相加的操作，接着再以“P3
‑
P4
‑

【专利技术属性】
技术研发人员：邓建华，秦琪怡，杨杰，李龙，何佳霓，代铮，赵建恒，陶泊昊，郑凯文，苟晓攀，陈昱辰，魏卓，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：