一种基于协同监督的海面小行人检测方法技术

本发明专利技术公开一种基于协同监督的海面小行人检测方法，包括以下步骤：预处理小行人检测数据集，划分为训练集和测试集；根据人工标注的目标包围框生成小行人中心点标签、中心点精度偏移标签以及中心点到包围框上下左右边界的垂直距离标签；在训练过程中，根据预测的中心点精度偏移，自适应地调整中心点到包围框垂直距离标签，促使检测框回归任务协同优化；前向传播计算三种标签对应的损失，以特定的权重进行融合；损失层梯度反向传播，更新网络模型中的参数，引导模型筛选行人显著特征。本发明专利技术根据预测中心点偏移量的变化，自适应地改变中心点到包围框垂直距离标签，有效地弥补中心点预测难度高带来的检测框回归偏差，提高了模型小行人检测的能力。小行人检测的能力。小行人检测的能力。

【技术实现步骤摘要】
一种基于协同监督的海面小行人检测方法


[0001]本专利技术属于神经网络
，具体涉及一种基于协同监督的海面小行人检测方法。

技术介绍

[0002]海面小行人检测，即在海岸和海面情景下，对密集且微小的行人区域进行定位，可应用于海面搜救，海岸危险预警。相比于传统的目标检测任务有两大难点：其一，行人区域普遍较小，最小的区域面积仅为4个像素，为特征提取和检测任务设计均增加了难度。其二，海面情境下人体大部分区域被海水遮挡，且有很多仅露出头部的情况，易与波纹或其他异物混淆。海面小行人检测任务公开数据集TinyPerson，共包含746张训练集图像，786张测试集图像，数据采集自网络图像和视频片段。
[0003]目前的检测技术根据是否预设候选框，分为两大研究方向：Anchor
‑
Based和Anchor
‑
Free。Anchor
‑
Based方法以Faster RCNN,SSD,RetinaNet为代表，在网络输出的一组特征图上，为每个像素点设置一组不同尺度和宽高比的预设候选框，将检测任务简化为候选框的分类和候选框位置的优化回归。Anchor
‑
Free方法以CornerNet,FCOS,CenterNet为代表，将检测任务转化为预测检测框的关键点，采用分割的思想来解决目标检测问题，该类方法受益于FocalLoss和FPN，检测结果超过了部分Anchor
‑
Based方法。
[0004]基于中心点的小行人检测方法存在两大问题，其一表现为中心点概念的模糊，考虑到人体姿态和形态的多样性，仅以包围框的中心点作为小行人的中心点是不稳定的。其二表现为中心点到包围框的距离向量对中心点偏差具有很强的依赖性，即随着中心点偏差向量的变化，中心点到包围框的距离向量也会随之改变，考虑到在网络训练前期，中心点偏差的预测会出现较大的抖动，如采用固定的包围框宽高作为标签，会极大的增加检测框边界回归分支收敛的难度。以往的研究中不得不为检测框边界回归分支设置较小的权重，但这直接造成了模型收敛缓慢，无法得到最优解。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提供一种基于协同监督的海面小行人检测方法。该方法能够消除网络训练前期中心点位置预测不准带来的检测框回归偏差，引导检测网络模型在训练的过程中自适应地定位行人区域，加快回归分支的收敛速度，从而增大检测框与目标包围框的重叠率，提升检测性能。
[0006]本专利技术是通过以下技术方案实现的：
[0007]一种基于协同监督的海面小行人检测方法，包括以下步骤：
[0008]步骤1：预处理海面小行人检测数据集，利用滑动窗口对训练图像进行裁剪；
[0009]步骤2：对裁剪后的小行人图像做数据增强，输入特征提取网络模型；
[0010]步骤3：在海面小行人检测数据集上优化训练特征提取网络模型；
[0011]步骤4：利用步骤3的特征提取网络模型提取海面小行人图像的高维特征矩阵；
[0012]步骤5：将步骤4提取的高维特征矩阵输入小行人检测网络模型，小行人检测网络模型包括三个并行的检测分支，分别为：中心点分类分支、中心点精度偏差回归分支、以及检测框边界回归分支，其中，所述中心点分类分支用于预测行人区域中心点的位置，输出特征图上各个像素点是行人区域中心点的置信度；所述中心点精度偏差回归分支用于预测步骤3的特征提取网络模型下采样带来的中心点精度偏差；所述检测框边界回归分支用于预测由前两个分支确定的中心点位置到检测框上下左右边界的垂直距离；
[0013]步骤6：前向传播，获取中心点分类分支预测的中心点置信度信息、中心点精度偏差回归分支预测的中心点精度偏差量信息以及检测框边界回归分支预测的中心点到检测框边界的距离向量信息；
[0014]步骤7：小行人检测网络模型训练阶段，根据中心点精度偏差回归分支预测的中心点精度偏差量信息，动态的计算预测的中心点位置到目标包围框的距离向量作为检测框边界回归分支的监督信息；
[0015]步骤8：计算小行人检测网络模型的三个检测分支的损失函数，将三个检测分支的损失以权重进行融合。
[0016]步骤9：损失层梯度反向传播，同步更新特征提取模型和检测分支的权值参数；
[0017]步骤10：重复步骤4
‑
9，直至模型收敛。
[0018]在上述技术方案中，步骤1中，使用滑动窗口对图像进行裁剪，两个滑动窗口之间沿当前方向的重叠为50像素，最终所有裁剪后的子图像的大小均为宽640、高512。
[0019]在上述技术方案中，步骤2中，数据增强包括：随机缩放、随机反转、随机裁剪、颜色空间变换、减均值除方差；其中，随机裁剪为在随机缩放后的图像上进行，裁剪出宽640、高512大小的区域，如果缩放后的图像大小小于这一尺寸，填0扩充，扩充到宽640、高512。
[0020]在上述技术方案中，步骤4中，将海面小行人图像数据输入特征提取网络模型，获取特征提取网络模型的最后一层输出的特征图。
[0021]在上述技术方案中，步骤4中，输出的特征图会小于原图的大小。
[0022]在上述技术方案中，步骤7中，动态的计算预测的中心点位置到目标包围框的距离向量作为检测框边界回归分支的监督信息的公式化表示如下：
[0023][0024][0025][0026][0027]其中，分别表示预测的中心点位置到包围框上、下、左、右四条边的距离，和为目标包围框的高宽，和分别表示沿x轴和y轴方向的中心点精度偏差的真值，sx和sy分别表示沿x轴和y轴方向的中心点精度偏差的预测值。
[0028]在上述技术方案中，步骤8中，检测框边界回归分支的损失函数为L
size
,
[0029][0030]其中，分别表示预测的中心点到第k个包围框上下左右四条边的距离，t
k
,l
k
,r
k
,b
k
则表示对应的预测值，N为目标包围框的个数；
[0031]中心点预测分支采用交叉熵损失L
center
，中心点精度偏差回归分支采用L1回归损失L
offset
；
[0032]将三个并行分支计算的中心点分类损失、中心点精度偏差损失和检测框大小损失以特定的权重融合，小行人检测网络模型的损失表示如下：
[0033]L＝λ1L
center
+λ2L
offset
+λ3L
size
[0034]λ1、λ2和λ3为权重。
[0035]本专利技术的优点和有益效果为：
[0036]本专利技术中采用双回归分支协同监督的思想，在训练过程中，根据中心点偏差的预测，自适应地调整中心点到包围框的距离向量标签，保证了检测框边界回归的一致性，可以加快模型收敛速度，更加精准地捕获海面行人区域。
[0037]考虑到海面小行人区域较小，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于协同监督的海面小行人检测方法，其特征在于，包括以下步骤：步骤1：预处理海面小行人检测数据集，利用滑动窗口对训练图像进行裁剪；步骤2：对裁剪后的小行人图像做数据增强，输入特征提取网络模型；步骤3：在海面小行人检测数据集上优化训练特征提取网络模型；步骤4：利用步骤3的特征提取网络模型提取海面小行人图像的高维特征矩阵；步骤5：将步骤4提取的高维特征矩阵输入小行人检测网络模型，小行人检测网络模型包括三个并行的检测分支，分别为：中心点分类分支、中心点精度偏差回归分支、以及检测框边界回归分支，其中，所述中心点分类分支用于预测行人区域中心点的位置，输出特征图上各个像素点是行人区域中心点的置信度；所述中心点精度偏差回归分支用于预测步骤3的特征提取网络模型下采样带来的中心点精度偏差；所述检测框边界回归分支用于预测由前两个分支确定的中心点位置到检测框上下左右边界的垂直距离；步骤6：前向传播，获取中心点分类分支预测的中心点置信度信息、中心点精度偏差回归分支预测的中心点精度偏差量信息以及检测框边界回归分支预测的中心点到检测框边界的距离向量信息；步骤7：小行人检测网络模型训练阶段，根据中心点精度偏差回归分支预测的中心点精度偏差量信息，动态的计算预测的中心点位置到目标包围框的距离向量作为检测框边界回归分支的监督信息；步骤8：计算小行人检测网络模型的三个检测分支的损失函数，将三个检测分支的损失以权重进行融合；步骤9：损失层梯度反向传播，同步更新特征提取模型和检测分支的权值参数；步骤10：重复步骤4
‑
9，直至小行人检测网络模型收敛。2.根据权利要求1所述的基于协同监督的海面小行人检测方法，其特征在于：步骤1中，使用滑动窗口对图像进行裁剪，两个滑动窗口之间沿当前方向的重叠为50像素，最终所有裁剪后的子图像的大小均为宽640、高512。3.根据权利要求1所述的基于协同监督的海面小行人检测方法，其特征在于：步骤2中，数据增强包括：随机缩放、随机反转、随机裁剪、颜色空...

【专利技术属性】
技术研发人员：盛晓颖，王恺，李涛，
申请(专利权)人：南开大学，
类型：发明
国别省市：