基于长尾域紧凑度的复杂场景行人检测方法技术

本发明专利技术公开了一种基于长尾域紧凑度的复杂场景行人检测方法，该方法包括以下步骤：利用训练好的检测模型获得每一个行人实例的特征向量；计算特征向量两两之间的欧式距离，对于每个实例取前K个最小的欧式距离之和作为其所处特征空间的域紧凑度，然后构建所有行人实例的域紧凑度直方图，直方图呈现长尾分布；在训练过程中，对于域紧凑度值较大的行人实例，在特征空间生成更多的正样本；根据每个样本的域紧凑度和分类损失计算对应损失的权重，优化模型对不同样本的关注度。本发明专利技术与经典方法相比，从统计学角度显式表示行人实例的检测难度，旨在提高模型对复杂场景行人检测的泛化性能。能。能。

【技术实现步骤摘要】
基于长尾域紧凑度的复杂场景行人检测方法


[0001]本专利技术属于计算机视觉和模式识别
，具体涉及一种基于长尾域紧凑度的复杂场景行人检测方法。

技术介绍

[0002]行人检测作为目标检测领域的一项子课题，在自动驾驶、视频监控等领域有着广泛的应用。目前行人检测器主要采用通用目标检测器，辅以针对行人特别设计的模块，如：Adapted Faster R
‑
CNN采用更细粒度的锚框设置和分辨率更高的特征层。然而，与目标检测相比，行人检测任务面临一些更突出的难题，例如：小尺度行人、遮挡行人、低光照等。
[0003]目前的行人检测方法大多将这些复杂场景独立对待，并提出针对性的解决方法，例如：针对尺度问题，SAF R
‑
CNN引入了多个内置子网络，分别负责检测不同尺度的行人，然后自适应地组合所有输出以生成最终检测结果；针对遮挡问题，有的工作(RepLoss、OR
‑
CNN等)提出了新的损失函数，有的生成注意力图以引导检测器更多地关注行人的可见部分。然而，在实际生活中，面临的场景通常更为复杂，尺度小、遮挡等情况往往是伴随存在的，例如：小尺度的行人通常更模糊，亮度也更暗；另一方面，随着行人的移动，其所处的情况也会发生变化，如从小尺度行人变成又小又暗的行人。因此，独立分开处理不同的场景是不符合实际的，最好有一个能够处理各种挑战并在不同场景下获得合理性能的方法。

技术实现思路

[0004]本专利技术的目的在于提供一种基于长尾域紧凑度的复杂场景行人检测方法，能够显式表征行人实例的检测难度，提高检测精度和模型泛化能力的基于长尾域紧凑度。
[0005]实现本专利技术目的的技术解决方案为：一种基于长尾域紧凑度的复杂场景行人检测方法，包括以下步骤：
[0006]步骤一、选取现有的一个两阶段行人检测器Faster RCNN进行训练，将训练集图片送入该训练好的检测模型，以获得每一个行人实例即真实标注框对应的特征向量；
[0007]步骤二、利用步骤一得到的特征向量计算欧式距离作为行人实例两两之间的相似度，对于每个实例取前K个最小的欧式距离之和作为其所处特征空间的域紧凑度；
[0008]步骤三、在训练过程中，对于域紧凑度值大于阈值的实例，在特征空间进行特征增广，以生成更多的正样本；
[0009]步骤四、每个样本的域紧凑度作为以e为底的指数函数的指数，其与分类损失之和作为对应样本损失的权重，以引导模型在训练过程中关注更复杂的行人实例。
[0010]进一步的，所述步骤一中获得的每一个行人实例的特征来自Faster RCNN检测器RCNN阶段两层全连接层后输出的向量，即分类器和回归器的输入。
[0011]进一步的，所述步骤二中计算一个实例的域紧凑度的具体方法是：计算特征向量两两之间的欧式距离作为行人实例之间的相似度，对于每个实例取前K个最小的欧式距离之和作为其所处特征空间的域紧凑度，然后构建所有行人实例的域紧凑度直方图，直方图
呈现长尾分布，域紧凑度值越大的实例数量越少，处于分布的尾部。
[0012]进一步的，所述步骤三生成新的特征样本的具体方法是：首先根据域紧凑度设定阈值，将实例划分为头部和尾部两部分子集。对于每一个处于尾部的行人实例x
t
，在将候选框与真实标注框进行正负样本匹配之后会获得对应的m个正样本然后再随机选取一个处于头部的实例x
h
，计算每个与x
h
的特征相似度，Softmax归一化后得到权重加权和即为生成的新的特征样本。
[0013]进一步的，实验数据来自CityPersons数据库。
[0014]本专利技术方法通过训练好的检测器得到每个行人实例的特征向量，从而计算出数据集中每个行人实例的域紧凑度，然后通过对困难样本在特征空间进行数据增广以及根据域紧凑度赋予样本不同的损失权重，优化训练过程。与现有行人检测器相比，本专利技术中方法有如下优势：
[0015](1)目前的方法主要通过样本损失或者梯度衡量样本的检测难度，而损失和梯度与具体的正负样本匹配方法有关，具有一定的局限性，本方法通过计算实例特征之间的相似度得到每个实例所处特征空间的域紧凑度，来表征其检测难度，与样本损失能够互补，使得样本检测难度的衡量更加准确；
[0016](2)目前行人检测方法主要关注于小尺度、遮挡等典型场景，且将这些场景独立对待，提出针对性的方法。考虑到真实生活中场景复杂，一个行人可能同时面临小尺度、严重遮挡、低光照等多种情况，且在移动过程中所处情况会发生变化；而针对某一特定场景的方法不能泛化到这样复杂的场景。本方法从整体出发，将每个行人实例的尺度、遮挡、光照等影响因素综合考虑，通过计算行人实例特征向量的域紧凑度来显式表征其检测难度，从而能够泛化到一般的复杂场景中，更具有实际的应用意义。
附图说明
[0017]图1为本专利技术的方法流程图。
[0018]图2为基于卷积神经网络的行人检测训练流程图。
[0019]图3为特征空间尾部实例增广的流程示意图。
具体实施方式
[0020]本专利技术的基于长尾域紧凑度的复杂场景行人检测方法，包括以下步骤：
[0021]步骤一、选取现有的一个两阶段行人检测器Faster RCNN进行训练，将训练集图片送入该训练好的检测模型，以获得每一个行人实例即真实标注框对应的特征向量；
[0022]步骤二、利用步骤一得到的特征向量计算欧式距离作为行人实例两两之间的相似度，对于每个实例取前K个最小的欧式距离之和作为其所处特征空间的域紧凑度；
[0023]步骤三、在训练过程中，对于域紧凑度值大于阈值的实例，在特征空间进行特征增广，以生成更多的正样本；
[0024]步骤四、每个样本的域紧凑度作为以e为底的指数函数的指数，其与分类损失之和作为对应样本损失的权重，以引导模型在训练过程中关注更复杂的行人实例。
[0025]本专利技术中，步骤一的具体方法是：先训练Faster RCNN检测器，然后离线推理，推理时输入图片和对应真实标注框，在检测模型RCNN阶段提取真实标注框的感兴趣区域，两层全连接层后输出的向量即为每一个行人实例的特征向量。
[0026]本专利技术中，步骤二的具体方法是：计算特征向量两两之间的欧式距离作为行人实例之间的相似度，对于每个实例取前K个最小的欧式距离之和作为其所处特征空间的域紧凑度，然后构建所有行人实例的域紧凑度直方图，直方图呈现长尾分布，域紧凑度值越大的实例数量越少，处于分布的尾部。
[0027]本专利技术中，步骤三的具体方法是：首先根据域紧凑度设置阈值，将实例划分为头部和尾部两部分子集。对于每一个处于尾部的行人实例x
t
，在RCNN阶段将候选框与真实标注框进行正负样本匹配之后会获得对应的m个正样本然后再随机选取一个处于头部的实例x
h
，计算每个与x
h
的特征相似度，Softmax归一化后得到权重加权和即为生成的新的特征样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于长尾域紧凑度的复杂场景行人检测方法，其特征在于，包括以下步骤：步骤一、选取两阶段行人检测器Faster RCNN进行训练，将训练集图片送入该训练好的检测模型，以获得每一个行人实例即真实标注框对应的特征向量；步骤二、利用步骤一得到的特征向量计算欧式距离作为行人实例两两之间的相似度，对于每个实例取前K个最小的欧式距离之和作为其所处特征空间的域紧凑度；步骤三、在训练过程中，对于域紧凑度值大于阈值的实例，在特征空间进行特征增广，以生成更多的正样本；步骤四、每个样本的域紧凑度作为以e为底的指数函数的指数，其与分类损失之和作为对应样本损失的权重。2.根据权利要求1所述的基于长尾域紧凑度的复杂场景行人检测方法，其特征在于，步骤一中获得的每一个行人实例的特征来自Faster RCNN检测器RCNN阶段两层全连接层后输出的向量，即分类器和回归器的输入。3.根据权利要求2所述的基于长尾域紧凑度的复杂场景行人检测方法，其特征在于，使用Faster R
‑
CNN检测器，具体步骤如下：特征提取：以整张图片作为输入，利用卷积神经网络提取图片的特征层，采用ResNet
‑
50作为特征提取器；区域提名：输入是上一步提取到的特征，输出一批矩形提名框，矩形提名框分别包含其类别置信度和位置坐标；去掉主干网络第四层的最大池化层，设置5个不同大小的锚点框作为参考框，对第四层的输出特征层进行二分类和回归修正，生成提名框；锚点框的标准大小为[32,64,128,256,512]；感兴趣区域池化：根据上一步得到的提名框，在主干网络第四层输出的特征层上提取对应的区域并调整到统一的大小，将划分后的区域特征展开成向量，作为后续全连接层的输入；分类与回归：利用全连接层和Softmax对提名框的特征进行具体类别的分类，同时再次回归提名框，调整提名框的位置和大小以获取更准确的预测框。4.根据权利要求1所述的基于长尾域紧凑度的复杂场景行人检测方法，其特征在于，步骤二中计算一个实例的域紧凑度的具体方法为：计算特征向量两两之间的欧式距离作为行人实例之间的相似度，对于每个实例取前K个最小的欧式距离之和作为其所处特征空间的域紧凑度，然后构建所有行人实例的域紧凑度直方图，直方图呈现长尾分布，域紧凑度值越大的实例数量越少，处于分布的尾部。5.根据权利要求4所述的基于长尾域紧凑度的复杂场景行人检测方法，其特征在于，将两层全连接层后输出的向量作为实例的特征向量对于一个行人实例x
i
，其域紧凑度计算公式为：其中，x
k<...

【专利技术属性】
技术研发人员：张姗姗，丁梦圆，杨健，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：